Можете ли вы предложить более элегантный способ "tokenize" кода С# для форматирования html?

(Этот вопрос по поводу рефакторинга кода F # дал мне один голос, но и некоторые интересные и полезные ответы. И 62 вопроса F # из 32 000+ на SO кажется жалкий, поэтому я собираюсь рискнуть больше неодобрения!)

Вчера я пытался опубликовать немного кода в блоге блоггера и обратился к к этому сайту, который я нашел полезным в прошлое. Тем не менее, редактор blogger съел все объявления стиля, так что оказался тупиком.

Итак (как любой хакер), я подумал: "Как это сложно?" и развернул мой собственный в < 100 строк F #.

Вот "мясо" кода, которое превращает входную строку в список "токенов". Обратите внимание, что эти жетоны не следует путать с токенами лексинга/синтаксического анализа. Я на короткое время посмотрел на них, и хотя я почти ничего не понял, я понял, что они будут давать мне только токены, тогда как я хочу сохранить свою оригинальную строку.

Вопрос: есть ли более элегантный способ сделать это? Мне не нравятся n повторных определений s, необходимых для удаления каждой строки токена из входной строки, но трудно разделить строку на потенциальные токены заранее, из-за таких вещей, как комментарии, строки и директива #region (которая содержит символ без слова).

//Types of tokens we are going to detect
type Token = 
    | Whitespace of string
    | Comment of string
    | Strng of string
    | Keyword of string
    | Text of string
    | EOF

//turn a string into a list of recognised tokens
let tokenize (s:String) = 
    //this is the 'parser' - should we look at compiling the regexs in advance?
    let nexttoken (st:String) = 
        match st with
        | st when Regex.IsMatch(st, "^\s+") -> Whitespace(Regex.Match(st, "^\s+").Value)
        | st when Regex.IsMatch(st, "^//.*?\r?\n") -> Comment(Regex.Match(st, "^//.*?\r?\n").Value) //this is double slash-style comments
        | st when Regex.IsMatch(st, "^/\*(.|[\r?\n])*?\*/") -> Comment(Regex.Match(st, "^/\*(.|[\r?\n])*?\*/").Value) // /* */ style comments http://ostermiller.org/findcomment.html
        | st when Regex.IsMatch(st, @"^""([^""\\]|\\.|"""")*""") -> Strng(Regex.Match(st, @"^""([^""\\]|\\.|"""")*""").Value) // unescaped = "([^"\\]|\\.|"")*" http://wordaligned.org/articles/string-literals-and-regular-expressions
        | st when Regex.IsMatch(st, "^#(end)?region") -> Keyword(Regex.Match(st, "^#(end)?region").Value)
        | st when st <> "" -> 
                match Regex.Match(st, @"^[^""\s]*").Value with //all text until next whitespace or quote (this may be wrong)
                | x when iskeyword x -> Keyword(x)  //iskeyword uses Microsoft.CSharp.CSharpCodeProvider.IsValidIdentifier - a bit fragile...
                | x -> Text(x)
        | _ -> EOF

    //tail-recursive use of next token to transform string into token list
    let tokeneater s = 
        let rec loop s acc = 
            let t = nexttoken s
            match t with
            | EOF -> List.rev acc //return accumulator (have to reverse it because built backwards with tail recursion)
            | Whitespace(x) | Comment(x) 
            | Keyword(x) | Text(x) | Strng(x) -> 
                loop (s.Remove(0, x.Length)) (t::acc)  //tail recursive
        loop s []

    tokeneater s

(Если кому-то действительно интересно, я рад опубликовать остальную часть кода)

ИЗМЕНИТЬ Используя отличное предложение активных шаблонов от kvb, центральный бит выглядит так:, намного лучше!

let nexttoken (st:String) = 
    match st with
    | Matches "^\s+" s -> Whitespace(s)
    | Matches "^//.*?\r?(\n|$)" s -> Comment(s) //this is double slash-style comments
    | Matches "^/\*(.|[\r?\n])*?\*/" s -> Comment(s)  // /* */ style comments http://ostermiller.org/findcomment.html
    | Matches @"^@?""([^""\\]|\\.|"""")*""" s -> Strng(s) // unescaped regexp = ^@?"([^"\\]|\\.|"")*" http://wordaligned.org/articles/string-literals-and-regular-expressions
    | Matches "^#(end)?region" s -> Keyword(s) 
    | Matches @"^[^""\s]+" s ->   //all text until next whitespace or quote (this may be wrong)
            match s with
            | IsKeyword x -> Keyword(s)
            | _ -> Text(s)
    | _ -> EOF

Ответ 1