Лексический анализ

import java.util.ArrayList;
import java.util.regex.Pattern;
import java.util.regex.Matcher;
 
public class Lexer {
    public static enum TokenType {
        // Token types cannot have underscores
        NUMBER("-?[0-9]+"),
        WHITESPACE("[ \t\f\r\n]+"),
        IDENTIFIER ("\\w+"),
        STRING ("\'([^\']*)\'"),
        DELIMITER("[.|(|)|:|;|[|]|>|=|*|/|+|-]"),
        DELIMITER2(":="),
        //KEYWORD("procedure");
        public final String pattern;
 
        private TokenType(String pattern) {
            this.pattern = pattern;
        }
    }
 
    public static class Token {
        public TokenType type;
        public String data;
 
        public Token(TokenType type, String data) {
            this.type = type;
            this.data = data;
        }
 
        @Override
        public String toString() {
            return String.format("%-10s:  %s", type.name(), data);
        }
    }
 
    public static ArrayList<Token> lex(String input) {
        // The tokens to return
        ArrayList<Token> tokens = new ArrayList<Token>();
 
        // Lexer logic begins here
        StringBuffer tokenPatternsBuffer = new StringBuffer();
        for (TokenType tokenType : TokenType.values())
            tokenPatternsBuffer.append(String.format("|(?<%s>%s)", tokenType.name(), tokenType.pattern));
        Pattern tokenPatterns = Pattern.compile(new String(tokenPatternsBuffer.substring(1)));
 
        // Begin matching tokens
        Matcher matcher = tokenPatterns.matcher(input);
        while (matcher.find()) {
            if (matcher.group(TokenType.NUMBER.name()) != null) {
                tokens.add(new Token(TokenType.NUMBER, matcher.group(TokenType.NUMBER.name())));
                continue;
            } else if (matcher.group(TokenType.IDENTIFIER.name()) != null) {
                tokens.add(new Token(TokenType.IDENTIFIER, matcher.group(TokenType.IDENTIFIER.name())));
                continue;
            } else if (matcher.group(TokenType.STRING.name()) != null) {
                tokens.add(new Token(TokenType.STRING, matcher.group(TokenType.STRING.name())));
                continue;
            } else if (matcher.group(TokenType.DELIMITER.name()) != null) {
                tokens.add(new Token(TokenType.DELIMITER, matcher.group(TokenType.DELIMITER.name())));
                continue;
            } else if (matcher.group(TokenType.DELIMITER2.name()) != null) {
                tokens.add(new Token(TokenType.DELIMITER2, matcher.group(TokenType.DELIMITER2.name())));
                continue;
            } else if (matcher.group(TokenType.WHITESPACE.name()) != null)
                continue;
        }
 
        return tokens;
    }
 
    public static void main(String[] args) {
        String input =
                "procedure TForm1.Button2Click(SEnder: TObject);" +
                "var M:set of char;" +
                "ch:char;" +
                "S:string;" +
                "i,k:integer;" +
                "Begin M:=[];" +
                    "k:=0;" +
                        "for i:=i to ListBox1.Items.Count-1" +
                        "do S:=S+Listbox1.Items[i];" +
                    "Begin " +
                        "for i:=1 to Length(S)" +
                        "do if S[i] in M then  M:=M+[S[i]]" +
                    "else  if M>5 then ShowMessage('Impossible')" +
                  "End;" +
                "End;"
                ;
 
        // Create tokens and print them
        ArrayList<Token> tokens = lex(input);
        for (Token token : tokens)
            System.out.println(token);
    }
}