DELPHI. Класс Tparser. Часть I. Русские буквы и слова.

procedure TForm12.Button1Click(Sender: TObject);
var
  Stream: TmemoryStream;
  Parser: TParser;
  FBuffer: TBytes;
begin
   memo1.Lines.LoadFromFile('D:\Диск с\дельфи\Projects\lessons1\unit10.dfm');
  Stream := TMemoryStream.Create;
  Stream.WriteBuffer(AnsiString(Memo1.Text)[1], Length(Memo1.Text));
   Parser := TParser.Create(Stream);
  with Parser do
    try
      while Parser.Token <> toEof do
        begin
           if token = toWString then
                Memo2.Lines.Add(Parser.TokenWideString)
          else
           Memo2.Lines.Add(Parser.TokenString);
          NextToken;
        end;
    finally
      Stream.Free;
      Parser.Free;
    end; 
end;

............. 
while Parser.token in ['А'..'я'] do
         begin
           s:=s + TokenString;
           NextToken;
         end;
  Memo2.Lines.Add(s);
..............

 case Char(FBuffer[ABufPos - 1]) of
    'A'..'Z', 'a'..'z', '_': Result := ctLetterStart;

 case  Ansichar(FBuffer[ABufPos - 1]) of
    'A'..'Z', 'a'..'z', '_','А'..'Я', 'а'..'я','ё','Ё': Result := ctLetterStart;

while CharType(Q) in [ctLetterStart, ctLetterNumber, ctNumber] do

while CharType(Q) in [ctLetterStart, ctLetterNumber, ctNumber,ctDash] do