Лексический анализатор

@hitk1iff · Регистрация: 09.03.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток!
Помогите пожалуйста с лабораторной по CLISP:
Требуется написать лексический анализатор, на вход которого подается текст программы на Паскале, а на выходе - список всех типов лексем, встречающихся в исходнике, и их коды.
(Под спойлером подробное ТЗ и вариант).

Кликните здесь для просмотра всего текста

1. Программа ЛА должна состоять из набора функций, реализующих отдельные шаги лексической обработки.
2. Входной информацией для ЛА является исходный текст анализируемой программы на языке Паскаль согласно заданному варианту. Текст должен быть подготовлен в виде отладочной программы и записан в файл с выбранным именем.
3. Выходной информацией ЛА являются:
a) списки всех типов лексем, выделенных в исходной программе, в символьном и закодированном представлениях;
b) список кодов лексем анализируемой программы.
Все списки должны выводиться на стандартное устройство вывода (экран, принтер) и храниться в виде файлов.
4. Программа ЛА должна формировать и выдавать на стандартные устройства вывода диагностические сообщения при обнаружении во входном тексте ошибочных лексем.

Вариант №19:

Pascal
1
2
3
4
5
6
7
8
9
10
11
12
PROGRAM NOMER_19;
    VAR S,A: REAL;
     D,I: INTEGER;
     BEGIN
     1: D := 20;  2: READ(A);
      FOR I := 0 TO D DO 
      BEGIN
         S := 3.141*I-A; {тело цикла}
        WRITE(S) 
      END; IF D >= S THEN 
                 GOTO 1 ELSE GOTO 2 
    END.

Либо хотя бы подскажите, где можно почитать об подобного рода анализаторах на LISP'е ибо LISP у меня только первый семестр =(

Заранее всем спасибо.

@Catstail · 10.10.2013, 15:13

Есть т.н. символы-разделители. Это, прежде всего, пробел, а также ()[]:=,.;
Поэтому общий алгоритм разбивки на лексемы таков: читаем символ за символом, и, встретив разделитель, сбрасываем накопленное в список. Две тонкости:
1) символы : и = объединяем (Паскаль!)
2) последовательности nnn . nnn (nnn - цифры) тоже объединяем
Примерно так. Позже могу показать код Лиспа.

@hitk1iff · 10.10.2013, 17:28 **[ТС]**

Буду очень признателен за пример

@Catstail · 11.10.2013, 07:56

Вот не очень лисповское по духу решение:

Lisp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
(defun pas-parse (fname)
  (let ((fi (gensym 'fi))
        (res nil)
        (delim '(" " ":" "+" "-" "/" "*" "(" ")" "[" "]" "." "," ";")) ;; разделители
        (line nil)
        (l    nil)
        (lex  "")
        (sym  ""))
       (filopen fi fname _INPUT)
       (loop
          (when (filEOF fi) (return t))
          (setf line (strCat (filGetLine fi) " "))
          (setf l (strLen line))
          (setf lex "")          
          (dotimes (i l t)
            (setf sym (strMid line (+ i 1) 1))
            (cond ((member sym delim)
                   (when (> (strLen Lex) 0) (push Lex res) (setf Lex ""))
                   (when (neq sym " ") (push sym res)))
                  (t (setf lex (strCat lex sym))))))
       (filClose fi)
       (reverse res)))

Заносим паскалевский код в файл "111.pas":

Pascal
1
2
3
4
5
6
7
8
9
10
11
12
PROGRAM NOMER_19;
    VAR S,A: REAL;
     D,I: INTEGER;
     BEGIN
     1: D := 20;  2: READ(A);
      FOR I := 0 TO D DO 
      BEGIN
         S := 3.141*I-A; {тело цикла}
        WRITE(S) 
      END; IF D >= S THEN 
                 GOTO 1 ELSE GOTO 2 
    END.

Запускаем и убеждаемся:

Lisp
1
2
3
4
5
6
(pas-parse "111.pas")
 
==> ("PROGRAM" "NOMER_19" ";" "VAR" "S" "," "A" ":" "REAL" ";" "D" "," "I" ":" "INTEGER" ";"
        "BEGIN" "1" ":" "D" ":" "=" "20" ";" "2" ":" "READ" "(" "A" ")" ";" "FOR" "I" ":" "=" "0" "TO" 
        "D" "DO" "BEGIN" "S" ":" "=" "3" "." "141" "*" "I" "-" "A" ";" "{тело" "цикла}" "WRITE"
        "(" "S" ")" "END" ";" "IF" "D" ">=" "S" "THEN" "GOTO" "1" "ELSE" "GOTO" "2" "END" ".")

Здесь, как можно убедиться, не учтены комментарии. Да и строки тоже. Можно доработать код.
Попробуйте сделать это сами.

@hitk1iff · 11.10.2013, 08:10 **[ТС]**

Идея понятна. Допишу комменты и строки и, надеюсь, сделаю табличный вывод.
Спасибо огромное! )

@hitk1iff · 10.11.2013, 20:18 **[ТС]**

И снова доброго времени суток!
Вот дошли руки и решил доделать анализатор. Сделал несколько функций на определение класса лексем и скомпоновал Ваш парсер с ними. При запуске всего этого добра CLisp ругается на функцию Gensym, пробовал запускать парсер отдельно - тоже самое. Подскажите, почему CLisp не хочет воспринимать эту функцию? Мб версия другая нужна...

@Catstail · 11.11.2013, 11:27

Я работаю в HomeLisp. В Common Lisp - да, нужны изменения. В частности, файлы читать нужно по-другому. Кстати, и gensym не понадобится.

@hitk1iff · 26.11.2013, 17:31 **[ТС]**

С божьей помощью (и никак иначе

) был написан парсер под Commond Lisp, теперь интересно - как можно найти строку в списке строк?
Например:

Lisp
1
2
3
(setq str "Masha")
(setq str-list '("Pasha" "Sasha" "Masha" "Misha") )
(<некая ф-ция поиска> str str-list) -> T

Как то так

@_sg · 26.11.2013, 18:16

как вариант:

Lisp
1
2
> (find "aa" '("aa") :test #'equal)
"aa"

Добавлено через 1 минуту

Lisp
1
2
> (member "aa" '("aa") :test #'equal)
("aa")

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Catstail Супер-модератор 38161 / 21096 / 4306 Регистрация: 12.02.2012 Сообщений: 34,683 Записей в блоге: 14
	10.10.2013, 15:13
	Есть т.н. символы-разделители. Это, прежде всего, пробел, а также ()[]:=,.; Поэтому общий алгоритм разбивки на лексемы таков: читаем символ за символом, и, встретив разделитель, сбрасываем накопленное в список. Две тонкости: 1) символы : и = объединяем (Паскаль!) 2) последовательности nnn . nnn (nnn - цифры) тоже объединяем Примерно так. Позже могу показать код Лиспа. 2

@hitk1iff 0 / 0 / 0 Регистрация: 09.03.2013 Сообщений: 17
	10.10.2013, 17:28 [ТС]
	Буду очень признателен за пример 0

@hitk1iff 0 / 0 / 0 Регистрация: 09.03.2013 Сообщений: 17
	11.10.2013, 08:10 [ТС]
	Идея понятна. Допишу комменты и строки и, надеюсь, сделаю табличный вывод. Спасибо огромное! ) 0

@hitk1iff 0 / 0 / 0 Регистрация: 09.03.2013 Сообщений: 17
	10.11.2013, 20:18 [ТС]
	И снова доброго времени суток! Вот дошли руки и решил доделать анализатор. Сделал несколько функций на определение класса лексем и скомпоновал Ваш парсер с ними. При запуске всего этого добра CLisp ругается на функцию Gensym, пробовал запускать парсер отдельно - тоже самое. Подскажите, почему CLisp не хочет воспринимать эту функцию? Мб версия другая нужна... 0

@Catstail Супер-модератор 38161 / 21096 / 4306 Регистрация: 12.02.2012 Сообщений: 34,683 Записей в блоге: 14
	11.11.2013, 11:27
	Я работаю в HomeLisp. В Common Lisp - да, нужны изменения. В частности, файлы читать нужно по-другому. Кстати, и gensym не понадобится. 0

Лексический анализатор

Решение