Распарсить строку на токены

@dimmarvel · Регистрация: 04.04.2018

Студворк — интернет-сервис помощи студентам

Есть к примеру текст:
int main(){
int* a = 10;
double dbl = 20.4;
}
И есть ключевые слова из этого текста
int
(
)
double
=
;
{
} и тд..
Нужно чтобы парсер вывел мне что-то такое
int IDENTIFIER(main) ( ) { } int * IDENTIFIER(a) = CONST(10) ; double IDENTIFIER(dbl) = CONST(20.4) ; }
Не получается уже какой день, могу сделать только для отдельных случаев, начинаю тестить чуть не так поменяю исходный текст и мой парсинг криво работает.

@_stanislav · 04.03.2020, 09:00

Сообщение от dimmarvel

Не получается уже какой день

я уже несколько лет делаю

можешь глянуть

Можешь почитать "книгу дракона", парсинг текста не такая уж и тривиальная задача.

@dimmarvel · 04.03.2020, 09:13 **[ТС]**

С калькулятором то опыт уже был, пытаюсь компилятор под С написать начал с парсинга на токены и пока совес туго идет

ссылка на калькулятор

@dimmarvel · 04.03.2020, 09:15 **[ТС]**

На данный момент мой код разбирает просто по ключевым словам и ищет ИДЕТИФИКАТОРЫ a.k.a имена, если нет такого ключевого слово то просто пропускаем
И просто выводит на экран
Но вот замени я как-нибудь не так исходную строку то всё не так парсится

@_stanislav · 04.03.2020, 09:17

Сообщение от dimmarvel

На данный момент мой код разбирает просто по ключевым словам и ищет ИДЕТИФИКАТОРЫ a.k.a имена
И просто выводит на экран
Но вот замени я как-нибудь не так исходную строку то всё не так парсится

AST нужно для анализа структуры кода

@dimmarvel · 04.03.2020, 09:19 **[ТС]**

А вот что будет если изменить исходный текст, я просто не понимаю как все учесть, или это невозможно и токены нужно искать по очереди и связывать их с какими-то правилами и тд

@dimmarvel · 04.03.2020, 09:21 **[ТС]**

_stanislav, Да я понимаю, только мне ведь каждый раз нужно будет брать следующий токен и взависимости от него определять по какой ветке AST идти, но как мне правильно взять следующий токен?
К примеру, я нашел int, дальше должен идти идетификатор по правилу, я беру следующий токен... как мне определить к примеру что я взял идентификатор

@_stanislav · 04.03.2020, 09:22

dimmarvel, "книгу дракона" читай, я сам ее почитываю, и что то меняю в коде.

@dimmarvel · 04.03.2020, 09:22 **[ТС]**

_stanislav, Да, я понимаю, только мне ведь каждый раз нужно будет брать следующий токен и взависимости от него определять по какой ветке AST идти, но как мне правильно взять следующий токен?
К примеру, я нашел int, дальше должен идти идетификатор по правилу, я беру следующий токен... как мне определить к примеру что я взял идентификатор

Добавлено через 30 секунд
Хорошо, гляну

Новые блоги и статьи Все статьи Все блоги /
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .	Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351

	Распарсить строку на токены 04.03.2020, 08:55. Показов 1537. Ответов 8 Метки нет (Все метки) Есть к примеру текст: int main(){ int* a = 10; double dbl = 20.4; } И есть ключевые слова из этого текста int ( ) double = ; { } и тд.. Нужно чтобы парсер вывел мне что-то такое int IDENTIFIER(main) ( ) { } int * IDENTIFIER(a) = CONST(10) ; double IDENTIFIER(dbl) = CONST(20.4) ; } Не получается уже какой день, могу сделать только для отдельных случаев, начинаю тестить чуть не так поменяю исходный текст и мой парсинг криво работает. 0

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351
	04.03.2020, 09:13 [ТС]
	С калькулятором то опыт уже был, пытаюсь компилятор под С написать начал с парсинга на токены и пока совес туго идет ссылка на калькулятор 0

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351
	04.03.2020, 09:15 [ТС]
	На данный момент мой код разбирает просто по ключевым словам и ищет ИДЕТИФИКАТОРЫ a.k.a имена, если нет такого ключевого слово то просто пропускаем И просто выводит на экран Но вот замени я как-нибудь не так исходную строку то всё не так парсится Миниатюры 0

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351
	04.03.2020, 09:19 [ТС]
	А вот что будет если изменить исходный текст, я просто не понимаю как все учесть, или это невозможно и токены нужно искать по очереди и связывать их с какими-то правилами и тд Миниатюры 0

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351
	04.03.2020, 09:21 [ТС]
	_stanislav, Да я понимаю, только мне ведь каждый раз нужно будет брать следующий токен и взависимости от него определять по какой ветке AST идти, но как мне правильно взять следующий токен? К примеру, я нашел int, дальше должен идти идетификатор по правилу, я беру следующий токен... как мне определить к примеру что я взял идентификатор 0

@_stanislav "C with Classes" 2022 / 1404 / 523 Регистрация: 16.08.2014 Сообщений: 5,885 Записей в блоге: 1
	04.03.2020, 09:22
	dimmarvel, "книгу дракона" читай, я сам ее почитываю, и что то меняю в коде. 0

@dimmarvel 3 / 3 / 1 Регистрация: 04.04.2018 Сообщений: 351
	04.03.2020, 09:22 [ТС]
	_stanislav, Да, я понимаю, только мне ведь каждый раз нужно будет брать следующий токен и взависимости от него определять по какой ветке AST идти, но как мне правильно взять следующий токен? К примеру, я нашел int, дальше должен идти идетификатор по правилу, я беру следующий токен... как мне определить к примеру что я взял идентификатор Добавлено через 30 секунд Хорошо, гляну 0