Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC

Я слышал что G++ и MSVC используют lex и bison для построения дерева токенов и парсинга. А клэнг свой какой то язык, который обрабатывает бэкэнд. Недавно со знакомыми кодерами возник интересный разговор: Правда ли что регулярки и генераторы парсеров медленее чем обычный нативный код. На деле оказалось что нет, и даже FPC быстрее кланга оказался.
Собственно и вопрос, правда ли что оба эти компилятора используют генераторы парсеров и несмотря на совсем незначительные потери произв-сти, работают медленее чем если бы парсились на лету(как в TCC к примеру) а не компилировались сначала регулярки а потом уже проводился анализ.

0

Если под словом "используют" подразумевается "сам компилятор написан с использованием", то можно поглядеть на исходники gcc, там есть какие-то файлы с расширением *.l, а в старых версиях были и файлы с расширением *.y (если я ничего не путаю). Когда-то я их изучал и сложилось впечатление, что там реализовано лишь некоторое подмножество языка. Да и не было полной уверенности, что оно входит именно в состав компилятора, а не в состав какой-нибудь утилиты, которая используется при сборке компилятора

Но тут есть два момента

1. Парсер в компиляторе занимает дай бог 1% времени исполнения. А потому скорость работы парсера в пределах +-100% роли не играет, а потому пофигу на чём его писать
2. lex/bison годны для написания примитивных парсеров. Синтаксис таких монстров как Си++ слишком сложен, для того, чтобы с ними работать на lex/bison. Парсер ведь не только должен распарсить, но ещё и грамотно выдать пользовательские ошибки, причем после выдачи ошибки современные компиляторы продолжают парсить (т.е. выдают несколько ошибок за раз). На lex/bison, думается, опухнешь это делать (правда не уверен в этом на все 100%)

Добавлено через 2 минуты
Что касается MSVC, то я более чем уверен, что тем не может быть никаких lex/bison тупо по политическим соображениям

1

Evg, есть один компилятор PHP в Java - JPHP, там все на регулярках, и работает вполне быстро. А как известно PHP имеет много общего с обычным C и немного C++(ООП в PHP не полное, шаблонов нет)

Добавлено через 49 секунд
В википедии так и написано что MSVC и GCC используют лекс и бизон.

0

Слабо понимаю, каким боком сюда относятся регулярные выражения

Про MSVC я могу только догадываться, т.к. у них исходник закрытый. Википедия - это не то место, чему можно слепо доверять. На месте микрософтеров я бы не использовал gnu'тый софт по политическим соображениям

В исходниках gcc действительно есть файл от lex'а (gengtype-lex.l). Но файлов для bison'а я не вижу. Файл от lex'а довольно маленький, вряд ли он относится к самомУ компилятору. Судя по названию, он парсит какой-то из файлов *.def

Я исходники смотрел тут https://github.com/gcc-mirror/gcc
Более предметно можно скачать какой-нибудь исходник и собрать его. По логам сборки будет видно, для чего используется lex

Парсер для Си, судя по названию - это файл gcc/c/c-parser.c, для Си++ - gcc/cp/parser.c

1

Evg, парсер C там фронтэнд только. Остальное за бэкэндом спрятано.

Добавлено через 2 минуты
Охренеть. Метр кода на парсер. Готовый генератор анализаторов и парсеров для Java(ANTLR) и то меньше весит(около 700кб)

0

Сообщение от bodya_men Evg, парсер C там фронтэнд только. Остальное за бэкэндом спрятано

В очередной раз нифига не понял

0

0

Evg, GCC делится на несколько этапов: фронтэнд и бэкэнд.
Фронтэнд анализирует код и выстраивает дерево токенов, а бэкэнд уже генерирует листинг на асм и пинает его в GAS

0

Я прекрасно знаю, что такое фронтенд и бэкенд. Я не понимаю, к чему эти фразы вообще были написаны

Сообщение от bodya_men и выстраивает дерево токенов

Это не так, но не важно

0

Evg, черт его знает, не каждую же строку парсить?

0

Сообщение от bodya_men Я слышал что G++ и MSVC используют lex и bison для построения дерева токенов и парсинга.

VC - я не в курсе. GCC использовал когда-то давно, но сейчас, понятное дело, нет.

Сообщение от bodya_men А клэнг свой какой то язык, который обрабатывает бэкэнд.

У Clang ручной парсер. А язык (точнее IR), который идет на вход бэкенду, тут вообще не в тему.

Сообщение от bodya_men Правда ли что регулярки и генераторы парсеров медленее чем обычный нативный код.

Все зависит от того, какая грамматика, как написан код, насколько подробные сообщения об ошибках, и тд.

Сообщение от Evg На lex/bison, думается, опухнешь это делать

Факт, грамматика С++ не подходит для адекватного разбора и диагностики flex/bison'ом.

0

ct0r, на них же разбирают пыху, бэйсик и кучу других ЯП

0

Сообщение от bodya_men на них же разбирают пыху, бэйсик и кучу других ЯП

А еще калькуляторы . Но тема вроде про С++, а не про что-то еще.

0