Форум программистов, компьютерный форум CyberForum.ru

C++

Войти
Регистрация
Восстановить пароль
 
bodya_men
Заблокирован
#1

Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC - C++

29.05.2016, 00:34. Просмотров 309. Ответов 12
Метки нет (Все метки)

Я слышал что G++ и MSVC используют lex и bison для построения дерева токенов и парсинга. А клэнг свой какой то язык, который обрабатывает бэкэнд. Недавно со знакомыми кодерами возник интересный разговор: Правда ли что регулярки и генераторы парсеров медленее чем обычный нативный код. На деле оказалось что нет, и даже FPC быстрее кланга оказался.
Собственно и вопрос, правда ли что оба эти компилятора используют генераторы парсеров и несмотря на совсем незначительные потери произв-сти, работают медленее чем если бы парсились на лету(как в TCC к примеру) а не компилировались сначала регулярки а потом уже проводился анализ.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
29.05.2016, 00:34     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC
Посмотрите здесь:
компиляция gcc и MSVC C++
Портирование ассемблерной функции с MSVC на GCC C++ Linux
Синтаксис регулярных выражений C++
C++ Синтаксис регулярных выражений в C++
C++ Builder Калькулятор с помощью регулярных выражений
Компиляция шаблонов регулярных выражений (regex) C++
Организовать поиск по файлу с помощью регулярных выражений C++
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
Evg
Эксперт CАвтор FAQ
17469 / 5707 / 362
Регистрация: 30.03.2009
Сообщений: 15,669
Записей в блоге: 26
29.05.2016, 10:00     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #2
Если под словом "используют" подразумевается "сам компилятор написан с использованием", то можно поглядеть на исходники gcc, там есть какие-то файлы с расширением *.l, а в старых версиях были и файлы с расширением *.y (если я ничего не путаю). Когда-то я их изучал и сложилось впечатление, что там реализовано лишь некоторое подмножество языка. Да и не было полной уверенности, что оно входит именно в состав компилятора, а не в состав какой-нибудь утилиты, которая используется при сборке компилятора

Но тут есть два момента

1. Парсер в компиляторе занимает дай бог 1% времени исполнения. А потому скорость работы парсера в пределах +-100% роли не играет, а потому пофигу на чём его писать
2. lex/bison годны для написания примитивных парсеров. Синтаксис таких монстров как Си++ слишком сложен, для того, чтобы с ними работать на lex/bison. Парсер ведь не только должен распарсить, но ещё и грамотно выдать пользовательские ошибки, причем после выдачи ошибки современные компиляторы продолжают парсить (т.е. выдают несколько ошибок за раз). На lex/bison, думается, опухнешь это делать (правда не уверен в этом на все 100%)

Добавлено через 2 минуты
Что касается MSVC, то я более чем уверен, что тем не может быть никаких lex/bison тупо по политическим соображениям
bodya_men
Заблокирован
29.05.2016, 12:33  [ТС]     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #3
Evg, есть один компилятор PHP в Java - JPHP, там все на регулярках, и работает вполне быстро. А как известно PHP имеет много общего с обычным C и немного C++(ООП в PHP не полное, шаблонов нет)

Добавлено через 49 секунд
В википедии так и написано что MSVC и GCC используют лекс и бизон.
Evg
Эксперт CАвтор FAQ
17469 / 5707 / 362
Регистрация: 30.03.2009
Сообщений: 15,669
Записей в блоге: 26
29.05.2016, 13:26     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #4
Слабо понимаю, каким боком сюда относятся регулярные выражения

Про MSVC я могу только догадываться, т.к. у них исходник закрытый. Википедия - это не то место, чему можно слепо доверять. На месте микрософтеров я бы не использовал gnu'тый софт по политическим соображениям

В исходниках gcc действительно есть файл от lex'а (gengtype-lex.l). Но файлов для bison'а я не вижу. Файл от lex'а довольно маленький, вряд ли он относится к самомУ компилятору. Судя по названию, он парсит какой-то из файлов *.def

Я исходники смотрел тут https://github.com/gcc-mirror/gcc
Более предметно можно скачать какой-нибудь исходник и собрать его. По логам сборки будет видно, для чего используется lex

Парсер для Си, судя по названию - это файл gcc/c/c-parser.c, для Си++ - gcc/cp/parser.c
bodya_men
Заблокирован
29.05.2016, 14:18  [ТС]     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #5
Evg, парсер C там фронтэнд только. Остальное за бэкэндом спрятано.

Добавлено через 2 минуты
Охренеть. Метр кода на парсер. Готовый генератор анализаторов и парсеров для Java(ANTLR) и то меньше весит(около 700кб)
Evg
Эксперт CАвтор FAQ
17469 / 5707 / 362
Регистрация: 30.03.2009
Сообщений: 15,669
Записей в блоге: 26
29.05.2016, 14:57     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #6
Цитата Сообщение от bodya_men Посмотреть сообщение
Evg, парсер C там фронтэнд только. Остальное за бэкэндом спрятано
В очередной раз нифига не понял
gng
29.05.2016, 20:18
  #7

Не по теме:

Цитата Сообщение от Evg Посмотреть сообщение
На месте микрософтеров я бы не использовал gnu'тый софт по политическим соображениям
Пока, вроде, только один раз их в этом уличили. Года два назад кто-то дотошный путем анализа кода обрнаружил в закрытой проге MS код распространяемый под GPL. MS, надо сказать, повел себя достойно. Оправдались тем, что это сделали нанятые сторонние кодеры без ведома компании. И, как того требует лицензия, открыли код всего своего продукта по лицензией ГПЛ.

bodya_men
Заблокирован
29.05.2016, 21:18  [ТС]     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #8
Evg, GCC делится на несколько этапов: фронтэнд и бэкэнд.
Фронтэнд анализирует код и выстраивает дерево токенов, а бэкэнд уже генерирует листинг на асм и пинает его в GAS
Evg
Эксперт CАвтор FAQ
17469 / 5707 / 362
Регистрация: 30.03.2009
Сообщений: 15,669
Записей в блоге: 26
30.05.2016, 08:51     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #9
Я прекрасно знаю, что такое фронтенд и бэкенд. Я не понимаю, к чему эти фразы вообще были написаны

Цитата Сообщение от bodya_men Посмотреть сообщение
и выстраивает дерево токенов
Это не так, но не важно
bodya_men
Заблокирован
30.05.2016, 10:59  [ТС]     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #10
Evg, черт его знает, не каждую же строку парсить?
ct0r
Игогошка!
1768 / 670 / 42
Регистрация: 19.08.2012
Сообщений: 1,284
Завершенные тесты: 1
30.05.2016, 11:23     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #11
Цитата Сообщение от bodya_men Посмотреть сообщение
Я слышал что G++ и MSVC используют lex и bison для построения дерева токенов и парсинга.
VC - я не в курсе. GCC использовал когда-то давно, но сейчас, понятное дело, нет.

Цитата Сообщение от bodya_men Посмотреть сообщение
А клэнг свой какой то язык, который обрабатывает бэкэнд.
У Clang ручной парсер. А язык (точнее IR), который идет на вход бэкенду, тут вообще не в тему.

Цитата Сообщение от bodya_men Посмотреть сообщение
Правда ли что регулярки и генераторы парсеров медленее чем обычный нативный код.
Все зависит от того, какая грамматика, как написан код, насколько подробные сообщения об ошибках, и тд.

Цитата Сообщение от Evg Посмотреть сообщение
На lex/bison, думается, опухнешь это делать
Факт, грамматика С++ не подходит для адекватного разбора и диагностики flex/bison'ом.
bodya_men
Заблокирован
30.05.2016, 11:49  [ТС]     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #12
ct0r, на них же разбирают пыху, бэйсик и кучу других ЯП
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
30.05.2016, 13:19     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC
Еще ссылки по теме:
C++ Достать из текста все совпадения с помощью регулярных выражений
C++ Builder Каким классом вы пользуетесь, когда дело доходит до регулярных выражений?
C++ Builder Применение регулярных выражений для парсинга email-ов получателей из emf-файла
Boost C++ Парсинг html кода с использованием регулярных выражений (в частности boost.regex)

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
ct0r
Игогошка!
1768 / 670 / 42
Регистрация: 19.08.2012
Сообщений: 1,284
Завершенные тесты: 1
30.05.2016, 13:19     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC #13
Цитата Сообщение от bodya_men Посмотреть сообщение
на них же разбирают пыху, бэйсик и кучу других ЯП
А еще калькуляторы . Но тема вроде про С++, а не про что-то еще.
Yandex
Объявления
30.05.2016, 13:19     Различия использования регулярных выражений и генераторов парсеров в GCC и MSVC
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru