Препроцессор cpp не разбивает исходный код *.c на токены

@kravam · Регистрация: 04.06.2008

Студворк — интернет-сервис помощи студентам

Друзья! Вот как работает препроцессор:

https://gcc.gnu.org/onlinedocs... ation.html

When faced with a sequence of characters that has more than one possible tokenization, the preprocessor is greedy. It always makes each token, starting from the left, as big as possible before moving on to the next token. For instance, a+++++b is interpreted as a ++ ++ + b, not as a ++ + ++ b, even though the latter tokenization could be part of a valid C program and the former could not.

Так давайте подсунем ему строчку a+++++b и пусть себе разбивает. Ну, поехали. Сперва содержание файла main.c, потом работа препроцессоров разных версий.

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
$ cat main.c 
a+++++b
$ 
$ 
$ cpp -std=c90 main.c 
# 0 "main.c"
# 0 "<built-in>"
# 0 "<command-line>"
# 1 "/usr/include/stdc-predef.h" 1 3 4
# 0 "<command-line>" 2
# 1 "main.c"
a+++++b
$ 
$ 
$ cpp -std=c99 main.c 
# 0 "main.c"
# 0 "<built-in>"
# 0 "<command-line>"
# 1 "/usr/include/stdc-predef.h" 1 3 4
# 0 "<command-line>" 2
# 1 "main.c"
a+++++b
$ 
$ 
$ cpp main.c 
# 0 "main.c"
# 0 "<built-in>"
# 0 "<command-line>"
# 1 "/usr/include/stdc-predef.h" 1 3 4
# 0 "<command-line>" 2
# 1 "main.c"
a+++++b
$ 
$

Чё-то он вообще ничё не разбивает. Версия компилятора:

Bash
1
2
3
4
5
6
7
8
9
10
11
12
$ gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/12/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none:amdgcn-amdhsa
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Debian 12.2.0-14' --with-bugurl=file:///usr/share/doc/gcc-12/README.Bugs --enable-languages=c,ada,c++,go,d,fortran,objc,obj-c++,m2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-12 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --enable-libphobos-checking=release --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --enable-cet --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none=/build/gcc-12-bTRWOB/gcc-12-12.2.0/debian/tmp-nvptx/usr,amdgcn-amdhsa=/build/gcc-12-bTRWOB/gcc-12-12.2.0/debian/tmp-gcn/usr --enable-offload-defaulted --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
Supported LTO compression algorithms: zlib zstd
gcc version 12.2.0 (Debian 12.2.0-14) 
$

ЧЯДНТ? Debian 12. Спасибо, кто откликнется.

quwy · 03.02.2025, 19:19

Мне кажется, вы как-то неправильно поняли принцип работы и назначение cpp...

@kravam · 03.02.2025, 19:22 **[ТС]**

Сообщение от quwy

Мне кажется, вы как-то неправильно поняли принцип работы и назначение cpp...

а как правильно?

quwy · 03.02.2025, 19:30

Это не токинайзер, а препроцессор. Он, грубо говоря, раскрывает дефайны и инклуды перед компиляцией. Мне не очень понятно, почему в хелпе привели именно такой пример, потому что разгребать ряд плюсов -- это вообще не его работа.

@kravam · 03.02.2025, 20:08 **[ТС]**

Сообщение от quwy

Это не токинайзер, а препроцессор.

не совсем понятно. Что не токенайзер?

quwy · 03.02.2025, 20:49

Программа под названием cpp призвана только рекурсивно "развернуть" дефайны, "втянуть" содержимое инклудов, удалить строки, заключенные в ложных ифдефах (сами ифдефы при этом тоже удаляются).

Она не занимается разбором выражений, разделением их на токены, и тому подобным, чего вы от нее здесь ожидаете.

Прогоните через нее это код и сами убедитесь:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
#define SUM(A,B) (A+B)
#define DEBUG // попробовать закоментировать эту строку
 
int main() {
 
  #ifdef DEBUG
  printf("Debug!");
  #else
  printf("Release!");
  #endif
 
  printf("%d", SUM(5, 3));
}

@kravam · 03.02.2025, 21:55 **[ТС]**

Сообщение от quwy

Она не занимается разбором выражений, разделением их на токены, и тому подобным, чего вы от нее здесь ожидаете.

понятно. Но в приведённой мной цитате/ссылке написано несколько другое- именно что cpp и занимается делением на токены. Цитата/ссылка лжива?

Добавлено через 54 минуты
Кстати, у K&R тоже речь идёт за препроцессор cpp и тоже там сказано, что он разбивает код на лексемы (так он токены назвал). Без подробностей правда.

quwy · 04.02.2025, 01:29

Сообщение от kravam

Цитата/ссылка лжива?

Нет, просто имелись в виду токены макросов препроцессора. Дефайны с параметрами точно так же нуждаются в лексическом разборе, как и функции. Но это не тот уровень, который вам нужен.

Сообщение от kravam

разбивает код на лексемы

Конечно, в строке 12 препроцессор ведь должен как-то найти слово SUM, чтобы заменить его арифметическим выражением. Но все, что не касается его собственных #-директив, он оставляет как было.

@kravam · 04.02.2025, 10:57 **[ТС]**

Сообщение от quwy

Нет, просто имелись в виду токены макросов препроцессора.

имелось ввиду вот это: a+++++b
Чётко сказано, что с этим работает препроцессор. Поэтому подождём, может, другие ребята что скажут.

Croessmah · 04.02.2025, 22:40

Давайте рассмотрим код:

Code
1
2
#define ONE +
a++ONE++b

В данном случае, препроцессор разбивает (внутри) текст на токены:
a ++ ONE ++ b -> a ++ + ++ b
соответственно, ++ b - отдельная часть.
Соответственно, для того, чтобы токенизатор при компиляции воспринял эту строчку точно так же,
препроцессор должен вставить куда-то разделители для токенов, иначе, получится
a+++++b -> компилятор это воспримет как a ++ ++ + b что неправильно.
cpp -o main.i main.c
выхлоп интересующей строки:
a+++ ++b; лишний пробел не позволит компилятору распарсить строчку как a ++ ++ + b

Поэксперементируем:
a+ONE+++b -> разобьется (внутри) на токены a + ONE ++ + b
выхлоп cpp: a+ + +++b
Если не добавить пробелы, то получим, что токенизатор при компиляции и при препроцессировании получит разный результат.

Продолжим:
a+++ONE+b -> a ++ + ONE + b
выхлоп cpp: a +++ + + b
Нельзя построить a++++ +b или a+++ ++b, т.к. это даст другую последовательность токенов компилятору, поэтому добавлены два пробела.

Croessmah · 05.02.2025, 12:19

В последнем случае это я сам, ошибочно, пробелы вставил после a и перед b во время редактирования.

Сообщение от Croessmah

выхлоп cpp: a +++ + + b

cpp выдает a+++ + +b

@kravam · 20.02.2025, 15:55 **[ТС]**

Croessmah, ну это-то понятно. Непонятно только, почему написано, что препроцессор должен разбивать этот конкретный пример:

C++
1
a+++++b

а он его не разбивает

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

quwy Native x86 6853 / 3787 / 1024 Регистрация: 13.02.2013 Сообщений: 11,861
	03.02.2025, 19:19
	Мне кажется, вы как-то неправильно поняли принцип работы и назначение cpp... 0

quwy Native x86 6853 / 3787 / 1024 Регистрация: 13.02.2013 Сообщений: 11,861
	03.02.2025, 19:30
	Это не токинайзер, а препроцессор. Он, грубо говоря, раскрывает дефайны и инклуды перед компиляцией. Мне не очень понятно, почему в хелпе привели именно такой пример, потому что разгребать ряд плюсов -- это вообще не его работа. 0