Форум программистов, компьютерный форум CyberForum.ru

Лексический и синтаксический анализаторы - C++

Восстановить пароль Регистрация
 
Рейтинг: Рейтинг темы: голосов - 22, средняя оценка - 4.95
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
12.07.2012, 16:03     Лексический и синтаксический анализаторы #1
здравствуйте.нужна помощь, по flex\bison, чтение драгон бука и поиска и google уже не хватает ,так что прошу помощи тут у Вас.
лексер scaner.l
C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
D           [0-9]
L           [a-zA-Z_]
H           [a-fA-F0-9]
E           [Ee][+-]?{D}+
FS          (f|F|l|L)
IS          (u|U|l|L)*
 
%{
#include <stdio.h>
#include "y.tab.h"
extern YYSTYPE yylval;
void count();
void  comment(); 
int check_type();
%}
 
%%
"/*"            { comment(); }
 
"auto"          { count(); return(AUTO); }
"break"         { count(); return(BREAK); }
"case"          { count(); return(CASE); }
"char"          { count(); return(CHAR); }
"const"         { count(); return(CONST); }
"continue"      { count(); return(CONTINUE); }
"default"       { count(); return(DEFAULT); }
"do"            { count(); return(DO); }
"double"        { count(); return(DOUBLE); }
"else"          { count(); return(ELSE); }
"enum"          { count(); return(ENUM); }
"extern"        { count(); return(EXTERN); }
"float"         { count(); return(FLOAT); }
"for"           { count(); return(FOR); }
"goto"          { count(); return(GOTO); }
"if"            { count(); return(IF); }
"int"           { count(); return(INT); }
"long"          { count(); return(LONG); }
"register"      { count(); return(REGISTER); }
"return"        { count(); return(RETURN); }
"short"         { count(); return(SHORT); }
"signed"        { count(); return(SIGNED); }
"sizeof"        { count(); return(SIZEOF); }
"static"        { count(); return(STATIC); }
"struct"        { count(); return(STRUCT); }
"switch"        { count(); return(SWITCH); }
"typedef"       { count(); return(TYPEDEF); }
"union"         { count(); return(UNION); }
"unsigned"      { count(); return(UNSIGNED); }
"void"          { count(); return(VOID); }
"volatile"      { count(); return(VOLATILE); }
"while"         { count(); return(WHILE); }
 
{L}({L}|{D})*       { count(); return(check_type()); }
 
0[xX]{H}+{IS}?      { count(); return(CONSTANT); }
0{D}+{IS}?      { count(); return(CONSTANT); }
{D}+{IS}?       { count(); return(CONSTANT); }
L?'(\\.|[^\\'])+'   { count(); return(CONSTANT); }
 
{D}+{E}{FS}?        { count(); return(CONSTANT); }
{D}*"."{D}+({E})?{FS}?  { count(); return(CONSTANT); }
{D}+"."{D}*({E})?{FS}?  { count(); return(CONSTANT); }
 
L?\"(\\.|[^\\"])*\" { count(); return(STRING_LITERAL); }
 
"..."           { count(); return(ELLIPSIS); }
">>="           { count(); return(RIGHT_ASSIGN); }
"<<="           { count(); return(LEFT_ASSIGN); }
"+="            { count(); return(ADD_ASSIGN); }
"-="            { count(); return(SUB_ASSIGN); }
"*="            { count(); return(MUL_ASSIGN); }
"/="            { count(); return(DIV_ASSIGN); }
"%="            { count(); return(MOD_ASSIGN); }
"&="            { count(); return(AND_ASSIGN); }
"^="            { count(); return(XOR_ASSIGN); }
"|="            { count(); return(OR_ASSIGN); }
">>"            { count(); return(RIGHT_OP); }
"<<"            { count(); return(LEFT_OP); }
"++"            { count(); return(INC_OP); }
"--"            { count(); return(DEC_OP); }
"->"            { count(); return(PTR_OP); }
"&&"            { count(); return(AND_OP); }
"||"            { count(); return(OR_OP); }
"<="            { count(); return(LE_OP); }
">="            { count(); return(GE_OP); }
"=="            { count(); return(EQ_OP); }
"!="            { count(); return(NE_OP); }
";"         { count(); return(';'); }
("{"|"<%")      { count(); return('{'); }
("}"|"%>")      { count(); return('}'); }
","         { count(); return(','); }
":"         { count(); return(':'); }
"="         { count(); return('='); }
"("         { count(); return('('); }
")"         { count(); return(')'); }
("["|"<:")      { count(); return('['); }
("]"|":>")      { count(); return(']'); }
"."         { count(); return('.'); }
"&"         { count(); return('&'); }
"!"         { count(); return('!'); }
"~"         { count(); return('~'); }
"-"         { count(); return('-'); }
"+"         { count(); return('+'); }
"*"         { count(); return('*'); }
"/"         { count(); return('/'); }
"%"         { count(); return('%'); }
"<"         { count(); return('<'); }
">"         { count(); return('>'); }
"^"         { count(); return('^'); }
"|"         { count(); return('|'); }
"?"         { count(); return('?'); }
 
[ \t\v\n\f]     { count(); }
.           { /* ignore bad characters */ }
 
%%
 
int yywrap()
{
    return(1);
}
 
 
void comment()
{
}
 
 
int column = 0;
 
void count()
{
    int i;
 
    for (i = 0; yytext[i] != '\0'; i++)
        if (yytext[i] == '\n')
            column = 0;
        else if (yytext[i] == '\t')
            column += 8 - (column % 8);
        else
            column++;
 
    ECHO;
}
 
 
int check_type()
{
/*
* pseudo code --- this is what it should check
*
*   if (yytext == type_name)
*       return(TYPE_NAME);
*
*   return(IDENTIFIER);
*/
 
/*
*   it actually will only return IDENTIFIER
*/
 
    return(IDENTIFIER);
}
парсер
parser.y
C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
%token IDENTIFIER CONSTANT STRING_LITERAL SIZEOF
%token PTR_OP INC_OP DEC_OP LEFT_OP RIGHT_OP LE_OP GE_OP EQ_OP NE_OP
%token AND_OP OR_OP MUL_ASSIGN DIV_ASSIGN MOD_ASSIGN ADD_ASSIGN
%token SUB_ASSIGN LEFT_ASSIGN RIGHT_ASSIGN AND_ASSIGN
%token XOR_ASSIGN OR_ASSIGN TYPE_NAME
 
%token TYPEDEF EXTERN STATIC AUTO REGISTER
%token CHAR SHORT INT LONG SIGNED UNSIGNED FLOAT DOUBLE CONST VOLATILE VOID
%token STRUCT UNION ENUM ELLIPSIS
 
%token CASE DEFAULT IF ELSE SWITCH WHILE DO FOR GOTO CONTINUE BREAK RETURN
 
%start translation_unit
%{
#include <stdio.h>
 
extern char yytext[];
extern int column;
 
yyerror(s)
char *s;
{
    fflush(stdout);
    printf("\n%*s\n%*s\n", column, "^", column, s);
}
}%
%%
primary_expression
    : IDENTIFIER
    | CONSTANT
    | STRING_LITERAL
    | '(' expression ')'
    ;
 
postfix_expression
    : primary_expression
    | postfix_expression '[' expression ']'
    | postfix_expression '(' ')'
    | postfix_expression '(' argument_expression_list ')'
    | postfix_expression '.' IDENTIFIER
    | postfix_expression PTR_OP IDENTIFIER
    | postfix_expression INC_OP
    | postfix_expression DEC_OP
    ;
 
argument_expression_list
    : assignment_expression
    | argument_expression_list ',' assignment_expression
    ;
 
unary_expression
    : postfix_expression
    | INC_OP unary_expression
    | DEC_OP unary_expression
    | unary_operator cast_expression
    | SIZEOF unary_expression
    | SIZEOF '(' type_name ')'
    ;
 
unary_operator
    : '&'
    | '*'
    | '+'
    | '-'
    | '~'
    | '!'
    ;
 
cast_expression
    : unary_expression
    | '(' type_name ')' cast_expression
    ;
 
multiplicative_expression
    : cast_expression
    | multiplicative_expression '*' cast_expression
    | multiplicative_expression '/' cast_expression
    | multiplicative_expression '%' cast_expression
    ;
 
additive_expression
    : multiplicative_expression
    | additive_expression '+' multiplicative_expression
    | additive_expression '-' multiplicative_expression
    ;
 
shift_expression
    : additive_expression
    | shift_expression LEFT_OP additive_expression
    | shift_expression RIGHT_OP additive_expression
    ;
 
relational_expression
    : shift_expression
    | relational_expression '<' shift_expression
    | relational_expression '>' shift_expression
    | relational_expression LE_OP shift_expression
    | relational_expression GE_OP shift_expression
    ;
 
equality_expression
    : relational_expression
    | equality_expression EQ_OP relational_expression
    | equality_expression NE_OP relational_expression
    ;
 
and_expression
    : equality_expression
    | and_expression '&' equality_expression
    ;
 
exclusive_or_expression
    : and_expression
    | exclusive_or_expression '^' and_expression
    ;
 
inclusive_or_expression
    : exclusive_or_expression
    | inclusive_or_expression '|' exclusive_or_expression
    ;
 
logical_and_expression
    : inclusive_or_expression
    | logical_and_expression AND_OP inclusive_or_expression
    ;
 
logical_or_expression
    : logical_and_expression
    | logical_or_expression OR_OP logical_and_expression
    ;
 
conditional_expression
    : logical_or_expression
    | logical_or_expression '?' expression ':' conditional_expression
    ;
 
assignment_expression
    : conditional_expression
    | unary_expression assignment_operator assignment_expression
    ;
 
assignment_operator
    : '='
    | MUL_ASSIGN
    | DIV_ASSIGN
    | MOD_ASSIGN
    | ADD_ASSIGN
    | SUB_ASSIGN
    | LEFT_ASSIGN
    | RIGHT_ASSIGN
    | AND_ASSIGN
    | XOR_ASSIGN
    | OR_ASSIGN
    ;
 
expression
    : assignment_expression
    | expression ',' assignment_expression
    ;
 
constant_expression
    : conditional_expression
    ;
 
declaration
    : declaration_specifiers ';'
    | declaration_specifiers init_declarator_list ';'
    ;
 
declaration_specifiers
    : storage_class_specifier
    | storage_class_specifier declaration_specifiers
    | type_specifier
    | type_specifier declaration_specifiers
    | type_qualifier
    | type_qualifier declaration_specifiers
    ;
 
init_declarator_list
    : init_declarator
    | init_declarator_list ',' init_declarator
    ;
 
init_declarator
    : declarator
    | declarator '=' initializer
    ;
 
storage_class_specifier
    : TYPEDEF
    | EXTERN
    | STATIC
    | AUTO
    | REGISTER
    ;
 
type_specifier
    : VOID
    | CHAR
    | SHORT
    | INT
    | LONG
    | FLOAT
    | DOUBLE
    | SIGNED
    | UNSIGNED
    | struct_or_union_specifier
    | enum_specifier
    | TYPE_NAME
    ;
 
struct_or_union_specifier
    : struct_or_union IDENTIFIER '{' struct_declaration_list '}'
    | struct_or_union '{' struct_declaration_list '}'
    | struct_or_union IDENTIFIER
    ;
 
struct_or_union
    : STRUCT
    | UNION
    ;
 
struct_declaration_list
    : struct_declaration
    | struct_declaration_list struct_declaration
    ;
 
struct_declaration
    : specifier_qualifier_list struct_declarator_list ';'
    ;
 
specifier_qualifier_list
    : type_specifier specifier_qualifier_list
    | type_specifier
    | type_qualifier specifier_qualifier_list
    | type_qualifier
    ;
 
struct_declarator_list
    : struct_declarator
    | struct_declarator_list ',' struct_declarator
    ;
 
struct_declarator
    : declarator
    | ':' constant_expression
    | declarator ':' constant_expression
    ;
 
enum_specifier
    : ENUM '{' enumerator_list '}'
    | ENUM IDENTIFIER '{' enumerator_list '}'
    | ENUM IDENTIFIER
    ;
 
enumerator_list
    : enumerator
    | enumerator_list ',' enumerator
    ;
 
enumerator
    : IDENTIFIER
    | IDENTIFIER '=' constant_expression
    ;
 
type_qualifier
    : CONST
    | VOLATILE
    ;
 
declarator
    : pointer direct_declarator
    | direct_declarator
    ;
 
direct_declarator
    : IDENTIFIER
    | '(' declarator ')'
    | direct_declarator '[' constant_expression ']'
    | direct_declarator '[' ']'
    | direct_declarator '(' parameter_type_list ')'
    | direct_declarator '(' identifier_list ')'
    | direct_declarator '(' ')'
    ;
 
pointer
    : '*'
    | '*' type_qualifier_list
    | '*' pointer
    | '*' type_qualifier_list pointer
    ;
 
type_qualifier_list
    : type_qualifier
    | type_qualifier_list type_qualifier
    ;
 
 
parameter_type_list
    : parameter_list
    | parameter_list ',' ELLIPSIS
    ;
 
parameter_list
    : parameter_declaration
    | parameter_list ',' parameter_declaration
    ;
 
parameter_declaration
    : declaration_specifiers declarator
    | declaration_specifiers abstract_declarator
    | declaration_specifiers
    ;
 
identifier_list
    : IDENTIFIER
    | identifier_list ',' IDENTIFIER
    ;
 
type_name
    : specifier_qualifier_list
    | specifier_qualifier_list abstract_declarator
    ;
 
abstract_declarator
    : pointer
    | direct_abstract_declarator
    | pointer direct_abstract_declarator
    ;
 
direct_abstract_declarator
    : '(' abstract_declarator ')'
    | '[' ']'
    | '[' constant_expression ']'
    | direct_abstract_declarator '[' ']'
    | direct_abstract_declarator '[' constant_expression ']'
    | '(' ')'
    | '(' parameter_type_list ')'
    | direct_abstract_declarator '(' ')'
    | direct_abstract_declarator '(' parameter_type_list ')'
    ;
 
initializer
    : assignment_expression
    | '{' initializer_list '}'
    | '{' initializer_list ',' '}'
    ;
 
initializer_list
    : initializer
    | initializer_list ',' initializer
    ;
 
statement
    : labeled_statement
    | compound_statement
    | expression_statement
    | selection_statement
    | iteration_statement
    | jump_statement
    ;
 
labeled_statement
    : IDENTIFIER ':' statement
    | CASE constant_expression ':' statement
    | DEFAULT ':' statement
    ;
 
compound_statement
    : '{' '}'
    | '{' statement_list '}'
    | '{' declaration_list '}'
    | '{' declaration_list statement_list '}'
    ;
 
declaration_list
    : declaration
    | declaration_list declaration
    ;
 
statement_list
    : statement
    | statement_list statement
    ;
 
expression_statement
    : ';'
    | expression ';'
    ;
 
selection_statement
    : IF '(' expression ')' statement
    | IF '(' expression ')' statement ELSE statement
    | SWITCH '(' expression ')' statement
    ;
 
iteration_statement
    : WHILE '(' expression ')' statement
    | DO statement WHILE '(' expression ')' ';'
    | FOR '(' expression_statement expression_statement ')' statement
    | FOR '(' expression_statement expression_statement expression ')' statement
    ;
 
jump_statement
    : GOTO IDENTIFIER ';'
    | CONTINUE ';'
    | BREAK ';'
    | RETURN ';'
    | RETURN expression ';'
    ;
 
translation_unit
    : external_declaration
    | translation_unit external_declaration
    ;
 
external_declaration
    : function_definition
    | declaration
    ;
 
function_definition
    : declaration_specifiers declarator declaration_list compound_statement
    | declaration_specifiers declarator compound_statement
    | declarator declaration_list compound_statement
    | declarator compound_statement
    ;
 
%%
лексический анализатор отрабатывает нормльно
Bash
1
2
sergey@sergey-HP ~/SAPR/project/project/project_c++ $ flex++ scaner.l 
sergey@sergey-HP ~/SAPR/project/project/project_c++ $
,
а вот с парсером возникают проблемы( которые уже не могу исправить.
Bash
1
2
3
4
5
6
ergey@sergey-HP ~/SAPR/project/project/project_c++ $ bisonc++ parser.y 
Scanner::lineMsg(): yylineno = 15
[Error 1] Line 15: (parser.y) unrecognized input (`%') encountered
Scanner::lineMsg(): yylineno = 430
[Warning] Line 430: (parser.y) Ignoring all input beyond the second %% token
sergey@sergey-HP ~/SAPR/project/project/project_c++ $
....
о самой задаче, нужно разбирать исходные коды С\С++ , в качестве примера смотрел как реализваны https://github.com/ispc/ispc/
и
http://llvm.org/svn/llvm-project/cfe...include/clang/
но всё равно не хватает мощи победить. прощу помощи в данной проблеме.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
12.07.2012, 16:03     Лексический и синтаксический анализаторы
Посмотрите здесь:

C++ лексический анализатор на С++
C++ Лексический анализатор
лексический анализ..... C++
C++ Статитческие анализаторы
C++ лексический анализ
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
silent_1991
Эксперт C++
4938 / 3014 / 149
Регистрация: 11.11.2009
Сообщений: 7,024
Завершенные тесты: 1
12.07.2012, 19:01     Лексический и синтаксический анализаторы #2
27 строка: не }%, а %}.
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
12.07.2012, 23:33  [ТС]     Лексический и синтаксический анализаторы #3
Цитата Сообщение от silent_1991 Посмотреть сообщение
27 строка: не }%, а %}.
поправил, результат такой же
Bash
1
2
3
4
5
6
sergey@sergey-HP ~/SAPR/project/project/project_c++ $ bisonc++ parser.y 
Scanner::lineMsg(): yylineno = 15
[Error 1] Line 15: (parser.y) unrecognized input (`%') encountered
Scanner::lineMsg(): yylineno = 430
[Warning] Line 430: (parser.y) Ignoring all input beyond the second %% token
sergey@sergey-HP ~/SAPR/project/project/project_c++ $
alex_x_x
бжни
 Аватар для alex_x_x
2441 / 1646 / 84
Регистрация: 14.05.2009
Сообщений: 7,163
13.07.2012, 00:04     Лексический и синтаксический анализаторы #4
serg3091, во-первых код у вас для flex и bison, а не для flex++ и bison++ (хотя может быть вы это умышленно делаете)
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
13.07.2012, 00:32  [ТС]     Лексический и синтаксический анализаторы #5
подключил файлы к проекту Qt , получаются теперь вот такие ошибки [CPPQT/parser.tab.c:1924: ошибка: 'parserlex' was not declared in this scope[/CPPQT]
но 1924 строка это строка комментария.
C++ (Qt)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
/*-----------------------------.
| yyreduce -- Do a reduction.  |
`-----------------------------*/
yyreduce:
  /* yyn is the number of a rule to reduce with.  */
  yylen = yyr2[yyn];
 
  /* If YYLEN is nonzero, implement the default value of the action:
     `$$ = $1'.
 
     Otherwise, the following line sets YYVAL to garbage.
     This behavior is undocumented and Bison
     users should not rely upon it.  Assigning to YYVAL
     unconditionally makes the parser a bit smaller, and it avoids a
     GCC warning that YYVAL may be used uninitialized.  */
  yyval = yyvsp[1-yylen];
 
 
  YY_REDUCE_PRINT (yyn);
  switch (yyn)
    {
Добавлено через 43 секунды
Цитата Сообщение от alex_x_x Посмотреть сообщение
serg3091, во-первых код у вас для flex и bison, а не для flex++ и bison++ (хотя может быть вы это умышленно делаете)
попробовал как Вы сказали с bison
Bash
1
2
sergey@sergey-HP ~/SAPR/project/project/project_c++ $ bison parser.y 
parser.y: конфликты: 1 сдвига/вывода
alex_x_x
бжни
 Аватар для alex_x_x
2441 / 1646 / 84
Регистрация: 14.05.2009
Сообщений: 7,163
13.07.2012, 00:34     Лексический и синтаксический анализаторы #6
Цитата Сообщение от serg3091 Посмотреть сообщение
попробовал как Вы сказали с bison
во, оно с-интерпретировалось, но пишет, что грамматика неидеальна
там есть какие-то ключики для бизона, чтобы он показывал конфликты
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
13.07.2012, 01:03  [ТС]     Лексический и синтаксический анализаторы #7
Цитата Сообщение от alex_x_x Посмотреть сообщение
есть какие-то ключики для бизона, чтобы он показывал конфликты
пока в мане нашёл
Bash
1
2
ergey@sergey-HP ~/SAPR/project/project/project_c++ $ bison -t parser.y 
parser.y: конфликты: 1 сдвига/вывода
но debug ни чего не показал, не подскажете как косяк отыскать?
alex_x_x
бжни
 Аватар для alex_x_x
2441 / 1646 / 84
Регистрация: 14.05.2009
Сообщений: 7,163
13.07.2012, 01:09     Лексический и синтаксический анализаторы #8
Цитата Сообщение от serg3091 Посмотреть сообщение
но debug ни чего не показал, не подскажете как косяк отыскать?
насколько я понимаю - код он вам сгенерировал

попробуйте bison -t --warnings=all parser.y

Добавлено через 58 секунд
изучите ман, я както делал, там должно быть это
http://netbsd.gw.com/cgi-bin/man-cgi?bison
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
13.07.2012, 11:28  [ТС]     Лексический и синтаксический анализаторы #9
Цитата Сообщение от alex_x_x Посмотреть сообщение
попробуйте bison -t --warnings=all parser.y
тоже самое, я пробовал выводить всё в output , но это дико, не могу разобраться в переходах bison, man да отличный, сегодня вечером постараюсь разобраться.
и ещё вопрос, если мне бизон сгенерил код то как, от туда AST выдрать , мне оно собственно и нужно.
alex_x_x
бжни
 Аватар для alex_x_x
2441 / 1646 / 84
Регистрация: 14.05.2009
Сообщений: 7,163
13.07.2012, 12:17     Лексический и синтаксический анализаторы #10
Цитата Сообщение от serg3091 Посмотреть сообщение
и ещё вопрос, если мне бизон сгенерил код то как, от туда AST выдрать , мне оно собственно и нужно.
что есть AST?
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
13.07.2012, 13:27  [ТС]     Лексический и синтаксический анализаторы #11
Добавлено через 32 минуты
Цитата Сообщение от alex_x_x Посмотреть сообщение
что есть AST?
Abstract syntax tree - Абстрактное синтаксическое дерево
silent_1991
Эксперт C++
4938 / 3014 / 149
Регистрация: 11.11.2009
Сообщений: 7,024
Завершенные тесты: 1
14.07.2012, 13:27     Лексический и синтаксический анализаторы #12
serg3091, никак не вытащить. Вы должны его генерировать самостоятельно в действиях для конкретных правил.
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
14.07.2012, 14:52  [ТС]     Лексический и синтаксический анализаторы #13
Цитата Сообщение от silent_1991 Посмотреть сообщение
serg3091, никак не вытащить. Вы должны его генерировать самостоятельно в действиях для конкретных правил.
а можно чуть подробнее, или где про это можно почитать желательно на русском.
silent_1991
Эксперт C++
4938 / 3014 / 149
Регистрация: 11.11.2009
Сообщений: 7,024
Завершенные тесты: 1
14.07.2012, 15:16     Лексический и синтаксический анализаторы #14
serg3091, а что подробнее? Вы разрабатываете внутреннее представление вашего языка, какие узлы как должны представлять те или иные операторы. Затем в действии для правила грамматики (когда происходит свёртка) формируете конкретный узел дерева. В yystype, таким образом, можно хранить конкретный узел. Например, есть правило, генерирующее узел дерева для конструкции while. Действие для данного правила может выглядеть так:
C
1
2
3
4
5
6
7
8
9
10
while_stmt:
     WHILE '(' expr ')' stmt
     {
          // Генерируем узел типа WHILE_NODE_TYPE, поддеревьями которого
          // являются условие продолжения цикла и его тело
          // И generate_node, и WHILE_NODE_TYPE, ествественно, пользовательские
          // вещи, за них отвечает программист, в данном случае это просто абстрактные
          // функции/константы с говорящими именами
          $$ = generate_node(WHILE_NODE_TYPE, $1, $2);
     }
К моменту разбора всей инструкции цикла while expr и stmt уже будут разобраны и будут представлять корни соответствующих поддеревьев (предполагается, что каждое правило генерирует конкретный узел). Тогда результатом разбора данного правила (т.е. тем, что будет помещено на вершину стека) будет узел, объединяющий поддеревья для выражения условия продолжения цикла и тела цикла, под общей сущностью "инструкция while". Он, в свою очередь, сам является stmt и будет добавлен в правиле разбора stmt к общему списку выражений данного блока.
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
16.07.2012, 15:40  [ТС]     Лексический и синтаксический анализаторы #15
подскажите плз, я подключил scaner.l и parser.y к проекту Qt всё собралось, код сгенерился, но не могу понять теперь как натравливать полученный код на какие либо - то файлы.
alex_x_x
бжни
 Аватар для alex_x_x
2441 / 1646 / 84
Регистрация: 14.05.2009
Сообщений: 7,163
16.07.2012, 16:40     Лексический и синтаксический анализаторы #16
serg3091, по-умолчанию оно парсит stdin и выводит в stdout
в книге oreilly flex & bison описывалось как изменить источник
честно говоря давно я все это делал и смутно представляю, но там точно это все есть
silent_1991
Эксперт C++
4938 / 3014 / 149
Регистрация: 11.11.2009
Сообщений: 7,024
Завершенные тесты: 1
16.07.2012, 16:42     Лексический и синтаксический анализаторы #17
serg3091, проще всего перенаправить ввод через < или использовать freopen. Возможно, Qt имеет собственные функции для связывания потоков.
serg3091
 Аватар для serg3091
12 / 12 / 0
Регистрация: 09.10.2010
Сообщений: 143
16.07.2012, 16:44  [ТС]     Лексический и синтаксический анализаторы #18
Цитата Сообщение от silent_1991 Посмотреть сообщение
serg3091, проще всего перенаправить ввод через < .
допустим создаю класс для всего этого, а нужно ли подключить сгенерированный код , и extern каких функций нужен, что бы перенаправить <
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.07.2012, 16:46     Лексический и синтаксический анализаторы
Еще ссылки по теме:

C++ Лексический сканер
Лексический и синтаксический анализ текста C++
C++ Лексический и синтаксический анализ текста

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
silent_1991
Эксперт C++
4938 / 3014 / 149
Регистрация: 11.11.2009
Сообщений: 7,024
Завершенные тесты: 1
16.07.2012, 16:46     Лексический и синтаксический анализаторы #19
Ах да, ещё есть yyin и yyout (входной и выходной потоки соответственно).

Добавлено через 59 секунд
serg3091, чтобы перенаправить через <, никаких функций не нужно, это возможность операционной системы (перенаправление ввода через <, вывода через >).
Yandex
Объявления
16.07.2012, 16:46     Лексический и синтаксический анализаторы
Ответ Создать тему
Опции темы

Текущее время: 05:22. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2016, vBulletin Solutions, Inc.
Рейтинг@Mail.ru