Синтаксический анализ текста/предложений

@Nachinka · Регистрация: 19.02.2014

Студворк — интернет-сервис помощи студентам

Здравствуйте всем!

В последнее время задумался я над одной интересной штучкой.Назовем ее Универсальный синтаксический анализатор(Уса)

Суть ее работы проста(На первый взгляд), пишем вопрос(Хотя я подумываю над разделением сути вопроса, так скажем, и самого вопроса), а Уса нам отвечает)

В идеале она должна сама ответить нам на примерно такие вопросы:

Bash
1
Маша купила Свете мороженное. Кто купил Мороженное?

То есть программа должна сама допереть до того, кто же купил вкусненькое?))

Вообще вообще в идеале можно было бы написать задачник, вбиваешь текст задачи, он сам ее решает и т д.

Я набросал кое какое начало, неброское:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
import java.util.ArrayList;
import java.util.HashSet;
import java.util.Set;
 
public class Sintaks {
 
    public static void main(String[] args) {
        String[][] SimWorldBase = { { "день", "будень" },
                { "будень", "будни", }, { "зимний", "зима", } };
 
        String[] NameBaseS = { "Маша", "Света", "Иван", "Сергей", "Ольга",
                "Александр" };
        Set<String> setEq = new HashSet<String>();
        ArrayList<String> simW = new ArrayList<String>();
        String s = "Сегодня холодный зимний зимний день день Иван";
        s.toLowerCase();
        s.trim();
        String[] SplitS = s.split(" ");
 
        for (int i = 0; i < SplitS.length; i++) {
            boolean b = setEq.add(SplitS[i]);
            if (b == false) {
                simW.add(SplitS[i]);
            }
        }
 
        System.out.println("========= Характеристика предложения: =======");
 
        if (s.endsWith("?")) {
            System.out.println("[Предложение вопросительное]");
        }
        if (s.endsWith("!")) {
            System.out.println("[Предложение восклицательное]");
        }
        if (s.endsWith(".") || s.endsWith("") || s.endsWith(" ")) {
            System.out.println("[Предложение обычное]");
        }
        System.out.println("[Предложение состоит из " + SplitS.length
                + " слов]");
 
        for (int i = 0; i < SplitS.length; i++) {
            for (int c = 0; c < NameBaseS.length; c++) {
                if (SplitS[i].equalsIgnoreCase(NameBaseS[c])) {
                    System.out
                            .println("В предложении были найдены следующие имена: "
                                    + NameBaseS[c]);
                }
            }
        }
 
        String result = "";
        if (simW.size() != 0) {
            System.out.println("В предложении было найдено " + simW.size()
                    + " похожих слова: ");
            for (int i = 0; i < simW.size(); i++) {
                System.out.print("[" + simW.get(i) + "] ");
                for (int с = 0; с < SimWorldBase.length; ++с) {
                    if (SimWorldBase[с][0].equalsIgnoreCase(simW.get(i))) {
                        result = SimWorldBase[с][1];
                        System.out.println("Синонимы [" + result + "]");
                        // Логическая цепочка.
                        if (SimWorldBase[с][0].equalsIgnoreCase(result)) {
                            result = SimWorldBase[с][1];
                            System.out.println("Синонимы к син [" + result
                                    + "]");
                            break;
                        }
                        break;
                    }
                }
            }
 
        } else {
            System.out.println("[Похожих слов в предложении не найдено]");
        }
 
    }
 
}

Но если у кого-то есть какие-то задумки/идеи, то выложите их, обдумаем)

@tankomaz · 19.04.2014, 22:48

смотрите в сторону нейронных сетей

@t1m0n · 19.04.2014, 23:09

почитайте Томита-парсер
Что такое Томита-парсер, как Яндекс с его помощью понимает естественный язык, и как вы с его помощью сможете извлекать факты из текстов

@MLPMan · 20.04.2014, 06:22

Мне кажется, надо делать семантическую сеть.

@Nachinka · 20.04.2014, 23:02 **[ТС]**

Спасибо! Ссылки и материал интересен, особенно понравился Томита парсер)

Надо вплотную этим заняться.А пока этот момент наступает, прикрутил GUI к программке:

@Nachinka · 20.04.2014, 23:08 **[ТС]**

В будущем можно было бы сделать отдельную программку, заточенную под анализ текста веб страничек.И извлечении фактов, пару мыслей уже есть.

@Nachinka · 22.04.2014, 22:00 **[ТС]**

Чуть чуть переделал программу, теперь мы задаем вопрос по тексту.

Пока я нахожусь в забвении и читаю материалы по теме, вот вам адов говнокодец программулины)

Code:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
import java.awt.FlowLayout;
import java.awt.Font;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.Set;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JScrollPane;
import javax.swing.JTextArea;
 
/*
 * @Author Nachinka!
 * ver 1.2
 */
public class SemanticGo extends JFrame implements ActionListener {
    private static final long serialVersionUID = 1L;
    static JButton button;
    JTextArea textArea;
    JTextArea textAreaAsk;
    JTextArea textAreaT;
 
    public static void createAndShowGUI() {
        JFrame frame = new SemanticGo();
 
        frame.pack();
 
        frame.setSize(610, 680);
        frame.setVisible(true);
        frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        frame.getContentPane().setLayout(new FlowLayout());
 
        frame.getContentPane().add(button);
 
    }
 
    public SemanticGo() {
        textArea = new JTextArea(13, 46);
        JScrollPane scrollableTextArea = new JScrollPane(textArea);
 
        scrollableTextArea
                .setHorizontalScrollBarPolicy(JScrollPane.HORIZONTAL_SCROLLBAR_NEVER);
        scrollableTextArea
                .setVerticalScrollBarPolicy(JScrollPane.VERTICAL_SCROLLBAR_ALWAYS);
 
        this.getContentPane().add(scrollableTextArea);
 
        Font bFontOne = new Font("serif", Font.BOLD, 14);
        textArea.setFont(bFontOne);
 
        textAreaAsk = new JTextArea(4, 46);
        JScrollPane scrollableTextTA = new JScrollPane(textAreaAsk);
 
        scrollableTextTA
                .setHorizontalScrollBarPolicy(JScrollPane.HORIZONTAL_SCROLLBAR_NEVER);
        scrollableTextTA
                .setVerticalScrollBarPolicy(JScrollPane.VERTICAL_SCROLLBAR_ALWAYS);
 
        this.getContentPane().add(scrollableTextTA);
        textAreaAsk.setFont(bFontOne);
 
        textAreaT = new JTextArea(13, 46);
        JScrollPane scrollableTextT = new JScrollPane(textAreaT);
 
        scrollableTextT
                .setHorizontalScrollBarPolicy(JScrollPane.HORIZONTAL_SCROLLBAR_NEVER);
        scrollableTextT
                .setVerticalScrollBarPolicy(JScrollPane.VERTICAL_SCROLLBAR_ALWAYS);
 
        this.getContentPane().add(scrollableTextT);
        textAreaT.setFont(bFontOne);
        button = new JButton("Анализ!");
        button.addActionListener(this);
 
    }
 
    public static void main(String[] args) {
        javax.swing.SwingUtilities.invokeLater(new Runnable() {
            public void run() {
                createAndShowGUI();
            }
        });
    }
 
    @Override
    public void actionPerformed(ActionEvent e) {
        // String s1 =
        // "Основателем фирмы 'НовоКорп' был Иван Семенович, вторым директором фирмы был Сергей Валентинович, фирма просуществовала от 2009 до 2014 года";
        // String s2 = "Кто был основателем фирмы 'НовоКорп'?";
 
        String[][] SimWorldBase = { { "день", "будень" },
                { "будень", "будни", }, { "зимний", "зима", } };
 
        String[] NameBaseS = { "Маша", "Света", "Иван", "Сергей", "Ольга",
                "Александр", "Семен", "Семён", "Валентин" };
 
        Set<String> setEq = new HashSet<String>(); // БАЗА СИНОНИМОВ
        Set<String> EqS = new HashSet<String>(); // БАЗА СИНОНИМОВ В ТЕКсТЕ
        Set<String> NameS = new HashSet<String>(); // БАЗА ИМЕН
        Set<String> OtchS = new HashSet<String>(); // БАЗА ОТЧЕСТВ
        ArrayList<String> simW = new ArrayList<String>();
        String s = textArea.getText(); // ВЫДЕРГИВАЕМ ОСНОВНОЙ ТЕКСТ
        String ask = textAreaAsk.getText(); // ВЫДЕРГИВАЕМ ВОПРОС
        s.toLowerCase();
        s.trim();
        s.replaceAll(",", " ");
 
        ask.toLowerCase();
        ask.trim();
 
        String[] SplitS = s.split(" "); // СЛОВА ТЕКСТА
        String[] Sask = ask.split(" "); // СЛОВА ВОПРОСА
 
        /*
         * for (int i = 0; i < SplitS.length; i++) { boolean b =
         * setEq.add(SplitS[i]); if (b == false) { simW.add(SplitS[i]); } }
         */
 
        textAreaT.setText("========= Характеристика предложения: =======\n");
 
        if (s.endsWith("?")) {
            textAreaT.append("[Предложение вопросительное]\n");
        }
        if (s.endsWith("!")) {
            textAreaT.append("[Предложение восклицательное]\n");
        }
        if (s.endsWith(".") || s.endsWith("") || s.endsWith(" ")) {
            textAreaT.append("[Предложение обычное]\n");
        }
        textAreaT.append("[Предложение состоит из " + SplitS.length
                + " слов] \n");
 
        for (int i = 0; i < SplitS.length; i++) {
            for (int c = 0; c < NameBaseS.length; c++) {
                if (SplitS[i].equalsIgnoreCase(NameBaseS[c])) {
                    NameS.add(NameBaseS[c]);
                }
            }
        }
        for (String strNpr : NameS) {
            textAreaT.append("В предложении были найдены следующие имена: "
                    + strNpr + "\n");
        }
 
        for (int g = 0; g < SplitS.length; g++) {
            for (String strN : NameS) {
                // if (SplitS[g].indexOf(strN) != -1) {
                if (!SplitS[g].equalsIgnoreCase(strN)) {
                    if (SplitS[g].indexOf("ич") != -1) {
                        // textAreaT.append("В предложении были найдены Отчества: "
                        // + SplitS[g] + "\n");
                        OtchS.add(SplitS[g]);
                    }
                }
                // }
            }
        }
 
        for (int i = 0; i < SplitS.length; i++) {
            for (int h = 0; h < Sask.length; h++) {
                if (SplitS[i].equalsIgnoreCase(Sask[h])) {
                    textAreaT.append("Ключевые слова предложения: " + SplitS[i]
                            + "\n");
                    EqS.add(SplitS[i]);
                }
            }
        }
 
        /*
         * String result = ""; if (simW.size() != 0) {
         * textAreaT.append("В предложении было найдено " + simW.size() +
         * " похожих слова: \n"); for (int i = 0; i < simW.size(); i++) {
         * textAreaT.append("[" + simW.get(i) + "] "); for (int с = 0; с <
         * SimWorldBase.length; ++с) { if
         * (SimWorldBase[с][0].equalsIgnoreCase(simW.get(i))) { result =
         * SimWorldBase[с][1]; textAreaT.append("Синонимы [" + result + "]\n");
         * // Логическая цепочка. if
         * (SimWorldBase[с][0].equalsIgnoreCase(result)) { result =
         * SimWorldBase[с][1]; textAreaT.append("Синонимы к син [" + result +
         * "]\n"); break; } break; } } }
         * 
         * } else {
         * textAreaT.append("[Похожих слов в предложении не найдено]\n"); }
         */
 
        textAreaT.append("\n");
        textAreaT.append("Найденные Факты: \n");
 
        StringBuffer sbB = new StringBuffer();
        String resultFullName = null;
 
        for (int i = 0; i < SplitS.length; i++) {
            for (String strNpr : NameS) {
                for (String strOth : OtchS) {
                    if (SplitS[i].equalsIgnoreCase(strNpr)) {
                        if (SplitS[i + 1].equalsIgnoreCase(strOth)) {
                            textAreaT.append("Возможно найдено полное имя: "
                                    + SplitS[i] + " " + SplitS[i + 1] + "\n");
                            sbB.append(SplitS[i]);
                            sbB.append(SplitS[i + 1]);
                            resultFullName = sbB.toString();
 
                        }
                    }
                }
            }
        }
        for (int i = 0; i < SplitS.length; i++) {
            for (int h = 0; h < Sask.length; h++) {
                for (String strSer : EqS) {
                    for (String strNpr : NameS) {
                        if (SplitS[i].equalsIgnoreCase(Sask[h])) {
                            if (SplitS[i].equalsIgnoreCase(strSer)) {
                                if (SplitS[i + 1].equalsIgnoreCase(strNpr)) {
                                    textAreaT.append("Факты: " + strSer + " " + SplitS[i] + " " +  strNpr + " " + resultFullName + "\n" );
                                }
                            }
                        }
                    }
                }
            }
        }
 
    }
 
}

Тапками не кидаться!)

Если есть предложения по теме выкладывайте)

Добавлено через 40 секунд
Дальнейшую версию программы хочу сделать с применением нейронной обучаемой сети, чтобы она училась на ошибках и т д.

@tankomaz · 22.04.2014, 22:29

Не по теме:

конструкции вида

напомнило мне что весна, птицы возвращаются с юга, красиво

@Nachinka · 23.04.2014, 13:50 **[ТС]**

Вообще там часть можно урезать, оптимизировать, надо заняться как-нибудь.

Новые блоги и статьи Все статьи Все блоги /
Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .

@tankomaz ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ 443 / 442 / 100 Регистрация: 14.10.2012 Сообщений: 1,146 Записей в блоге: 9
	19.04.2014, 22:48
	смотрите в сторону нейронных сетей 1

@t1m0n 638 / 416 / 27 Регистрация: 03.11.2009 Сообщений: 1,855
	19.04.2014, 23:09
	почитайте Томита-парсер Что такое Томита-парсер, как Яндекс с его помощью понимает естественный язык, и как вы с его помощью сможете извлекать факты из текстов 1

@MLPMan Кандёхаем веселее! 296 / 330 / 76 Регистрация: 02.10.2012 Сообщений: 2,175
	20.04.2014, 06:22
	Мне кажется, надо делать семантическую сеть. 1

@Nachinka 11 / 11 / 0 Регистрация: 19.02.2014 Сообщений: 95
	20.04.2014, 23:02 [ТС]
	Спасибо! Ссылки и материал интересен, особенно понравился Томита парсер) Надо вплотную этим заняться.А пока этот момент наступает, прикрутил GUI к программке: Миниатюры 0

@Nachinka 11 / 11 / 0 Регистрация: 19.02.2014 Сообщений: 95
	20.04.2014, 23:08 [ТС]
	В будущем можно было бы сделать отдельную программку, заточенную под анализ текста веб страничек.И извлечении фактов, пару мыслей уже есть. 0

@Nachinka 11 / 11 / 0 Регистрация: 19.02.2014 Сообщений: 95
	23.04.2014, 13:50 [ТС]
	Вообще там часть можно урезать, оптимизировать, надо заняться как-нибудь. 0