Задача разбора предложения естественного языка

Здравствуйте!

Есть задача написать парсер предложений русского языка. Я взял корпус, написал КС-грамматику, составил дерево разбора. На односоставных предложениях парсер работает отлично.

В простом виде грамматика выглядит так:

На сложных предложениях дела плохи. Для справки: сложное предложение содержит две и более грамматические основы, например, "Он сказал, что Иван приедет завтра".

Я использую восходящий LR-разбор: парсер работает по принципу автомата с магазинном - идет слева направо и пытается найти правило, если находит - происходит свертка и дереве появляется новый узел.

Проблема в том, что если парсер будет идти по предложению "Он сказал, что Иван приедет завтра", то

И конце мы получаем два узла с правилом S !

Но правильно будет, если второе S (Иван приедет) будет левым потомком VP (сказал что).

Вкратце: я хочу получать вложения одного предложения в другое, а не просто набор предложений.

Добавлено через 2 минуты
Вероятно я не совсем ясно описал ситуацию. Задачу можно переформулировать на языке теории формальных языков, с некоторой поправкой на особенности естественного языка. Если кто-то может порекомендовать туториал или литературу - буду благодарен.

0

constantin_01, Сразу предупреждаю, что я не знаю, как Вам помочь. Просто хочу уточнить Вашу проблему, как я ее понимаю. Вы хотите создать парсер содержательного текста, по аналогии с парсингом сайтов. Я начал было изучать парсинг сайтов, думая, что с его помощью можно будет парсить произвольный сайт. Но углубившись в эту проблему понял, что на текущий момент под каждый сайт пишется свой парсер. И это охладило мой пыл. Понятно, что существуют шаблоны, которые можно использовать, что бы из них писать парсеры для конкретных сайтов. Но что бы программа сама писала парсер под произвольный сайт, такой технологии я не нашел.
По аналогии, я думаю у Вас та же проблема, Вы создаете парсер под конкретное предложение, но Ваша программа не может автоматически создавать парсер для предложений любого типа.
Я думаю что эта задача уже относится к области искусственного интеллекта. Один из разделов искусственного интеллекта, это понимать смысл написанного предложения. И подраздел этого раздела, это автоматически анализировать структуру предложения, что собственно и пытаетесь делать Вы.
Попытайтесь найти какую либо информацию в тематике, посвященной искусственному интеллекту и в частности относящуюся к анализу текста (разбору текста).
Путин обозначил создание искусственного интеллекта, как первоочередную задачу на сегодняшний день.
Поэтому искрене желаю Вам удачи в разработке этой тематики.
Кстати Garry Galler, в теме
Перевод текстовых числительных в натуральную форму
рассказал что в Python есть морфоанализатор pymorphy2. Это не совсем то, чем занимаетесь Вы, но тоже относится к анализу содержания текста, а именно отдельных слов из текста. Объединение морфологического анализа текста и Вашего анализа структуры текста, как раз и решает частично задачу анализа смыслового содержания текста.

Добавлено через 10 минут
Кстати у меня появилась мысль, что один из подходов создания искусственного интеллекта, это процесс обучения компьютера, по аналогии, как обучают ученика в школе.
Так же последовательно вкладывать в него знания, как они вкладываются школой в ученика.

0

Viktorrus, спасибо за ответ!

Я знаю, что данная задача может быть решена без привлечения ИИ, например, stanford NLP использует статистические и КС-грамматику для разбора предложений (на английском). Статистические методы я использовать не могу, так как недостаточно материала (помеченных текстов на русском).

Что касается pymorphy2, то я использую как тот же API к корпусу, то есть на уровне морфологии - та же технология. Проблема просто в бедности грамматики наверное или алгоритма.

А что касается вашей аналогии обучения компьютера с обучением ребенка, то на эту тему сейчас есть много статьей. Например, на Хабре есть одна такая (перевод с англ.), где мать будучи IT специалистом сравнивает опыт воспитания и обучения детей с опытом обучения компьютера. Называется "Воспитание ребенка VS машинное обучение ... "

0