Телефонный бот

Задача: сделать простой телефонный бот.
Преобразование аудио в текст будет реализовываться через Yandex SpeechKit.
Основная проблема: как из текста выявить намерение собеседника.

Простой пример:

Ниже идет список фраз, которые нужно идентифицировать как "Приветствие":
Здравствуйте
Здрасте
Здрасте, Сергей
Привет
Добрый день
Я Вас приветствую
...

Ниже идет список фраз, которые нужно идентифицировать как "Положительный", "Отрицательный", "Неуверенно положительный", "Неуверенно отрицательный" и "неопределенный" ответ на вопрос
Да "Положительный"
Конечно, да "Положительный"
Нет "Отрицательный"
Не в коем случае "Отрицательный"

Скорее всего, нет "Неуверенно отрицательный"

Возможно "Неуверенно положительный"
Может быть "Неуверенно положительный"

Не сейчас "неопределенный"
...



Сейчас копаю в сторону NLP и NER. В частности разбираюсь с библиотекой Natasha.
Интересуют возможные варианты решения поставленной задачи. Язык программирования не важен, важен сам концепт и инструменты для реализации подобной задачи.

0

kandiral, подключаюсь к данной теме, решаю задачу аналогичного характера еще большей сложности с извлечением переменных и алгоритмов из сложных текстов, возможно, мой опыт окажется полезен. Могу быть некорректен в терминах.

Самым топорным вариантом будет большая база всевозможных вариантов ответа + корректировка синонимов + расстояние Левенштейна. Справедливости ради, как минимум на первом проходе поиск типичных вариантов имеет смысл.

Даже не самые сырые боты имеют свойство переспрашивать в духе "вы сказали [результат распознавания], это верно?" психологически вынуждая пользователя дать более простой триггер.

Вот самое сложное с чем сталкивался, так это критерии ответа, ведь ответы и вовсе могут быть не в попад, и могут содержать стихотворения Пушкина, так что база ложных ответов так же имеет место быть. Это больше типично для жирных баз данных и машинного обучения. В какой-то мере это отсеивается по ключевым словам, точнее, их отсутствию, примерное содержание можно идентифицировать по шаблонам, лично я использую что-то вроде последовательностей частей речи для идентификации присвоения переменных и алгоритмов.

Так или иначе, это скорее всего будет из себя представлять комплекс решений в очереди понижения надежности.

0

Сообщение от Хостес большая база всевозможных вариантов ответа

Если идти этим путем, то поможет подход, напоминающий регулярные выражения, но свой.

Воспользуемся синтаксисом пайтона:

Фраза из одного слова:
Фраза из двух слов:
& -- означает, что понятия <приветствие> и <имя> могут быть переставлены местами

Далее нужно будет разработать парсер, который такое представление слов и фраз
будет переводить в конечный автомат, потому что на полном переборе всех возможных фраз бот сдохнет.

0

Сообщение от vantfiles КодВыделить код приветствие салям дамарджоба хао при||вет|ветик|ветствую здра||вствуй|вствуйте|сте

Алгоритм для построения подобных конструкций из словарей синонимов/вариантов прост как палка, да и многие алгоритмы поиска с отсортированными данными оптимизированы для таких случаев.

Сообщение от vantfiles & -- означает, что понятия <приветствие> и <имя> могут быть переставлены местами Далее нужно будет разработать парсер, который такое представление слов и фраз будет переводить в конечный автомат, потому что на полном переборе всех возможных фраз бот сдохнет.

Отчасти верно, но есть исключения. На мой взгляд, наибольшую проблему представляют случаи, когда форма ответа радикально отличается от ожидаемой. Но это зачастую ставит в ступор не то что конечный автомат или ИИ, но и человека.

0

Сообщение от Хостес прост как палка

Сообщение от Хостес из словарей синонимов/вариантов

Приведёте пример?

0

Сообщение от vantfiles Приведёте пример?

Контейней MAP из стандартной сишной библиотеки. В принципе, быстрее, чем разбор по всем правилам и исключениям русского языка, т.к отсортирован по ключу.

0

Сообщение от Хостес Контейней MAP из стандартной сишной библиотеки.

Ну он же не резиновый.
Да, для бота типа "Буратино с коротенькими мыслями" это подойдет.
Но если подходить серьезно к задаче - КА.

0

Сообщение от vantfiles Ну он же не резиновый. Да, для бота типа "Буратино с коротенькими мыслями" это подойдет. Но если подходить серьезно к задаче - КА.

Теоретически, для всего русского словаря такая БД будет занимать 40-120 мегабайт ОЗУ. Немного для современности, но это уже не по теме, это лишь пример и суть не в этом.
Просто любым способом перегоняем синонимы/формы слов/словосочетания в токены по типу "привет, да" или "конечно, добрый день" в токены [HELLO, YES]/[YES, HELLO] и определение таких последовательностей как триггера. Вычленить эти последовательности из контекста немного отдельная задачка.

Как я понимаю, у ТС какой-то конкретный бизнес-проект, потому имеет смысл читать статистики и исследования по соответствующей теме, так можно определить самые частые ответы и даже самый простой алгоритм даст 90% точность. Нравится, не нравится, но одних навыков программирования в таком случае недостаточно. Как и одного универсального алгоритма. Потому предалагаю очередь из алгоритмов с подсчетом вероятности ошибки, начиная от описанного примитива, и заканчивая вопросом бота: "Это означает да или нет?" с перезапуском цикла, в случае высокого значения ошибки, при оценке от основных алгоритмов, что так же является рекомендацией в рамках бизнес-решения. Такой вот концепт, реализацию в мелких деталях на данный момент не обсуждаю.

Где-то в стопке порядка данных алгоритмов и будет находиться более "умный" (не в отрицательном смысле) алгоритм, к которому вы склоняете. Даже если ТС удастся реализовать достаточно высокую точность - предложенные мною решения смогут подстраховать.

0

Сообщение от Хостес для всего русского словаря такая БД будет занимать 40-120 мегабайт ОЗУ

а два терабайта не желаете?

Сообщение от Хостес Как я понимаю, у ТС какой-то конкретный бизнес-проект,

Да, подробности хотелось бы прояснить, конечно, что же хочет ТС.

0

Сообщение от vantfiles а два терабайта не желаете?

загнул. гигабайта же конечно

0