Разработка алгоритма для подтверждения фактов

Я разрабатываю алгоритм, который будет подтверждать факты с помощью интернета. Вот например вопрос "Москва столица России?" ответ должен быть "да" или "нет". И чтоб дать ответ, нужно сначала подтвердить его. Моя идея заключается в том, что бы задать вопрос автоматически, и вопросы это "москва" "столица" "россия". вся эта идея состоит тупо в нахождении слов, но как найти связи, я в тупике. помогите, как можно реализовать?

0

Denis83, через нейронку, самое простое это заюзать готовое, к примеру какой-то помощник от гугла или яндекса через API.

Второй вариант писать самому)

0

Denis83, ну вот например алиса на фразы "Москва столица России?" и "Москва не столица России?" выдает одно и то же. Врят ли то что вы задумали можно реализовать самому.

0

Сообщение от Рядовой Denis83, ну вот например алиса на фразы "Москва столица России?" и "Москва не столица России?" выдает одно и то же. Врят ли то что вы задумали можно реализовать самому.

реализовать в программном коде не надо, надо пока алгоритм в теории собрать. Вот я обращаюсь за помощью на этот форум, может кто понимает как может заработать

Добавлено через 2 минуты

Сообщение от Defences Denis83, через нейронку, самое простое это заюзать готовое, к примеру какой-то помощник от гугла или яндекса через API. Второй вариант писать самому)

это немного не то исследование которое я провожу. А делаю я второй вариант, без н.сети. Моя идея заключается в работе со смысловыми связями слов

0

Сообщение от Denis83 но как найти связи,

напомнило дерево принятия решений

0

Сообщение от Denis83 надо пока алгоритм в теории собрать.

Это своего рода экспертная система, а для них нужны большие базы знаний. Как уже упомянули про Алису - ответить корректно на произвольный вопрос - это очень большая задача, если даже существующие в проде системы так себе это делают.
И честно говоря, не представляю, как эта задача решается на нейронный сетях.

0

IamRain, ну как бы Алиса это и есть нейронка...

0

Почитайте про семантический веб и язык программирования Пролог.
Задача весьма нетривиальная. Просто так никто не объяснит вам ее

0

Сейчас популярно написание ботов-консультантов, в сети попадались исходники на C#.

0

Сообщение от Denis83 реализовать в программном коде не надо, надо пока алгоритм в теории собрать.

Это даже в теории суперсложно.
Поэтому и появились нейронные сети в надежде, что для них не придётся строить таких суперсложных теорий.

Найдите 2 отличия:
"Москва столица России?"
"Москвы столица России?"

Это простой пример, где от изменения окончания меняется смысл сказанного.
А знаменитое "Казнить нельзя помиловать".

Особенно сложно это для таких языков как Русский - с изменяемым порядком слов в предложении.

В поисковике это проще реализовать. Он выдаст просто список статьей где встречаются рядом эти слова, а дальше уже сам пользователь читатет и оценивает.
А то что вы хотите это уже, наверное, почти настоящий ИИ - по уровню гораздо выше чем нейронка от Google.

0

Сообщение от Элд Хасп Это даже в теории суперсложно. Поэтому и появились нейронные сети в надежде, что для них не придётся строить таких суперсложных теорий. Найдите 2 отличия: "Москва столица России?" "Москвы столица России?" Это простой пример, где от изменения окончания меняется смысл сказанного. А знаменитое "Казнить нельзя помиловать". Особенно сложно это для таких языков как Русский - с изменяемым порядком слов в предложении. В поисковике это проще реализовать. Он выдаст просто список статьей где встречаются рядом эти слова, а дальше уже сам пользователь читатет и оценивает. А то что вы хотите это уже, наверное, почти настоящий ИИ - по уровню гораздо выше чем нейронка от Google.

С вами согласен, это не то что под силу одному и на это уйдут годы. в моем случае, это пока просто подтвердить один факт "москва столица россии?" "да" или "нет". Мну нужно посчитать процент подтвержденного факта. Первое что я исследую, это подтверждение фактов с помощью семантической сети. 100% подтвердить факт на данный момент невозможно. В чем заключается идея?
Мы задаем вопрос "москва столица россии?". Первое- нужно проверить, есть ли ответ в офф источниках? мы не нашли документа, который был бы написан как "москва столица россии, она им стала в xxx году при князе XXXX ....." (на деле есть ответ, но мы представим что нет).
Значит идем ко второму варианту, это проверить в поисковике по 2 слова "москва столица" "столица россии" и росси москва", проверить, насколько они близки к друг другу. Например "москва ... ... ... .. столица ... ... .." Если интервал меж словами в тексте не более 6-7 слов, значит есть какая то связь, если более то нет связи. Этот способ вроде называется нахождение пространства связей слов.

Как вам мое предположение? я этот алгоритм взял только в рамках вопроса связанный со столицей россии или другой страны. сложные вопросы я пока не трогаю




В моем понимании компьютер, это ребенок который появился на свет с талантом в математике, а чтоб он начал мыслить, нахождение смыслов, ему нужно все об этом рассказать, это в рамках только текста. Смысл который можно найти с помощью других текстов, а не в действиях человека.

0

Сообщение от Denis83 проверить в поисковике по 2 слова "москва столица" "столица россии" и росси москва", проверить, насколько они близки к друг другу. Например "москва ... ... ... .. столица ... ... .." Если интервал меж словами в тексте не более 6-7 слов, значит есть какая то связь, если более то нет связи. Этот способ вроде называется нахождение пространства связей слов.

Щас делают иначе. Обучают систему по большому корпусу текстов, чтобы затем при "боевой" работе вместо запросов к поисковику просто и быстро измерять расстояния между нужными словами (в пространстве, полученном по результатам обработки кучи текстов).
В общем, см https://ru.wikipedia.org/wiki/Word2vec и
https://ru.wikipedia.org/wiki/... _семантика

А поскольку каждое слово представляется вектором вещественных чисел - то возможны будут и "арифметические" вычисления над этими представлениями. Т.е. по результатам операций над векторами, стоящими за словами в "выражении" Париж-Франция+Россия, получим вектор, близкий/равный вектору слова "Москва". Ну или для Мужчина-Инженер получим вектор, близкий к какому-нибудь Гуманитарию, а для Мужчина-Инженер+Женщина - к Домохозяйке или где-то рядом. Иными словами, имеется/появляется возможность добавлять/вычитать значения/смыслы нужных слов - и получать правильный или довольно осмысленный результат.

Но предыдущий абзац чисто ради информации/заинтересовывания. Вам надо будет просто придумать какую-то эвристику для проверки правильности выражения. Например, построить таблицу значений косинусных расстояний между всеми словами в проверяемом выражении - и попытаться найти остовный подграф (остовное дерево), связывающий все эти слова, с расстояниями (длинами рёбер) не длиннее чем некоторой порог. Если подграф находится - ОК, явных противоречий смыслов у этих слов нет, если не находится - можно смотреть, сколько и каких слов не удаётся достоверно/близко связать с остальными.

1

Сообщение от Denis83 В моем понимании компьютер, это ребенок который появился на свет с талантом в математике, а чтоб он начал мыслить, нахождение смыслов, ему нужно все об этом рассказать, это в рамках только текста. Смысл который можно найти с помощью других текстов, а не в действиях человека.

Вы рассуждаете как нуб человек очень далёкий от компьютеров и воспринимающий их как магию.

Вы не на какой системе не сможете поймать смысловую разницу между "москва столица россии?" и "москвы столица россии?".
Или "казнить нельзя помиловать", "казнить, нельзя помиловать", "казнить нельзя, помиловать".

Компьютер это не РЕБЁНОК!
Это всего лишь хороший калькулятор.

Есть надежда, что в будущем (через 100, 1000, млн лет?) этот калькулятор научат эмулировать ребёнка.
Но в настоящее время он может эмулировать только в очень простых ситуациях, когда количество входных и выходных параметров очень ограничено, и условия их применения неизменны.

Сообщение от Denis83 в моем случае, это пока просто подтвердить один факт "москва столица россии?" "да" или "нет"

Для того чтобы подтвердить факт надо сначала понять смысл вопроса и мы опять возвращаемся к теории ИИ.

Denis83, то что я вам хочу довести.
Ваша задача это не раздел C#, это теория ИИ.
Которая очень большая, разветвлённая и в которой работаю миллионы людей.

И если вы это сможете сделать первым, то вам светит как минимуму звание академика, а может и Нобелевка.

1

Denis83, раз зашла речь о магии. Я просто оставлю это здесь https://ru.wikipedia.org/wiki/... 0%B8%D1%82

0

Defences, не понимаю, как квантовый компьютер поможет решить задачу автора.
Может у него и больше вычислительных мощностей (что ещё не доказано), но как их применить - непонятно.

0

Сообщение от Рядовой Defences, не понимаю, как квантовый компьютер поможет решить задачу автора. Может у него и больше вычислительных мощностей (что ещё не доказано), но как их применить - непонятно.

Такая же фигня.
У КК даже не больше вычислительных мощностей, они просто другие.
Есть задачи которые теоретически, возможно будет проще на них решать.
В основном это относится к криптографии. Отсюда и интерес к ним у спецслужб, военных и т.п. Они же и вливают деньги в них.
А вот посчитать 2+2 или длинную логическую цепочку на них.... По моему, просто невозможно.

В этом отношении они напоминают фотонные (или световые, голографические) компьютеры.
Когда-то эта тема сильно муссировалось.
Но.... Их практическое применение оказалось фактически невозможным. Под каждую задачу надо делать отдельный фотонный кристалл.

0

Сообщение от VTsaregorodtsev Щас делают иначе. Обучают систему по большому корпусу текстов, чтобы затем при "боевой" работе вместо запросов к поисковику просто и быстро измерять расстояния между нужными словами (в пространстве, полученном по результатам обработки кучи текстов). В общем, см https://ru.wikipedia.org/wiki/Word2vec и https://ru.wikipedia.org/wiki/... _семантика А поскольку каждое слово представляется вектором вещественных чисел - то возможны будут и "арифметические" вычисления над этими представлениями. Т.е. по результатам операций над векторами, стоящими за словами в "выражении" Париж-Франция+Россия, получим вектор, близкий/равный вектору слова "Москва". Ну или для Мужчина-Инженер получим вектор, близкий к какому-нибудь Гуманитарию, а для Мужчина-Инженер+Женщина - к Домохозяйке или где-то рядом. Иными словами, имеется/появляется возможность добавлять/вычитать значения/смыслы нужных слов - и получать правильный или довольно осмысленный результат. Но предыдущий абзац чисто ради информации/заинтересовывания. Вам надо будет просто придумать какую-то эвристику для проверки правильности выражения. Например, построить таблицу значений косинусных расстояний между всеми словами в проверяемом выражении - и попытаться найти остовный подграф (остовное дерево), связывающий все эти слова, с расстояниями (длинами рёбер) не длиннее чем некоторой порог. Если подграф находится - ОК, явных противоречий смыслов у этих слов нет, если не находится - можно смотреть, сколько и каких слов не удаётся достоверно/близко связать с остальными.

Сообщение от Элд Хасп Вы рассуждаете как нуб человек очень далёкий от компьютеров и воспринимающий их как магию. Вы не на какой системе не сможете поймать смысловую разницу между "москва столица россии?" и "москвы столица россии?". Или "казнить нельзя помиловать", "казнить, нельзя помиловать", "казнить нельзя, помиловать". Компьютер это не РЕБЁНОК! Это всего лишь хороший калькулятор. Есть надежда, что в будущем (через 100, 1000, млн лет?) этот калькулятор научат эмулировать ребёнка. Но в настоящее время он может эмулировать только в очень простых ситуациях, когда количество входных и выходных параметров очень ограничено, и условия их применения неизменны. Для того чтобы подтвердить факт надо сначала понять смысл вопроса и мы опять возвращаемся к теории ИИ. Denis83, то что я вам хочу довести. Ваша задача это не раздел C#, это теория ИИ. Которая очень большая, разветвлённая и в которой работаю миллионы людей. И если вы это сможете сделать первым, то вам светит как минимуму звание академика, а может и Нобелевка.

спасибо за ваши мнения, действительно интересно и важно, есть над чем подумать. (без шуток).
P,s. не удаляйте и не переводить в архив тему, я к ней вернусь и напишу вам свои успехи и приду за дальнейшими советами)

0

Сообщение от Denis83 P,s. не удаляйте и не переводить в архив тему, я к ней вернусь и напишу вам свои успехи и приду за дальнейшими советами)

Темы не удаляются без веских причин (нарушение правил форума - но это не ваш случай).

Будем ждать новостей!
От Нобелевского комитета?

Успехов!

0

Добрый день. Вообщем, мое исследование дошло до того, что можно использовать RDF модель. Но возникли сложности.
Ситуация такая, я хочу подтвердить факт "яблоко синее?", во внутренней системе нет об этом данных, могу ля я подтвердить это с помощью поисковиков? По моему мнению, это невозможно, учитывая "мусор". Ну я спрошу у поиска "что такое яблоко?", "что такое синее". И чтоб факт подтвердить, нужно копать глубоко и сверять почти каждое слово из найдены источников. Это я сравнил с человеком. Когда мы спросим себя, "яблоко синее?", мы в голове вспоминанием, что яблоко, это фрукт, у фрукта есть свойства "форму", "цвет", "вкус", а далее форма "круглый", цвет "красный, желтый..", вкус "сладкий".
Но вот проблема с поиском, он выдает много лишнего, и отсеить лишнее, это дополнительные алгоритмы. Тупо не хватит мощности ПК

0

У меня тоже была идея создать нечто подобное, но понял что это дело не банальное. Ибо запрос
"москва или Москва"
даже поисковик ответить не может корректно (он выдает что угодно в духе "Москва... или Москва..."), но все же это не то. Вот думаю как обойти тот момент, когда поисковики всю строку к одному регистру приводят.

0