Форум программистов, компьютерный форум, киберфорум
Наши страницы
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
1

Поиск сюжета в тексте

19.01.2019, 19:28. Просмотров 436. Ответов 19

Здравствуйте, уважаемые форумчане.
Есть такая задача: научить нейронную сеть распознавать сюжеты книг. Сомневаюсь, возможно ли это вообще. Планирую на входе дать нейронной сети текст книги (начать хотя бы с рассказов каких-нибудь), на выходе дать краткий сюжет этого рассказа:
Время действия
Место действия
Главный герой
Его враги (кто ему мешал)
Его друзья (кто ему помогал)
Какая была у героя проблема
Как он её решал
Чем кончилось – победил, проиграл, отказался от своей затеи…
Думаю, если «скормить» нейросети много рассказов на входе и вот такие краткие «сюжеты» на выходе, нейросеть в конце концов сама будет распознавать суть текста.
Кто-нибудь может подсказать, с чего вообще начать делать такую нейросеть? Может, уже есть примеры подобных нейросетей?
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
19.01.2019, 19:28
Ответы с готовыми решениями:

Поиск в тексте DOC-файлов последовательностей символов по шаблону и поиск найденных в TXT-файле (с логом)
Уважаемые программисты! Очень нужен bat-файл или скрипт, который решает такую задачу: ...

Поиск в тексте.
надо отделить числы вместе знаками... написал эту, но не помогло procedure...

Поиск в тексте
Помогите пожалуйста В файле имеется текст. Найти отсутствие пробелов после точки в конце...

Поиск в тексте
Нужна помощь, построчный поиск в файле не работает выдает месседжбокс постоянно (кроме тех случаев...

Поиск в тексте
Доброго времени суток! Подскажите как на питоне сделать скрипт задача которого в следующем: Нужно...

19
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,353
19.01.2019, 19:46 2
Вопрос: содержится ли в тексте произведения сведения о сюжете?
Ответ: да.

Отсюда следует, что в принципе задача решаема.

Однако, надо смотреть, как будете решать. Нужно "скормить" очень много примеров. Поэтому для начала нужно потрудиться - разметить много-много сюжетов. Изрядно помучаетесь, получите непрофессиональный результат 60% (очень грубо). Хороший ли это результат? Лучше, чем ничего.

А вообще задачу вы поставили - не классификация вроде, техзадание очень неточное, непонятное. Разбейте задачу на элементарные подзадачи - для начала попытайтесь выявлять время действия (столетие, десятилетие). Или другую выберите, попроще.
1
transformator.t
defun
597 / 611 / 44
Регистрация: 30.04.2011
Сообщений: 698
19.01.2019, 22:42 3
михайло, такой михайло...

Фомальгаут М, в данной постановке задачи нужно выполнить минимум две задачи: 1. предобработка текста, 2. извлечение именованных сущностей, а дальше это уже близко к семантическрму анализу...

Добавлено через 4 минуты
первый пунк включает как минимум две задачи:
1. токенизация текста
2. морфологический анализ
1
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,353
20.01.2019, 05:05 4
Цитата Сообщение от transformator.t Посмотреть сообщение
михайло, такой михайло...
Это что за выпад?
0
нтч
246 / 115 / 33
Регистрация: 05.07.2018
Сообщений: 393
Записей в блоге: 3
20.01.2019, 10:34 5
Уважаемый Фомальгаут М
прежде, чем начать решать вашу задачу следует разобраться с понятием "сюжет"
1. будет ли сюжетом если не указано время действия?
2. или к примеру у героя нет врагов? Такое может быть?
3. или врагом героя является сам герой, например его лень?
Далее следует разобраться с понятием "проблема". Что под этим подразумевается?
Кому проблема, а кому нет... Как это определить? И является ли отсутствие/наличие
проблемы проблемой? - Это ещё тот философский вопрос.
Далее. Помощь может быть помехой. Определить это способен только человек.
Например есть такое выражение "медвежья услуга". Вот как это объяснить программе?
И самое главное.
Смело двигайтесь вперёд. Любой шаг в данном направлении даст вам знания и уверенность.
В мире много пессимистов. Но вы точно не из их стаи!!
1
passant
63 / 60 / 10
Регистрация: 09.01.2018
Сообщений: 222
20.01.2019, 13:28 6
Уважаемый Фомальгаут М. "Искусственный интеллект" как минимум должен решать те задачи, которые может решить интеллект естественный.
Не будете-ли вы так любезны разложить на перечисленные вами в первом сообщении компоненты "сюжет" "Войны и мира".
Ну, или хотя-бы "Лолиту". Если будет очень сложно - то "Сказку про руковичку". Потом посмотрим, сможет-ли ИИ сделать это лучше.
1
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,353
20.01.2019, 17:39 7
Вот я и говорю: сначала давай техзадание четкое, а потом морфологические разборки начнутся...
0
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
20.01.2019, 19:51  [ТС] 8
Вот-вот, проблема в том, что даже четкого техзадания сформулировать не могу, чувствую, что не все так просто, на входе текст запихать, на выходе сюжет присобачить...

Добавлено через 19 минут
Если в тексте что-то не указано, то в сюжете будет стоять прочерк. Например, время действия не указано - прочерк. У героя нет врагов, только друзья - в графе "враги" прочерк.
Проблем (задач) я выделяю три вида:
потеря чего-то важного
угроза потери чего-то
возможность приобретения чего-то.
В принципе, в любом сюжете это есть.
Насчет медвежьих услуг пока не усложняю, то есть или действие принесло пользу герою, или нет, а уж с какими намерениями было сделано - неважно. Хотя можно тупо сделать графу в таблице: герой получил от кого-то помощь/помеху, этот кто-то действовал с благими/дурными намерениями.
Усложняется тем, что время и место действия может быть указано не прямо, а косвенно: не 25 октября 1889 года в Лондоне, а сначала там пару слов про промозглый осенний дождь, потом фраза - в свете газового фонаря проехал кэб, потом - Биг Бен пробил полночь... И читатель на основе этого сделает вывод, какой век, какое время года, какой город. Программу тоже можно научить так делать. У меня уже есть таблица со всеми существительными русского языка, и на каждый объект - время его появления в мире и время исчезновения. То есть, "читает" программа в тексте - газовый фонарь, и смотрит по таблице, ага, первые фонари появились тогда-то, вышли из обращения тогда-то. Значит, действие происходит в промежутке с такого-то по такой-то век. Правда, может быть трудность - предположим, герои говорят что-то про динозавров, но никаких динозавров в тексте нет, и вот как программа поймет такие тонкости...

Добавлено через 3 минуты
Переложить рассказ в сюжет?
Были у меня примеры, найду, выставлю...

Добавлено через 15 минут
Мне бы найти хоть какие-то примеры нейросетей, работающих с текстом, хоть понять, по аналогии с чем делать...
0
Excalibur921
763 / 459 / 80
Регистрация: 12.10.2013
Сообщений: 3,079
20.01.2019, 23:44 9
Фомальгаут М,
Пробовали гуглить очевидное типа:
искусственный интеллект пишет книгу,
понимание смысла текста,
извлечение смысла из текста,
искусственный интеллект сочиняет,
искусственный интеллект работает с текстом?

Искусственный интеллект гарри поттер =).

Добавлено через 2 минуты
Для*Гарри Рон*был*громкой, медленной и*мягкой птицей.
0
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
21.01.2019, 05:18  [ТС] 10
Это все отлично, но там нет примеров нейросетей.

Добавлено через 3 минуты
А извлекает нейросеть из текста отдельные слова, чтобы понять, про что текст. А мне интересно скормить нейросети ВЕСЬ текст, чтобы нейросеть нашла сюжет. Сама нашла. Есть же случаи, когда нейросети видят больше людей...
0
нтч
246 / 115 / 33
Регистрация: 05.07.2018
Сообщений: 393
Записей в блоге: 3
21.01.2019, 10:38 11
Уважаемый Фомальгаут М,
я тут подумал, как бы я начал решать вашу задачу, если бы мне это было надо.
1. взял бы небольшой текст, содержащий сюжет.
Большой текст брать не стоит. Лучше разобраться с несколькими маленькими
текстам и обобщить полученные результаты.

2. и далее по вашему списку...
3. Главный герой? Как определить главного героя в тексте? Ведь главным героем
может быть и не человек (буратино, вини пух,...). Какие признаки отличают главного
героя от остальных героев?
Одним из признаков главного героя то, что он (его имя и действия) встречается в
тексте чаще всего. (значит нужна статистика имён? или ещё чего-нибудь в придачу)
4. Друг? Какие действия определяют друга? Может в тексте слово "друг" сказано явно?
И тогда нам не надо гадать? ...
5. Враг?... Враг может быть явным, скрытым, случайным... Как это определить?
6. Время действия? А вот время может быть вообще не определено (или не играть
никакой роли). Например действие происходит на космическом корабле (фантастика)
...
В общем надо разобрать текст по кусочкам и образно говоря дать определение почти
каждому слову.
Далее
7. Я бы взял второй текст и попробовал на нём все те методы, полученные на первом
тексте. Только практика и самостоятельный анализ помогут Вам приобрести те знания,
которые Вы не найдёте в интернете. И возможно, что их просто нет!!
1
Excalibur921
763 / 459 / 80
Регистрация: 12.10.2013
Сообщений: 3,079
21.01.2019, 13:16 12
Фомальгаут М,
Ничего не смотрели? Я так и думал…
Вот видите, я экстраполировал ваш ответ на основе стиля постановки вашего первого вопроса. Я даже экстраполировал бесполезный флейм в теме т.к. у вас нет конкретных вопросов. Я даже экстраполирую ваше дальнее будущее на основе вашего первого поста…вы ничего не сделаете, нет знаний, а столкнувшись с эти сложным вопросом желание разбираться закончиться очень быстро т.к. похоже вы писатель, а не изучающий ИИ программист.

А я нашел в тех запросах (кстати для ИИ гугла между прочим =) ) там упоминание про несколько ии написавших книгу, про то, что они читали 9 книг, даже вроде сайт по этому делу, какое-то соревнование, упоминание литературы, даже рассказ что некий текст при участии ИИ прошел какой-то конкурс…Значит нужно найти больше инфы про эти ИИ, какие методы применяли, кто автор и т.д даже проскользнуло что есть какой то код.

Вы ж не слабый ИИ, корректируйте поисковые запросы на основе новой инфы, включите свой интеллект =). Умение искать инфу в интернете фундаментально подвинет вас в направлении решения любой задачи и достижении результата больше нуля.
2
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
21.01.2019, 20:00  [ТС] 13
Это, в смысле, как сам человек будет искать в тексте главного героя, проблему...
А мне не дает покоя шальная мысль, дать нейронной сети на входе рассказ, на выходе - сюжет, и чтобы нейросеть САМА сделала какие-то умозаключения.
Потому что бывает, нейросеть замечает то, чего человек в упор не видит. Вот, надеюсь на это свойство нейросети.
Так-то, конечно, можно и алгоритм составлять, как искать время действия, место действия...

Добавлено через 53 минуты
Насчет самостоятельного поиска в Интернете - согласна 100 %, создала тему в надежде, что кто-то что-то с ходу сразу знает...
0
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 155
21.01.2019, 23:31 14
Прогоните эту шальную мысль. Нейросети такие задачи не решают. В лучшем случае получится натренировать её выбирать фразы, статистически имеющие отношение к вопросам, потом вручную разбираться.
0
Excalibur921
763 / 459 / 80
Регистрация: 12.10.2013
Сообщений: 3,079
21.01.2019, 23:55 15
Цитата Сообщение от NO_ Посмотреть сообщение
выбирать фразы, статистически имеющие отношение к вопросам
“Гарри оторвал глаза от своей головы и выбросил их в лес...”

Цитата Сообщение от Excalibur921 Посмотреть сообщение
Искусственный интеллект гарри поттер
Фомальгаут М,
Почему тут даже 2 ИИ не справились? На каком они принципе работали? Может там ваша идея голая нейросеть?

Цитата Сообщение от нтч Посмотреть сообщение
Только практика и самостоятельный анализ помогут Вам приобрести те знания, которые Вы не найдёте в интернете. И возможно, что их просто нет!!
Может те ребята с двумя ИИ вообще не шарят как правильно? Вариант.
0
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 155
22.01.2019, 01:13 16
Цитата Сообщение от Excalibur921 Посмотреть сообщение
“Гарри оторвал глаза от своей головы и выбросил их в лес...”
Ну вот нейросеть сможет по словам "оторвал" и "выбросил" предположить, что Гарри отрицательный герой. Я думаю можно автоматически разделить кластера, чтобы в другой класс попали "подарил", "улыбнулся" и т.п.
Так же определить, что слова "кэб" и "телепорт" в одном тесте не встречаются, значит по ним можно чего-то различать.
Но лучше их просто найти в тексте и показать человеку. А результаты самой системы вряд ли будут полезны.
0
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
22.01.2019, 07:42  [ТС] 17
Ну, насчет оторвал и выбросил - не факт. Может, положительный герой готовит ужин, оторвал рыбью голову, выбросил в мусорное ведро, рыбу пожарил, накормил других людей...
Тоже с подарил и улыбнулся - галактический тиран и деспот улыбнулся и подарил орден генералу, который уничтожил население целой планеты...
1
нтч
246 / 115 / 33
Регистрация: 05.07.2018
Сообщений: 393
Записей в блоге: 3
22.01.2019, 08:13 18
Уважаемый Фомальгаут М,
вы сейчас привели очень хорошие примеры, которые подтверждают,
что отдельные слова (вне текста) ничего не значат. Итак, надо изучать
еще контекст. В случае с глаголами - это строго отслеживать на что направлено
их действие и кем/чем оно совершено. "убить комара" вероятно в большинстве
случаев действие положительное, если только комар не является главным героем.
1
passant
63 / 60 / 10
Регистрация: 09.01.2018
Сообщений: 222
22.01.2019, 12:47 19
Совершенно случайно сегодня наткнулся вот на такую статью.
https://habr.com/ru/company/binarydistrict/blog/436988/
Хотя это немного не то, чего хочет ТС, но в целом система подобная, по крайней мере, кое какие идеи можно отсюда извлечь. С моей точки зрения, задача ТС еще более сложная, со всеми вытекающими последствиями, ибо - менее формализованная по сути.
Одна незадача - обратите внимание на бюджеты и проф.ресурсы разработчиков и сравните это с ресурсами (включая базовые знания и умение самостоятельно находить ответы на вопросы :-) ), имеющиеся у ТС.
1
Фомальгаут М
14 / 23 / 1
Регистрация: 26.09.2016
Сообщений: 74
22.01.2019, 13:29  [ТС] 20
Цитата Сообщение от passant Посмотреть сообщение
Совершенно случайно сегодня наткнулся вот на такую статью.
https://habr.com/ru/company/binarydistrict/blog/436988/
Хотя это немного не то, чего хочет ТС, но в целом система подобная, по крайней мере, кое какие идеи можно отсюда извлечь. С моей точки зрения, задача ТС еще более сложная, со всеми вытекающими последствиями, ибо - менее формализованная по сути.
Одна незадача - обратите внимание на бюджеты и проф.ресурсы разработчиков и сравните это с ресурсами (включая базовые знания и умение самостоятельно находить ответы на вопросы :-) ), имеющиеся у ТС.
Большое спасибо!
Немного похоже на книгу "Код бестселлера", но в книге не было алгоритмов, а в в статье ссылка на исследование, там и алгоритмы, и много чего... Будем посмотреть...
0
22.01.2019, 13:29
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
22.01.2019, 13:29

поиск в тексте!!!
Доброго времени суток уважаемые форумчане !!! Подскажите как на питоне сделать скрипт задача...

Поиск в тексте
Привет всем. Ребят подскажите пожалуйста. У меня есть текстовый файл test.txt . с номерами...

Поиск в тексте
Я нашел его в Интернете Библии фото о том, Например Бог искать получить ответ,как нужно найти...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru