Поиск разговорных выражений

Здравствуйте.
Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно.
Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще?

Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке".
Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой.

Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать.

0

В Питоне есть библиотеки просто для морфологического анализа текста, в том числе разработанные в Яндексе (что и не удивительно, вещь важная для обработки поисковых запросов). А вот так чтобы "как будто говорится о вещах не из контекста" - это что-то слишком мудренное...

0

AndrSlav, поднять локальную модельку через llama.cpp, обратиться к ней через OpenAI-совместимую библиотеку (можно напрямую, но нафига?), получить ответ.

0

В смысле как если бы написал запрос в чат гпт, но просто не вручную? Интересно бы было самому написать, хоть в каком-то базовом варианте. Наверно чтобы найти все выражения - это много данных надо и большая модель. Просто подумал может как-то в примитивном виде можно сделать модельку самому.

0

Сообщение от AndrSlav возможно ли в пайтон сделать программу для поиска устойчивых выражений?

- запрограммировать можно всё. При условии, что программист знает алгоритм. Ты знаешь, как "искать устойчивые выражения"? Если да - то ответ положительный. Если нет - то язык программирования не имеет значения.

0

Сообщение от Catstail Ты знаешь, как "искать устойчивые выражения"?

Так вот собственно потому и тему создал, чтобы алгоритм подсказали) Или куда копать)
А насчет языка - я пайтон вообще почти не знаю. Просто в нем много библиотек, а я более чем уверен, что по теме нейросети надо использовать. Но хотелось бы конкретики, вдруг у кого-то опыт был.

0

Сообщение от AndrSlav а я более чем уверен, что по теме нейросети надо использовать.

Сообщение от AndrSlav Интересно бы было самому написать, хоть в каком-то базовом варианте.

Так ты определись уже, самому писать или нейросети использовать.

Добавлено через 19 минут

Сообщение от AndrSlav чтобы алгоритм подсказали

А здесь нет никакого алгоритма. И не надо быть программистом или знать питон, чтобы понимать почему. У выражений нет никаких атрибутов или признаков по которым некий алгоритм смог быть классифицировать фразу как идиому или устойчивое выражение. Выражение к таковым относится чисто по общему соглашению людей.

Единственное, что тут можно сделать - собрать набор таких выражений и проверять каждое входное предложение на нечёткое совпадение с одним из набора. Нейронка так и будет делать, по сути, сравнивая текст с учебными материалами, которая она видела и где рядом было "идиома" или "устойчивое выражение".

0

В принципе думал как-то по контексту, типа если текст о мебели, и вдруг слон упоминается, то это кандидат. Это и ошибочно может быть, и многие выражения не попадутся, но хоть как-то. Только это видимо или сложно, или никак(

0

AndrSlav, это звучит как поход неизвестно куда, в поисках неизвестно чего.

Результат будет соответствующий.

0

Сообщение от Usaga Так ты определись уже, самому писать или нейросети использовать.

Я хотел сам попробовать нейросеть написать хоть в каком-то виде для интересной задачи.
Проблемы с тем чтобы придумать задачу, и чтобы по силам. Из данных у меня найдутся электронные книги, вот думаю какую задачу поставить для нейросети.

0

я почти уверен, что идиомы, аллегории, поговорки, пословицы, фразеологизмы можно искать в тексте с помощью библиотеки, какой не знаю)) - не было такой задачи - инет, ИИ в помощь))

0

Сообщение от AndrSlav Я хотел сам попробовать нейросеть написать хоть в каком-то виде для интересной задачи.

Я бы рекомендовал начинать с задач попроще.

0

Сообщение от Usaga Я бы рекомендовал начинать с задач попроще.

Практика показала, что оптимально иметь задачу интересную, которая обычно сложная. И к ней уже стремиться решая здачи простые, нацеленные на аспекты сложной. А иначе бесполезно.
Я просто сейчас не вижу что бы вообще полезного для себя сделать с помощью нейросетей. Вот эту задачу запросами к гпт, но это просто практика использования апи. Примеры в мануалах - генерация текста, классификация - это для личного пользования не нужно. Перевод на другие языки - там вообще данные специальные нужны. Вот что бы придумать чтобы самому утилиту использовать...

0

Сообщение от AndrSlav Вот что бы придумать чтобы самому утилиту использовать...

не понял проблемы с фантазией?

0

Сообщение от AndrSlav Примеры в мануалах - генерация текста, классификация - это для личного пользования не нужно.

Так и твоя задача к классификации относится.

Сообщение от AndrSlav Вот что бы придумать чтобы самому утилиту использовать...

Ну... Тогда тут совсем другая задача.

0

Сообщение от Ципихович Эндрю не понял проблемы с фантазией?

Ну да. Нужна задача для практики с нейросетями. Интересная и полезная (пусть даже только мне полезная). И сейчас вот хочется с текстами. Не просто классификация, а чтобы надо было подумать над архитектурой, алгоритмом.

Добавлено через 1 минуту

Сообщение от Usaga Так и твоя задача к классификации относится.

Я в плане чтобы не просто feed-forward.

0

AndrSlav, все-таки надо разграничивать возможности своей компетенции. Если хочется научиться, то надо браться за вещи по-проще. Особенно учитывая, что тема ИИ весьма сложная. И уже потом браться за интересные задачи)

0

Не ну хочется чего-то конкретного.
Я нейросети только на pytorch полистал.
Ок, с нуля пока не буду писать стараться.
Я с предобученными сетями тоже дел не имел. Я правильно понимаю, что есть много предобученных сетей бесплатных, и их можно попробовать доучивать для своих задач (или даже не доучивать)?
Просто не чувствую - какие-то вижу и слегка посмотрел чисто выделить лексемы, т.е. несложные функции.
Т.е. бесплатные тоже стоит смотреть, или они шлак с минимальным функционалом, чисто посмотреть интерфейс, а использовать только платные приходится (пару раз чат гпт пытался в браузере использовать а он везде деньги просил)?
Создалось впечатление, что и бесплатные вполне норм, но уточнить хочу, хочется сегодня определиться куда мне дальше смотреть-то.

0

Сообщение от AndrSlav Т.е. бесплатные тоже стоит смотреть

Давно бы уже посмотрел. На HuggingFace их тонны на любой вкус и железо. Там и чистые веса есть, которые дообучать можно.

0

Сообщение от Ципихович Эндрю я почти уверен, что идиомы, аллегории, поговорки, пословицы, фразеологизмы можно искать в тексте с помощью библиотеки, какой не знаю))

чёт маловероятно, что найдется какая-нибудь библиотека, которая будет знать все идиомы, аллегории, поговорки, пословицы, фразеологизмы... мне кажется, что словари нужно самому искать или составлять. А потом нужно написать код, который будет искать словосочетания, используя словари. Причем, для склонения слов уже можно использовать библиотеку, например, pymorphy.

Usaga, от локальных моделек малого размера толку мало, особенно, для русского языка. Даже моделей 14B будет недостаточно. А большие модели требуют очень много памяти.

0