Поиск разговорных выражений

@AndrSlav · Регистрация: 20.12.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно.
Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще?

Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке".
Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой.

Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать.

@AndrSlav · 14.02.2026, 01:03 **[ТС]**

Сообщение от Usaga

Давно бы уже посмотрел. На HuggingFace их тонны на любой вкус и железо.

Да это-то я видел, но из того что посмотрел там как-то убогонько для этой задачи. Но я пока мало посмотрел. ГПТ находит, но тоже не все, я на примере текста попробовал.
В общем, я понял не вариант такое самому писать) Буду гпт использовать.

@Usaga · 14.02.2026, 06:59

Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты.

Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно.

@Tupiel Reuschin · 14.02.2026, 07:11

Сообщение от AndrSlav

алгоритм подсказали) Или куда копать)

Для этого есть специальные люди - лингвисты.

@Usaga · 14.02.2026, 08:57

Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть)

@Aviz__ · 15.02.2026, 09:59

AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней:

Забудь про "слона в посудной лавке" как про метод. Это тупик.

Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ.

Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP.

И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются.

@Tupiel Reuschin · 15.02.2026, 10:55

Сообщение от Aviz__

через 11 дней

Откуда взялся такой срок?

Новые блоги и статьи Все статьи Все блоги /
Установка нескольких штампов электронной подписи в строго определенных местах файла docx ВладимирСамохин 19.07.2026 (В!) Работа с Электронной подписью - это неотъемлемая часть современного документооборота. Но что делать, если нужно поставить несколько штампов электронной подписи в строго определенных местах. . .	сукцессия 35. Научная статья о проделанной работе anaschu 19.07.2026 Написал в формате латекс и пдф	Вангую, что это не пройдёт модерацию, и на неделе я запущу свой сервер. Hrethgir 19.07.2026 Эта публикация сейчас в песочнице и ждёт приглашения. https:/ / habr. com/ ru/ sandbox/ 295048/ начало и оглавление - Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование. . .	сукцессия 33. открытые вопросы от клауде anaschu 19.07.2026 "Что накопилось за эту часть А — тринадцать правок, из которых шесть пришли из ваших вопросов и каждая оказалась реальной ошибкой, а не калибровкой: односторонний симбиоз, отсутствующий листопад,. . .
32 сукцессия anaschu 19.07.2026 сукцессия 28‑мерное ядро стабилизировано Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не «подкручивает» сходимость —. . .	сукцессия 31: модель микоризы - это модель ещё нескольких явлений, социальных и экономических anaschu 18.07.2026 Теория «Всего»: апдейт v1. 1. 2 — 28‑мерное ядро стабилизировано Коллеги, фиксирую разбор инженерных правок и их изоморфную проекцию на экономику, меметику и половой отбор. Модель теперь не. . .	сукцессия 30. Массив проверяющих друг друга моделей anaschu 18.07.2026 Архитектура сети взаимопроверяющих моделей микоризной сукцессии (v2. 0) Развитие тензорного ОДУ-ядра и создание кросс-платформенного калибровочного полигона Уважаемые коллеги! В продолжение. . .	Грибы - это женщины, деревья - это мужчины. Анти инь янь для союза мужчины и женщины. anaschu 18.07.2026 ГЛАВНЫЙ НАУЧНО-ФИЛОСОФСКИЙ ВЫВОД: Сексуально-Репродуктивный Капитализм против Государства Моногамии Коллеги, мы вышли на финишную прямую 20-мерного ОДУ-моделирования вековой сукцессии (ветка. . .

@AndrSlav 71 / 59 / 14 Регистрация: 20.12.2013 Сообщений: 732

	Поиск разговорных выражений 10.02.2026, 22:58. Показов 1518. Ответов 25 Метки нет (Все метки) Здравствуйте. Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно. Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще? Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке". Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой. Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать. 0

@Usaga 14368 / 9469 / 1360 Регистрация: 21.01.2016 Сообщений: 35,733
	14.02.2026, 06:59
	Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты. Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно. 0

@Usaga 14368 / 9469 / 1360 Регистрация: 21.01.2016 Сообщений: 35,733
	14.02.2026, 08:57
	Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть) 0

@Aviz__ 2762 / 2069 / 510 Регистрация: 17.02.2014 Сообщений: 9,507
	15.02.2026, 09:59
	AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней: Забудь про "слона в посудной лавке" как про метод. Это тупик. Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ. Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP. И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются. 1

Опции темы