Поиск разговорных выражений

@AndrSlav · Регистрация: 20.12.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно.
Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще?

Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке".
Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой.

Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать.

@AndrSlav · 14.02.2026, 01:03 **[ТС]**

Сообщение от Usaga

Давно бы уже посмотрел. На HuggingFace их тонны на любой вкус и железо.

Да это-то я видел, но из того что посмотрел там как-то убогонько для этой задачи. Но я пока мало посмотрел. ГПТ находит, но тоже не все, я на примере текста попробовал.
В общем, я понял не вариант такое самому писать) Буду гпт использовать.

@Usaga · 14.02.2026, 06:59

Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты.

Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно.

@Tupiel Reuschin · 14.02.2026, 07:11

Сообщение от AndrSlav

алгоритм подсказали) Или куда копать)

Для этого есть специальные люди - лингвисты.

@Usaga · 14.02.2026, 08:57

Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть)

@Aviz__ · 15.02.2026, 09:59

AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней:

Забудь про "слона в посудной лавке" как про метод. Это тупик.

Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ.

Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP.

И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются.

@Tupiel Reuschin · 15.02.2026, 10:55

Сообщение от Aviz__

через 11 дней

Откуда взялся такой срок?

Новые блоги и статьи Все статьи Все блоги /
Особенности gif сгенерированных в Си russiannick 21.10.2026 Рассмотрим генерацию gif файлов, которые в Си имеют свои особенности. Gif представляет собой графический формат популярный в интернете. Посмотрим на палитру. Gif файл сгенерированный в си отличается. . .	FPS контроллер с анимированными Y-Bot и 3D-звуком miniaudio (Box3D, Recast, BehaviorTree.CPP, ozz-animation, ImGui, OpenGL и SDL3) 8Observer8 18.10.2026 Содержание блога \| English Version Полное мультиплатформенное руководство по стартовому проекту с FPS-контроллером игрока, анимированными роботами Y-Bot с 4-слойным блендингом, 3D-физикой Box3D,. . .	Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .
ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .

@AndrSlav 71 / 59 / 14 Регистрация: 20.12.2013 Сообщений: 732

	Поиск разговорных выражений 10.02.2026, 22:58. Показов 1645. Ответов 25 Метки нет (Все метки) Здравствуйте. Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно. Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще? Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке". Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой. Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать. 0

@Usaga 14815 / 9589 / 1368 Регистрация: 21.01.2016 Сообщений: 36,114
	14.02.2026, 06:59
	Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты. Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно. 0

@Usaga 14815 / 9589 / 1368 Регистрация: 21.01.2016 Сообщений: 36,114
	14.02.2026, 08:57
	Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть) 0

@Aviz__ 2762 / 2069 / 510 Регистрация: 17.02.2014 Сообщений: 9,507
	15.02.2026, 09:59
	AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней: Забудь про "слона в посудной лавке" как про метод. Это тупик. Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ. Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP. И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются. 1