Поиск разговорных выражений

@AndrSlav · Регистрация: 20.12.2013

Здравствуйте.
Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно.
Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще?

Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке".
Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой.

Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать.

@AndrSlav · 14.02.2026, 01:03 **[ТС]**

Сообщение от Usaga

Давно бы уже посмотрел. На HuggingFace их тонны на любой вкус и железо.

Да это-то я видел, но из того что посмотрел там как-то убогонько для этой задачи. Но я пока мало посмотрел. ГПТ находит, но тоже не все, я на примере текста попробовал.
В общем, я понял не вариант такое самому писать) Буду гпт использовать.

@Usaga · 14.02.2026, 06:59

Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты.

Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно.

@Tupiel Reuschin · 14.02.2026, 07:11

Сообщение от AndrSlav

алгоритм подсказали) Или куда копать)

Для этого есть специальные люди - лингвисты.

@Usaga · 14.02.2026, 08:57

Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть)

@Aviz__ · 15.02.2026, 09:59

AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней:

Забудь про "слона в посудной лавке" как про метод. Это тупик.

Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ.

Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP.

И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются.

@Tupiel Reuschin · 15.02.2026, 10:55

Сообщение от Aviz__

через 11 дней

Откуда взялся такой срок?

Новые блоги и статьи Все статьи Все блоги /
[golang] Конкурентный fetcher с ограничением максимального количества одновременных HTTP запросов. alhaos 10.06.2026 Задача Реализовать конкурентный fetcher с ограничением максимального количества одновременных HTTP запросов. Сигнатура func Fetch(urls string, maxConcurrent int) Result Пример urls :=. . .	[golang] Состояние гонки (race condition) alhaos 10.06.2026 Состояние гонки (race condition) Состояние гонки (Race Condition) — это ошибка, возникающая при одновременном доступе нескольких горутин к одним и тем же данным без должной синхронизации. При этом. . .	Взрослые отношения, и почему они не получаются kumehtar 09.06.2026 Когда в детстве ребёнок не получает от родителей чего-то важного, он лишается не просто приятных переживаний, а основы для формирования определённых внутренних качеств и навыков. Если ребёнок не. . .	[golang] Worker Pool alhaos 09.06.2026 Worker Pool Worker Pool — паттерн конкурентной обработки задач в Go. Суть: фиксированное количество горутин-воркеров читают задачи из общего канала и пишут результаты в общий канал результатов. . . .
[golang] Pipeline alhaos 08.06.2026 Pipeline Pipeline — паттерн конкурентной обработки данных в Go. Суть: данные проходят через цепочку независимых стадий, каждая из которых работает в своей горутине и общается с соседями через. . .	Свет внутри себя kumehtar 07.06.2026 Пусть это будет здесь lIs4oanZS9Y	Программа для com-порта Uhbif79 05.06.2026 Всем привет, давно хотел изучить Qt, начинал, бросал, потом снова начинал. И сейчас вот смог написать свою первую программу. До этого имел опыт программирования микроконтроллеров, писал прошивки на. . .	Транскрипция 55-минутного видео через Whisper: WhisperDesktop облажался, спас Google Colab[ anaschu 01.06.2026 Понадобилось получить текст из свежезагруженного видео на YouTube. Казалось бы, задача на пять минут. Заняла полтора часа. Делюсь опытом — может кому пригодится последовательность решений. . . .

@AndrSlav 71 / 59 / 14 Регистрация: 20.12.2013 Сообщений: 732

	Поиск разговорных выражений 10.02.2026, 22:58. Показов 1450. Ответов 25 Метки нет (Все метки) Здравствуйте. Решил посмотреть немного пайтон. Но просто читать не особо интересно, да и почти бесполезно. Подскажите, пожалуйста, а возможно ли в пайтон сделать программу для поиска устойчивых выражений? Может подскажете какие библиотеки, какая теория? Вообще какую идею можно заложить, и можно ли вообще? Т.е. вот есть текст, найти не через поиск в строках, а именно по смыслу выражения типа "семь раз отмерь-один раз отрежь", "как слон в посудной лавке". Т.е. выражения, которые формально в тексте вообще ни к месту, в них вообще как будто говорится о вещах не из контекста, а реальный смысл не прямой. Это видимо нейросети можно попробовать, но по примерам (которые тем более пока слабо понимаю) не ясно в принципе как можно организовать. 0

@Usaga 14354 / 9457 / 1360 Регистрация: 21.01.2016 Сообщений: 35,654
	14.02.2026, 06:59
	Royal_X, GPT-OSS-20B много памяти не требует, но демонстрирует выдающиеся (для локальной модели) результаты. Но и попробовать эти модели ничего не стоит, в сравнении с тем, что ТС не имея компетенций, задумал писать самостоятельно. 0

@Usaga 14354 / 9457 / 1360 Регистрация: 21.01.2016 Сообщений: 35,654
	14.02.2026, 08:57
	Tupiel Reuschin, лингвисты умеют определять идиомы в тексте? Офигеть) 0

@Aviz__ 2761 / 2068 / 510 Регистрация: 17.02.2014 Сообщений: 9,500
	15.02.2026, 09:59
	AndrSlav, вот тебе вариант дорожной карты, который не позволят энтузиазму угаснуть через 11 дней: Забудь про "слона в посудной лавке" как про метод. Это тупик. Начни с простого словаря. Нагугли файл с идиомами. Напиши скрипт, который ищет их в тексте. Разберись с pymorphy2. Это даст первый рабочий результат и понимание основ. Сделай шаг в сторону AI. Установи sentence-transformers. Используй тот же словарь и сравнивай векторы предложений. Ты увидишь, как компьютер начинает "понимать" смысл. Это будет твоим первым серьезным успехом в NLP. И только потом, если будет интересно, задумайся о дообучении BERT. К тому моменту ты уже будешь понимать 90% терминов, которыми тут разбрасываются. 1