Как обойти файлы и папки в директории и найти все что нужно?

@supmener · Регистрация: 26.06.2013

Студворк — интернет-сервис помощи студентам

Надо показать текстовые файлы (могут быть как с расширением txt, так и без никакого), в которых одновременно присутствуют все слова или синонимы, заданные для поиска.

Окончания обрезаю, чтобы не надо было думать, как это автоматизировать (чтобы не надо было искать слова в разных словоформах).
Примеры запросов (в разных строках разные примеры запросов):
живот=абдомен температур=лихорадк=гипетерм сыпь горл

(1 красн=кровоизл глаз) (3 бол горл=глотк) Здесь 1 означает, что может быть одно промежуточное слово, а может и не быть: красные глаза, краснота в глазах, а 2 - до 2 промежуточных слов: болезненное, воспалённое, покрасневшее, раздраженное горло. Можно и без этого функционала, если это сложно.

(жидк стул)=понос рвот

(высок=повышен температур вечер) (бол груд)

Если какой-то функционал из этих расширенных вариантов тяжело запрограммировать, то ограничиться простым вариантом. Например:
сып температур горл
Буду искать несколько раз, подставляя синонимы тогда в запрос.

@0x10 · 14.09.2020, 11:49

Сообщение от Alli_Lupin

grep - лучший поисковик.

Категоричность — восьмой смертный грех.

Зависит от задачи.

grep — полнотекстовый поиск регулярками без построения индекса. Удобен для своего класса задач.

Но уже сейчас автор пытается натянуть сову на глобус, планируя реализовать морфологию и поиск синонимов на регулярках в рамках одного запроса. Со временем могут появиться требования, которые не реализуются грепом. Самое банальное — ранжирование по релевантности. И снова уже сейчас автор пытается запихнуть часть модели релевантности в синтаксис запроса, это выражается в количестве допустимых слов между токенами запроса.

В итоге все равно придется смотреть на движки полнотекстового поиска (Sphinx, Lucene).

Может быть, нужна предобработка данных для извлечения фактов/симптомов, и затем поиск по ним.

@supmener · 14.09.2020, 12:05 **[ТС]**

Сообщение от 0x10

Может быть, нужна предобработка данных для извлечения фактов/симптомов, и затем поиск по ним

Около 50 болезней только инфекционных на примете, не учитывая паразитарных. А хочется ещё диагностировать эндокринологию, сердечно-сосудистую, болезни живота и ещё кое-что. Слишком сложно получается. А при привлечении других людей (экспертов) стоимость разработки для личного использования многократно возрастает и выходит из-под контроля, так как не понятно, что скрывается на самом деле за корочками и стажем титулованного специалиста.

Добавлено через 6 минут
Интересная поисковая часть запроса:
насморк ИЛИ ринит ИЛИ синусит ИЛИ сопли ИЛИ выделения из носа ИЛИ носовые выделения ИЛИ гайморит

Рыжий Лис · 14.09.2020, 12:24

Сообщение от supmener

Интересная поисковая часть запроса:
насморк ИЛИ ринит ИЛИ синусит ИЛИ сопли ИЛИ выделения из носа ИЛИ носовые выделения ИЛИ гайморит

Ничего интересного. Парсим запрос

Python
1
2
3
4
>>> query = 'насморк ИЛИ ринит ИЛИ синусит ИЛИ сопли ИЛИ выделения из носа ИЛИ носовые выделения ИЛИ гайморит '
>>> result = [i.strip() for i in query.split('ИЛИ')]
>>> result
['насморк', 'ринит', 'синусит', 'сопли', 'выделения из носа', 'носовые выделения', 'гайморит']

Открываем файл и ищем вхождения каждой подстроки

@supmener · 14.09.2020, 12:32 **[ТС]**

'выделения из носа' могут быть также 'выделениями из носа' и 'выделениям из носа' и 'выделениями из носовых пазух'
А как делать поиск в найденном или вместо этого добавить в этот поисковый запрос температура и кашель?

Рыжий Лис · 14.09.2020, 12:45

это уже морфологию языка надо использовать и приводить слова к нормальной форме. И выкидывать лишние предлоги.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import pymorphy2
 
morph = pymorphy2.MorphAnalyzer()
 
words = [
   'выделения',
   'из',
   'носа',
   'выделениями',
   'выделениям',
   'выделениями',
   'из',
   'носовых',
   'пазух',
]
 
result = set()
for i in words:
    p = morph.parse(i)[0]
    print(p)
    if 'PREP' in p.tag:
        continue
    result.add(p.normal_form)
    
print(result)  #{'носов', 'выделение', 'пазуха', 'нос'}

@0x10 · 14.09.2020, 13:11

Сообщение от supmener

'выделения из носа' могут быть также 'выделениями из носа' и 'выделениям из носа' и 'выделениями из носовых пазух'

У задачи нечеткого поиска нет точного решения. Есть конфликт между точностью и полнотой результатов. Возможны различные ситуации:
- Все результаты в выдаче релевантны запросу.
- Помимо релевантных результатов есть нерелевантные (страдает точность в пользу полноны).
- Результаты релевантны, но найдены не все (страдает полнота в пользу точности).
- Все результаты в выдаче нерелевантны (поиск чего-то не понимает, попытка компенсировать полнотой).

Поиск других классов предлагается читателю в качестве упражнения.

Добиваться качества выдачи можно самыми разными способами: обработка и переписывание запроса, подбор параметров функций ранжирования, разметка корпуса данных и прочее seo. Ключевой момент: ты не сможешь на берегу определить, какой набор механизмов нужен тебе для решения задачи. Ты сейчас выдумываешь сценарии, не представляя, насколько они нужны и создают ли они проблему. Для оценки качества нужна метрика.

Например, по запросу «выделения из носа» вполне может быть найден документ с фразой «выделениями из носовых пазух». Первое слово найдено по морфологии, второе выкинули как незначимое, третье найдено по префиксу «нос» четвертое выкинули как значимое. Насколько хорошо сработает такая выдача и не будет ли ожидаемый документ слишком низко — можно сказать только на конкретном корпусе. Без корпуса можно подумать, что нужна модель, которая различает понятия «нос» и «носовые пазухи» по контексту, чтобы в выдаче не было соплей по запросу «перелом носа». На практике может оказаться, что другие механизмы (морфология, поиск по префиксу) способны компенсировать отсутствие такой модели.

Резюме. Для решения задачи нужны корпус запросов, документы, ассесмент и метрика качества. Наверняка тебе на старте этого не нужно. Скорее всего, достаточно будет поднять любой полнотекстовый поисковик, добавить в него русскую морфологию и пользоваться. По мере использования набирать корпус запросов и анализировать. какие еще нужны механизмы. Если сейчас у тебя нет даже набора документов, то нет и задачи как таковой.

@Garry Galler · 14.09.2020, 14:29

Парни - 0x10, все правильно сказал: натягивать сову на глобус тяжело.
ТС нужно осознать, что для реальных задач юзать придется тяжелую артиллерию.
Либо готовые поисковые движки, либо PostgreSQL: https://postgrespro.ru/docs/po... textsearch
Для небольшого числа документов можно лишь поиграться с какими-то примитивами на основе морфоанализаторов и регулярок.
Да и понимание text процессинга у ТС пока полностью отсутствует.

@supmener · 14.09.2020, 15:46 **[ТС]**

Подвопрос в отдельной теме
Ищу текстовой редактор для поиска с регулярными выражениями, чтобы найденные слова сразу, одновременно подсвечивались

@supmener · 15.09.2020, 12:21 **[ТС]**

Сообщение от iSmokeJC

зачем в линукс тащить всякий виндовый хлам? Там и так все есть. И даже больше

В теме по ссылке в предыдущем посте не удалось найти подходящий текстовой редактор с регулярными выражениями. Рыжий лис сначала думал, что можно составить регулярку, только у меня не получилось. А он сам, как думаю, ошибся.

@Alli_Lupin · 15.09.2020, 12:26

supmener, может быть вам подойдёт vim? Он умеет много, включая регулярки и отдельно ставить не надо...

Рыжий Лис · 15.09.2020, 12:31

Не по теме:

Сообщение от Alli_Lupin

может быть вам подойдёт vim?

Ха-ха-ха, насмешили

@Alli_Lupin · 15.09.2020, 12:33

Не по теме:

Рыжий Лис, да чего: войдёт в вим, выйти не сможет. лепота...

Рыжий Лис · 15.09.2020, 12:33

Сообщение от supmener

Рыжий лис сначала думал, что можно составить регулярку,

Я никогда не предлагал искать регулярками. Для русского текста - это глупо, лишком много морфологии. Если бы для английского - ещё можно было бы попробовать.

Это у вас не получилось создать регулярку

@supmener · 15.09.2020, 12:37 **[ТС]**

Так если её нельзя создать, поэтому и не получилось значит.

@supmener · 15.09.2020, 21:55 **[ТС]**

Изобретенная сегодня регулярка в теме про текстовой редактор на самом деле не работает.

@Garry Galler · 16.09.2020, 02:06

Сообщение от supmener

Так если её нельзя создать

Создать-то, наверняка, можно, только она будет очень сложной, практически человеконечитаемой.
Поэтому люди используют парсеры на правилах, которые генерируют регулярки под капотом.
Правила легче понимать, структурировать и масштабировать (до известных пределов).
Пример такого парсера я уже как-то приводил.
Приведу еще раз: https://nbviewer.jupyter.org/g... book.ipynb
https://github.com/natasha/yargy
https://www.youtube.com/watch?v=NQxzx0qYgK8

Рыжий Лис · 16.09.2020, 05:30

Серьёзно, давно бы сел и написал код, который будет работать, как ты хочешь.

Сообщение от supmener

должны отобраться только файлы в которых оба совпадения есть, относящиеся и к кашлю, и к насморку.

Python
1
2
3
4
5
6
import os
 
lst = ['кашель', 'насморк']
 
for root, dirs, files in os.walk('path/to/txt'):
    print(root, dirs, files)

@supmener · 16.09.2020, 08:23 **[ТС]**

А как подставить сюда регулярное выражение?

Code
1
кашел|кашл|насморк|ринит|синусит|сопли|выделен.+нос|нос.*выделен|гайморит

Рыжий Лис · 16.09.2020, 08:55

Так это же опять будет одно "слово".

Начни писать итерационно. Первая итерация - обход папки, фильтрация только текстовых файлов. Вторая итерация - открытие файла, поиск одного слова (или даже регуляркой).

Итерация - здесь имеет смысл постепенное написание программы.

@supmener · 16.09.2020, 11:14 **[ТС]**

Garry Galler, Благодарю. Поставил на закачку видео. Надо будет ознакомиться.

Новые блоги и статьи Все статьи Все блоги /
Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .
Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .	мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755

	Как обойти файлы и папки в директории и найти все что нужно? 13.09.2020, 21:17. Показов 9386. Ответов 57 Метки нет (Все метки) Надо показать текстовые файлы (могут быть как с расширением txt, так и без никакого), в которых одновременно присутствуют все слова или синонимы, заданные для поиска. Окончания обрезаю, чтобы не надо было думать, как это автоматизировать (чтобы не надо было искать слова в разных словоформах). Примеры запросов (в разных строках разные примеры запросов): живот=абдомен температур=лихорадк=гипетерм сыпь горл (1 красн=кровоизл глаз) (3 бол горл=глотк) Здесь 1 означает, что может быть одно промежуточное слово, а может и не быть: красные глаза, краснота в глазах, а 2 - до 2 промежуточных слов: болезненное, воспалённое, покрасневшее, раздраженное горло. Можно и без этого функционала, если это сложно. (жидк стул)=понос рвот (высок=повышен температур вечер) (бол груд) Если какой-то функционал из этих расширенных вариантов тяжело запрограммировать, то ограничиться простым вариантом. Например: сып температур горл Буду искать несколько раз, подставляя синонимы тогда в запрос. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	14.09.2020, 12:32 [ТС]
	'выделения из носа' могут быть также 'выделениями из носа' и 'выделениям из носа' и 'выделениями из носовых пазух' А как делать поиск в найденном или вместо этого добавить в этот поисковый запрос температура и кашель? 0

@Garry Galler 5439 / 3860 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	14.09.2020, 14:29
	Парни - 0x10, все правильно сказал: натягивать сову на глобус тяжело. ТС нужно осознать, что для реальных задач юзать придется тяжелую артиллерию. Либо готовые поисковые движки, либо PostgreSQL: https://postgrespro.ru/docs/po... textsearch Для небольшого числа документов можно лишь поиграться с какими-то примитивами на основе морфоанализаторов и регулярок. Да и понимание text процессинга у ТС пока полностью отсутствует. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	14.09.2020, 15:46 [ТС]
	Подвопрос в отдельной теме Ищу текстовой редактор для поиска с регулярными выражениями, чтобы найденные слова сразу, одновременно подсвечивались 0

@Alli_Lupin 5184 / 1074 / 150 Регистрация: 29.01.2013 Сообщений: 6,263
	15.09.2020, 12:26
	supmener, может быть вам подойдёт vim? Он умеет много, включая регулярки и отдельно ставить не надо... 0

@Alli_Lupin
	15.09.2020, 12:33
	Не по теме: Рыжий Лис, да чего: войдёт в вим, выйти не сможет. лепота... 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	15.09.2020, 12:37 [ТС]
	Так если её нельзя создать, поэтому и не получилось значит. 0

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	15.09.2020, 21:55 [ТС]
	Изобретенная сегодня регулярка в теме про текстовой редактор на самом деле не работает. 0

Рыжий Лис Просто Лис 5973 / 3735 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	16.09.2020, 08:55
	Так это же опять будет одно "слово". Начни писать итерационно. Первая итерация - обход папки, фильтрация только текстовых файлов. Вторая итерация - открытие файла, поиск одного слова (или даже регуляркой). Итерация - здесь имеет смысл постепенное написание программы. 1

@supmener 87 / 95 / 15 Регистрация: 26.06.2013 Сообщений: 4,755
	16.09.2020, 11:14 [ТС]
	Garry Galler, Благодарю. Поставил на закачку видео. Надо будет ознакомиться. 0