Поиск по маске в большом количестве файлов

@Immo · Регистрация: 02.10.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте, интересует такой вопрос, есть папки, в которые каждый день пишутся 60к-100к файлов. Поиск по маске по прошлым дням происходит достаточно быстро(меньше минуты), а вот в текущем дне, с активными записями файлов, это занимает просто огромное(30м и до нескольких часов) количество времени. Каким способом можно искать быстрее? Может как то можно получить все файлы на момент поиска, и уже по ним искать, не учитывая новые добавленные? Файлы добавляются примерно раз в 5-10с

@Marinero · 13.04.2019, 09:38

Смотря какую команду используете для поиска и как ее оформляете.

@Immo · 13.04.2019, 10:32 **[ТС]**

Обычный поиск - Find *маска*. Пробовал ls выводить, и уже по результату парсить, но выполняется он так же долго

@Marinero · 13.04.2019, 11:01

Immo, давайте прекратим "играть в партизана". Очень сложно давать рекомендации в общем. Конкретизируте Вашу проблему и найти решение станет на порядок проще. Вот например начнем с этого

Сообщение от Immo

Обычный поиск - Find *маска*

Может

Bash
1
find -name '*wildcard*'

@Immo · 13.04.2019, 11:03 **[ТС]**

Именно, я просто думал вам важно именно какой утилитой делаю поиск, извиняюсь за не полный ответ

@Marinero · 13.04.2019, 15:14

Сообщение от Immo

вам важно

Мне лично вообще пофигу. Просто чем полнее Вы изложите задачу тем точнее и результативнее будет помощь. Поиск по маске ведь не конец задачи исходя из

Сообщение от Immo

Пробовал ls выводить, и уже по результату парсить

Возможно Вы выбрали неверный инструмент для решения, может ещё что, но не понимая всей глобальности замысла помочь довольно проблематично

@Immo · 15.04.2019, 12:20 **[ТС]**

вообщем начну с начала, максимально подробно. есть папки, называются как число месяца - 01,02,03 и тд. в зависимости от текущего дня, фалы будут писаться в текущую папку. сами файлы - закриптованные транзакции, и при какой либо ошибке, или обращении, просят достать этот файл. начинаются проблемы именно если попытаться искать в активном дне, куда пишутся десятки файлов каждую минуту. файл имеет имя - город-ид-идтерминала-дата, например moscow-98325835934982-17283-15.04.2019:10:04:49.584. Мне нужно искать по ID транзакции.

@Marinero · 16.04.2019, 11:50

Сообщение от Immo

просят достать этот файл

Что значит "достать"? Скопировать/отправить куда-то?

Bash
1
cp ./15/*-98325835934982-* /папка_назначения

не работает?

@Immo · 16.04.2019, 11:52 **[ТС]**

по sftp скачать его

@Marinero · 16.04.2019, 12:00

Ну какая разница?

Bash
1
scp user@your_host:/path_to_folder/15/*-98325835934982-* /папка_назначения

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Programma_Boinc 01.01.2026 Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .

@Immo 692 / 509 / 238 Регистрация: 02.10.2012 Сообщений: 1,741

	Поиск по маске в большом количестве файлов 12.04.2019, 18:33. Показов 1390. Ответов 9 Метки нет (Все метки) Здравствуйте, интересует такой вопрос, есть папки, в которые каждый день пишутся 60к-100к файлов. Поиск по маске по прошлым дням происходит достаточно быстро(меньше минуты), а вот в текущем дне, с активными записями файлов, это занимает просто огромное(30м и до нескольких часов) количество времени. Каким способом можно искать быстрее? Может как то можно получить все файлы на момент поиска, и уже по ним искать, не учитывая новые добавленные? Файлы добавляются примерно раз в 5-10с 0

@Marinero 2796 / 2039 / 682 Регистрация: 02.03.2015 Сообщений: 6,509
	13.04.2019, 09:38
	Смотря какую команду используете для поиска и как ее оформляете. 0

@Immo 692 / 509 / 238 Регистрация: 02.10.2012 Сообщений: 1,741
	13.04.2019, 10:32 [ТС]
	Обычный поиск - Find маска. Пробовал ls выводить, и уже по результату парсить, но выполняется он так же долго 0

@Immo 692 / 509 / 238 Регистрация: 02.10.2012 Сообщений: 1,741
	13.04.2019, 11:03 [ТС]
	Именно, я просто думал вам важно именно какой утилитой делаю поиск, извиняюсь за не полный ответ 0

@Immo 692 / 509 / 238 Регистрация: 02.10.2012 Сообщений: 1,741
	15.04.2019, 12:20 [ТС]
	вообщем начну с начала, максимально подробно. есть папки, называются как число месяца - 01,02,03 и тд. в зависимости от текущего дня, фалы будут писаться в текущую папку. сами файлы - закриптованные транзакции, и при какой либо ошибке, или обращении, просят достать этот файл. начинаются проблемы именно если попытаться искать в активном дне, куда пишутся десятки файлов каждую минуту. файл имеет имя - город-ид-идтерминала-дата, например moscow-98325835934982-17283-15.04.2019:10:04:49.584. Мне нужно искать по ID транзакции. 0

@Immo 692 / 509 / 238 Регистрация: 02.10.2012 Сообщений: 1,741
	16.04.2019, 11:52 [ТС]
	по sftp скачать его 0