Форум программистов, компьютерный форум, киберфорум
Наши страницы
Shell, Bash
Войти
Регистрация
Восстановить пароль
 
Immo
224 / 212 / 104
Регистрация: 02.10.2012
Сообщений: 924
1

Поиск по маске в большом количестве файлов

12.04.2019, 18:33. Просмотров 184. Ответов 9
Метки нет (Все метки)

Здравствуйте, интересует такой вопрос, есть папки, в которые каждый день пишутся 60к-100к файлов. Поиск по маске по прошлым дням происходит достаточно быстро(меньше минуты), а вот в текущем дне, с активными записями файлов, это занимает просто огромное(30м и до нескольких часов) количество времени. Каким способом можно искать быстрее? Может как то можно получить все файлы на момент поиска, и уже по ним искать, не учитывая новые добавленные? Файлы добавляются примерно раз в 5-10с
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
12.04.2019, 18:33
Ответы с готовыми решениями:

Поиск файлов по маске в каталоге и подкаталогах
Надо найти файы по маске в каталоге и подкаталогах. но у меня либо только в каталоге ищет ls...

Поиск и замена текста в большом количестве файлов
Всем привет! Появилась необходимость в огромном количестве друзей для браузерки на мейл.ру плюс...

Изменить кодировку в большом количестве php файлов
Здравствуйте. Понадобилось изменить кодировку в большом количестве php файлов. Сейчас ANSI, а надо...

Поиск в большом количестве документов word
Доброго времени суток, уважаемые форумчане! Столкнулся с необходимостью поиска в большом количестве...

Поиск по маске в большом текстовом файле
Возник вопрос, имеются текстовые файлы, содержащие от 300 000 строк, в них надо найти определенные...

9
Marinero
Модератор
Эксперт NIX
2209 / 1779 / 604
Регистрация: 02.03.2015
Сообщений: 5,765
13.04.2019, 09:38 2
Смотря какую команду используете для поиска и как ее оформляете.
0
Immo
224 / 212 / 104
Регистрация: 02.10.2012
Сообщений: 924
13.04.2019, 10:32  [ТС] 3
Обычный поиск - Find *маска*. Пробовал ls выводить, и уже по результату парсить, но выполняется он так же долго
0
Marinero
Модератор
Эксперт NIX
2209 / 1779 / 604
Регистрация: 02.03.2015
Сообщений: 5,765
13.04.2019, 11:01 4
Immo, давайте прекратим "играть в партизана". Очень сложно давать рекомендации в общем. Конкретизируте Вашу проблему и найти решение станет на порядок проще. Вот например начнем с этого
Цитата Сообщение от Immo Посмотреть сообщение
Обычный поиск - Find *маска*
Может
Bash
1
find -name '*wildcard*'
0
13.04.2019, 11:01
Immo
224 / 212 / 104
Регистрация: 02.10.2012
Сообщений: 924
13.04.2019, 11:03  [ТС] 5
Именно, я просто думал вам важно именно какой утилитой делаю поиск, извиняюсь за не полный ответ
0
Marinero
Модератор
Эксперт NIX
2209 / 1779 / 604
Регистрация: 02.03.2015
Сообщений: 5,765
13.04.2019, 15:14 6
Цитата Сообщение от Immo Посмотреть сообщение
вам важно
Мне лично вообще пофигу. Просто чем полнее Вы изложите задачу тем точнее и результативнее будет помощь. Поиск по маске ведь не конец задачи исходя из
Цитата Сообщение от Immo Посмотреть сообщение
Пробовал ls выводить, и уже по результату парсить
Возможно Вы выбрали неверный инструмент для решения, может ещё что, но не понимая всей глобальности замысла помочь довольно проблематично
0
Immo
224 / 212 / 104
Регистрация: 02.10.2012
Сообщений: 924
15.04.2019, 12:20  [ТС] 7
вообщем начну с начала, максимально подробно. есть папки, называются как число месяца - 01,02,03 и тд. в зависимости от текущего дня, фалы будут писаться в текущую папку. сами файлы - закриптованные транзакции, и при какой либо ошибке, или обращении, просят достать этот файл. начинаются проблемы именно если попытаться искать в активном дне, куда пишутся десятки файлов каждую минуту. файл имеет имя - город-ид-идтерминала-дата, например moscow-98325835934982-17283-15.04.2019:10:04:49.584. Мне нужно искать по ID транзакции.
0
Marinero
Модератор
Эксперт NIX
2209 / 1779 / 604
Регистрация: 02.03.2015
Сообщений: 5,765
16.04.2019, 11:50 8
Цитата Сообщение от Immo Посмотреть сообщение
просят достать этот файл
Что значит "достать"? Скопировать/отправить куда-то?
Bash
1
cp ./15/*-98325835934982-* /папка_назначения
не работает?
0
Immo
224 / 212 / 104
Регистрация: 02.10.2012
Сообщений: 924
16.04.2019, 11:52  [ТС] 9
по sftp скачать его
0
Marinero
Модератор
Эксперт NIX
2209 / 1779 / 604
Регистрация: 02.03.2015
Сообщений: 5,765
16.04.2019, 12:00 10
Ну какая разница?
Bash
1
scp user@your_host:/path_to_folder/15/*-98325835934982-* /папка_назначения
0
16.04.2019, 12:00
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.04.2019, 12:00

Убирание и замена тегов в большом количестве файлов, как сделать?
Добрый день форумчане:) Заказчик запросил сделать сайт один один по структуре, и немного изменить...

Параллельное программирование: при большом количестве задач и малом количестве потоков программа ломается
Есть функция вычисления интеграла, все исключения обработаны, эту функцию выполняют ThreadCount...

Поиск файлов по маске
Возможно ли сделать так ,чтобы программа сканировала диски и нашла файлы в формате .jpg ?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
10
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru