|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|||||||
В файле нужно осуществлять поиск21.06.2011, 22:56. Показов 4679. Ответов 32
Метки нет (Все метки)
Вопрос по работе с файлами.
А именно, имеется файл с данными (прайсы). В этом файле нужно осуществлять поиск (по коду товара). Файлик на 6'000'000+ (шесть с лишних лямов) позиций и размером под 300Мб в .txt формате (excel отказался переваривать такое кол-во строк). Ситуация такова, что загрузить его целиком в string не вышло (выбило аутофмэмори), а грузить построчно (что в общем то наиболее удобно для дальнейшего парсинга) в массив ацки долго (на i3 и SATA винтом 1КК строк грузится 3 часа). Актуальность данных файла 1 день (т.е. прайс меняется каждый день). А вопрос таков - как можно загрузить этот файлик в память и потом с ним работать из ОЗУ, либо есть ли какая возможность быстро искать непосредственно в файле и уже потом просто считывать строчку в файле с искомым вхождением? Спасибо за ответы. ![]()
0
|
|||||||
| 21.06.2011, 22:56 | |
|
Ответы с готовыми решениями:
32
Посоветуйте, как осуществлять быстрый поиск по полям класса? Программа производит поиск по текстовому файлу 1, нужно занулить при поиске те слова, указанные в файле 2 |
|
Почетный модератор
|
|
| 22.06.2011, 00:58 | |
|
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||||||||||||
| 22.06.2011, 01:12 [ТС] | ||||||||||||
ну а вообще, я уже нашел решение быстро загрузить это в массив, причем все просто:
0
|
||||||||||||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
|
| 22.06.2011, 10:55 | |
|
А БД использовать не лучше.?
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||
| 22.06.2011, 11:02 [ТС] | ||
|
0
|
||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
||||||
| 22.06.2011, 11:18 | ||||||
1
|
||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 22.06.2011, 12:50 | ||
|
1. http://connectionstrings.com/textfile 2. http://connectionstrings.com/
1
|
||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
||
| 22.06.2011, 12:53 | ||
0
|
||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
|||||||
| 22.06.2011, 13:18 | |||||||
Сообщение было отмечено как решение
РешениеcmdText - это SQL-запрос к файлу (например "select * from тотФайлик.txt") db - это полный путь к папке, где находится тотФайлик.txt Несколько нюансов описаны по приведенной выше ссылке
А на счет разделителей (точка с запятой,табуляция или иное) отвечает параметр "FMT=". Его значения смотрим тут http://msdn.microsoft.com/en-u... 09353.aspx
3
|
|||||||
|
мастер топоров
917 / 742 / 101
Регистрация: 16.08.2009
Сообщений: 1,476
|
|
| 22.06.2011, 13:39 | |
|
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 22.06.2011, 13:51 | ||
|
С помощью OLE DB ты подключаешься к СУБД. Но более интересно для данного топика, что с помощью OLEDB можно подключится и к файлам (Excel, dbf, txt b куче других) как к таблицам БД и посылать им sql запросы.
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||
| 24.06.2011, 02:04 [ТС] | ||
![]() ...разпарсить в массив у меня получается быстро (4Гб ОЗУ) -в 4 потока на i3 за 40 сек... ну при работе с массивом тоже затык на 1.7Гб ОЗУ (2Гб минус на борт-видик) - перестает добавлять гдето на 70-80%... ОСь на обоих компах - Win7 64 бит... =/
0
|
||
|
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
|
|||||||||||
| 24.06.2011, 05:01 | |||||||||||
|
не понял в чем тут проблема, нафига читать целый файл если нужно просто найти что-то?
0
|
|||||||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||||||
| 24.06.2011, 09:58 | ||||||
|
RaMoNVicious, файле между полями пробелы или табуляция?
Добавлено через 12 минут RaMoNVicious, файле между полями пробелы или табуляция (скорее всего табуляция)? Специально сформировал файл из 6 миллионов твоих записей с разделителем "табуляция" и искал строку находящуюся на 5-ти миллионной строке Если табуляция, мой пример ищет одну строку из 6 миллионов секунд за 10 на офисном ПК. И это при запущеныйх VS, Delphi, Outlook, служб сиквел сервера и других приложений Код
Не стал замораживаться с именами полей и все такое
0
|
||||||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|
| 24.06.2011, 11:14 [ТС] | |
|
спасибо комрады, буду пробовать...
![]() Добавлено через 1 час 1 минуту Ice_and_Fire, да - табуляция...
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 11:44 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||||||
| 24.06.2011, 15:37 [ТС] | ||||||
|
так, что то я наверное гдето не понял... вот код по примеру:
возможно я что-то не до понял как оно работает?.. О_о
0
|
||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 15:55 | ||
|
2. Ошибка выходит из-за того что ты не поставил @ перед "Provider=Microsoft.Jet.OLEDB.4.0; Data Sourc... Должно быть @"Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|
| 24.06.2011, 15:57 [ТС] | |
|
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 16:02 | ||
|
Т.к. путь к файлу содержит слеш (\), то среда пытается трактовать его как esc-последовательность и выдает ошибку. "@" рекомендуется использовать везде где есть путь к файлу или папке.
0
|
||
| 24.06.2011, 16:02 | |
|
Помогаю со студенческими работами здесь
20
Осуществлять поиск в файле необходимых дат Какими средствами осуществлять поиск в doc-файле? Как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ?
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут.
В век Веб все очень привыкли к дизайну Single-Page-Application .
Быстренько разберем подход "на фреймах".
Мы делаем одну. . .
|