|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|||||||
В файле нужно осуществлять поиск21.06.2011, 22:56. Показов 4710. Ответов 32
Метки нет (Все метки)
Вопрос по работе с файлами.
А именно, имеется файл с данными (прайсы). В этом файле нужно осуществлять поиск (по коду товара). Файлик на 6'000'000+ (шесть с лишних лямов) позиций и размером под 300Мб в .txt формате (excel отказался переваривать такое кол-во строк). Ситуация такова, что загрузить его целиком в string не вышло (выбило аутофмэмори), а грузить построчно (что в общем то наиболее удобно для дальнейшего парсинга) в массив ацки долго (на i3 и SATA винтом 1КК строк грузится 3 часа). Актуальность данных файла 1 день (т.е. прайс меняется каждый день). А вопрос таков - как можно загрузить этот файлик в память и потом с ним работать из ОЗУ, либо есть ли какая возможность быстро искать непосредственно в файле и уже потом просто считывать строчку в файле с искомым вхождением? Спасибо за ответы. ![]()
0
|
|||||||
| 21.06.2011, 22:56 | |
|
Ответы с готовыми решениями:
32
Посоветуйте, как осуществлять быстрый поиск по полям класса? Программа производит поиск по текстовому файлу 1, нужно занулить при поиске те слова, указанные в файле 2 |
|
Почетный модератор
|
|
| 22.06.2011, 00:58 | |
|
Приведите образец файла (желательно прикрепить как вложение к сообщению). Если нет возможности, то напишите его кодировку, и несколько строк исходного файла + то что нужно найти.
Искать нужно все вхождения или первое?
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||||||||||||
| 22.06.2011, 01:12 [ТС] | ||||||||||||
ну а вообще, я уже нашел решение быстро загрузить это в массив, причем все просто:
0
|
||||||||||||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
|
| 22.06.2011, 10:55 | |
|
А БД использовать не лучше.?
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||
| 22.06.2011, 11:02 [ТС] | ||
|
0
|
||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
||||||
| 22.06.2011, 11:18 | ||||||
1
|
||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 22.06.2011, 12:50 | ||
|
1. http://connectionstrings.com/textfile 2. http://connectionstrings.com/
1
|
||
|
6721 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
||
| 22.06.2011, 12:53 | ||
0
|
||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
|||||||
| 22.06.2011, 13:18 | |||||||
Сообщение было отмечено как решение
РешениеcmdText - это SQL-запрос к файлу (например "select * from тотФайлик.txt") db - это полный путь к папке, где находится тотФайлик.txt Несколько нюансов описаны по приведенной выше ссылке
А на счет разделителей (точка с запятой,табуляция или иное) отвечает параметр "FMT=". Его значения смотрим тут http://msdn.microsoft.com/en-u... 09353.aspx
3
|
|||||||
|
мастер топоров
917 / 742 / 101
Регистрация: 16.08.2009
Сообщений: 1,476
|
|
| 22.06.2011, 13:39 | |
|
а для непосвященных: чем лучше OLE DB нежели MS SQL или MySQL?
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 22.06.2011, 13:51 | ||
|
С помощью OLE DB ты подключаешься к СУБД. Но более интересно для данного топика, что с помощью OLEDB можно подключится и к файлам (Excel, dbf, txt b куче других) как к таблицам БД и посылать им sql запросы.
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||
| 24.06.2011, 02:04 [ТС] | ||
![]() ...разпарсить в массив у меня получается быстро (4Гб ОЗУ) -в 4 потока на i3 за 40 сек... ну при работе с массивом тоже затык на 1.7Гб ОЗУ (2Гб минус на борт-видик) - перестает добавлять гдето на 70-80%... ОСь на обоих компах - Win7 64 бит... =/
0
|
||
|
1274 / 975 / 113
Регистрация: 12.01.2010
Сообщений: 1,971
|
|||||||||||
| 24.06.2011, 05:01 | |||||||||||
|
не понял в чем тут проблема, нафига читать целый файл если нужно просто найти что-то?
0
|
|||||||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||||||
| 24.06.2011, 09:58 | ||||||
|
RaMoNVicious, файле между полями пробелы или табуляция?
Добавлено через 12 минут RaMoNVicious, файле между полями пробелы или табуляция (скорее всего табуляция)? Специально сформировал файл из 6 миллионов твоих записей с разделителем "табуляция" и искал строку находящуюся на 5-ти миллионной строке Если табуляция, мой пример ищет одну строку из 6 миллионов секунд за 10 на офисном ПК. И это при запущеныйх VS, Delphi, Outlook, служб сиквел сервера и других приложений Код
Не стал замораживаться с именами полей и все такое
0
|
||||||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|
| 24.06.2011, 11:14 [ТС] | |
|
спасибо комрады, буду пробовать...
![]() Добавлено через 1 час 1 минуту Ice_and_Fire, да - табуляция...
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 11:44 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
||||||
| 24.06.2011, 15:37 [ТС] | ||||||
|
так, что то я наверное гдето не понял... вот код по примеру:
возможно я что-то не до понял как оно работает?.. О_о
0
|
||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 15:55 | ||
|
2. Ошибка выходит из-за того что ты не поставил @ перед "Provider=Microsoft.Jet.OLEDB.4.0; Data Sourc... Должно быть @"Provider=Microsoft.Jet.OLEDB.4.0; Data Source=" + db + ";Extended Properties=text;HDR=no;FMT=Delimited;"
0
|
||
|
0 / 0 / 0
Регистрация: 21.06.2011
Сообщений: 21
|
|
| 24.06.2011, 15:57 [ТС] | |
|
так что б далеко не ходить - что есть эта "@" перед этими строками? ну что б понимать =)
0
|
|
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
||
| 24.06.2011, 16:02 | ||
|
Т.к. путь к файлу содержит слеш (\), то среда пытается трактовать его как esc-последовательность и выдает ошибку. "@" рекомендуется использовать везде где есть путь к файлу или папке.
0
|
||
| 24.06.2011, 16:02 | |
|
Помогаю со студенческими работами здесь
20
Осуществлять поиск в файле необходимых дат Какими средствами осуществлять поиск в doc-файле? Как в среде VISUAL C++ 2008 осуществлять поиск текста в файле WORD ?
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога
Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
|
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование
. \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json>
Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом.
# Check if. . .
|
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так:
https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347
Основана на STM32F303RBT6.
На борту пять. . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|