|
28 / 21 / 8
Регистрация: 05.08.2012
Сообщений: 108
|
||||||
Парсинг большого файла: вопрос оптимизации12.10.2012, 15:00. Показов 1614. Ответов 9
Метки нет (Все метки)
Доброго времени суток.
Есть файл, набитый строками в духе
0
|
||||||
| 12.10.2012, 15:00 | |
|
Ответы с готовыми решениями:
9
Парсинг большого количества hex значений из текстового файла Парсинг XML-файла. Вопрос оптимизации кода qt - парсинг большого файла |
|
310 / 206 / 44
Регистрация: 15.02.2012
Сообщений: 605
|
|
| 12.10.2012, 15:12 | |
|
как-то парсил толковый словарь из txt в лоб, 600 тысяч строк, выборка на выходе была где-то 180 тысяч - тупо брал строчку, проверял и засовывал в базу ... отработала минут за 20-30
0
|
|
|
28 / 21 / 8
Регистрация: 05.08.2012
Сообщений: 108
|
|
| 12.10.2012, 15:16 [ТС] | |
|
если других вариантов не будет, так и сделаю, куда деваться-то. Но может быть кто подскажет красивое решение
0
|
|
|
|
||
| 12.10.2012, 15:53 | ||
|
milssky, у SQLSERVER есть встроенная утилита "Imort And Export Data", там при помощи мастера все делается за пару минут.
если файл вида
возможно поможет в этом XmlTextReader (мысль вслух, сам ни разу не делал)
1
|
||
|
28 / 21 / 8
Регистрация: 05.08.2012
Сообщений: 108
|
||
| 12.10.2012, 15:58 [ТС] | ||
а вообще да, каждый элемент на своей строке оказывается. это все решает. спасибо
0
|
||
|
970 / 773 / 171
Регистрация: 12.04.2009
Сообщений: 1,700
|
|||||||
| 13.10.2012, 10:05 | |||||||
Если вы работаете с базой данных, то тут уже надо смотреть на оптимизацию записи/чтения в базу;
1
|
|||||||
|
310 / 206 / 44
Регистрация: 15.02.2012
Сообщений: 605
|
||||||
| 13.10.2012, 14:31 | ||||||
... может у вас компьютер от погодников а может sqlserver дело тормозит
1
|
||||||
|
28 / 21 / 8
Регистрация: 05.08.2012
Сообщений: 108
|
|
| 13.10.2012, 14:43 [ТС] | |
|
Коллеги, в итоге на выспавшуюся голову пришел к решению, похожему на вариант Konctantin. Спасибо за участие
0
|
|
|
970 / 773 / 171
Регистрация: 12.04.2009
Сообщений: 1,700
|
||||||
| 13.10.2012, 23:27 | ||||||
|
у вас проблемы с тем, что вы постоянно вызываете команду записи в базу данных, используйте пакетные запросы.
Либо юзайте Prepered Statement Добавлено через 16 минут думаю требуется объяснить что и к чему... Суть в том, что когда вы делаете запрос в базу данных:
В случае использования Prepered Statement - создается шаблон запроса, и отправляется на сервер. Там он 1 раз компилируется и в дальнейшем он только получает параметры - для подстановки в запрос. При этом намного вырастает скорость работы. (записи в базу данных)
1
|
||||||
|
310 / 206 / 44
Регистрация: 15.02.2012
Сообщений: 605
|
|
| 14.10.2012, 00:27 | |
|
Интересное замечание, не задумывался об этом. Спасибо!
0
|
|
| 14.10.2012, 00:27 | |
|
Помогаю со студенческими работами здесь
10
Парсинг большого XML файла Парсинг большого xml
Парсинг большого количества страниц Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
|
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога
Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
|
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|