Импорт здоровенного XML файла в БД

@lDogan · Регистрация: 28.04.2010

Студворк — интернет-сервис помощи студентам

Всем привет,
столкнулся с такой задачей: необходимо импортировать в БД большой XML файл (>1ГБ) полученный посредством API, далее необходимо проверять каждые 2-3 часа обновления, посредством того же API, и вносить изменения в БД, объем обновлений может быть сотни МБ.

Структура примерно такая:

XML
1
2
3
4
5
6
7
8
9
<ANSWER>
  <TABLE_NAME>
    <DATA>
      <ROW COL1=VAL1 COL2=VAL2 />
      ...
    </DATA>
  </TABLE_NAME>
  ...
</ANSWER>

Как видно по структуре, в XML содержится информация о том в каких таблицах БД производить изменения

Для себя выделил несколько способов для решения этой задачки
Способ 1:
1. Делать запрос, сохранять XML на сервере
2. Парсить XMLReader'ом по одному блоку (по таблице) из файла и производить обновления в БД

Способ 2:
1. Делать запрос, сохранять XML на сервере
2. Парсить XMLReader'ом по одному блоку из файла или целиком, параллельно создавая XML-скрипты с запросами для каждой таблицы, для последующего выполнения

Есть ли еще какие-то более простые или более разумные способы?

@Tatikoma · 18.09.2014, 16:17

Сообщение от lDogan

большой XML файл (>1ГБ)

И это большой?.. Ошибаетесь.. =)

Сообщение от lDogan

Парсить XMLReader'ом по одному блоку (по таблице) из файла и производить обновления в БД

А вот это не очень разумно. Нужно добавить еще ограничение, чтобы не более N строк в одной транзакции, иначе все может сломаться =)

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Киев стоит - украинская песня zorxor 28.01.2026 wfWdiRqdTxc О Господи, Вечный, Ты . . . Я помоги, Бесконечный. . . Я прошу Ты. . . Я погибаю, спаси. . . Я прошу Тебя Вечный. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .