Fetch size and batch size в запросах sql

@krazyd · Регистрация: 10.11.2012

Студворк — интернет-сервис помощи студентам

Добрый день!

Вопрос вот какой, я выполняю batch insert из одной таблицы в другую таблицу через java. Использую preparedStatement. Resultset forward only. Объемы большие.

Собственно в чем сам вопрос:
1. Можно выставить fetchsize - количество забираемых строк за раз из бд. Правильно ли я понимаю, что после выполнения метода next(), если потребуется, то именно в этот момент resultset загрузит в память jvm указанное мною число строк?

2. Загрузку в конечную витрину я осуществляю пачками, схематично:

Java
1
2
3
4
5
6
while(src_rs.next())
{
 // ...
  addBatch...
  if(rowcnt % batchsize) executeBatch()
}

Прав ли я в том, что оптимум такой загрузки будет когда fetchsize и batchsize равны?

При выполнении executeBatch(), GC удаляет данные, которые были загруженны в resultset из источника и переданны в addBatch? Или данные в resultset остаются пока я сам не сделаю finalise?

Заранее спасибо за помощь и терпения. Я только начал изучать яву.

@iSmokeJC · 26.07.2018, 09:51

krazyd, в java в операторе if условие обязательно boolean, вот это выражение

Java
1
if(rowcnt % batchsize)

некорректно, нужно что-то типа

Java
1
if(rowcnt % batchsize != 0)...

@turbanoff · 27.07.2018, 01:03

1. Да, правильно. Во всяком случае, так задумывалось. Хотя на самом деле зависит от имплементации jdbc драйвера. Вы каким пользуетесь (с какой СУБД работаете)?
2.

Прав ли я в том, что оптимум такой загрузки будет когда fetchsize и batchsize равны?

Это сложно сказать. Тут без замеров никуда, если вам нужна top performance. Обычно, просто выставление этих параметров в разумные значение уже даёт приемлемый результат.

Сообщение от krazyd

Или данные в resultset остаются пока я сам не сделаю finalise?

Это зависит от имплементации драйвера. По идее, если у вас forward only, то освобождать данные из ResultSet теоретически можно уже после вызова next().

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .