JDBC: эфективная выборка данных

Необходимо получить много данных (миллионы строк) из субд оракл через jdbc. Как бы это сделать эфективно? Вызовы у ResultSet getObject миллион * кол-во столбцов это будет явно не эфективно
Заметил метод getArray но что-то jdbc оракла которая мне доступна для использования сказала что не умеет она массивы получать. Тоесть что получаеться что не смогу я получить пачкой данные ?

0

C fetchSize-ом можно поиграться.

1

ещё можно сделать хранимку, которая будет возвращать выборку на мильён как CLOB с какими нибудь тегами для отделения рядков и тащить их стримом с обёрткой парсером тегов в массив в цикле

1

Сообщение от mutagen которая будет возвращать выборку на мильён как CLOB с какими нибудь тегами для отделения рядков и тащить их стримом с обёрткой парсером тегов в массив в цикле

Дописать слово в конце "производительно" уже аж стыдно становиться, да ?
На самом деле я уже делал такое (не CLOB, а просто доставал данные выливая их напрямую по столбцово в массивы, а потом передавал в java), когда данных под 1 млн то с памятью выделенной под джаву становиться туго ... в общем если в двух словах то оно замедляется когда приличных таких записей под 1млн за раз надо хранить как Object[][] и обрабатывать.

На самом деле встретил пока что другую проблему: на сервере то java 1.4, а это значит что я могу использовать только sybase jdbc драйвера версии 2, которые, как оказалось, совсем плохого качества. Например пока я сливаю данные на 3 поля то всё хорошо, а когда взял реальные данные с 17 полями так они слились (драйвера слились) и не смогли пачками по 1000 работать, пришлось уменьшать пачку до 100 записей, более того они работают быстрее с пачкой на 50, а не на 100 (вообще не понял почему так получается что два batchExecute по 50 выполняются быстрее чем один когда в пачке уже 100 записей), а переливать пару миллионов данных с размером пачки 50 записей это будет приличная нагрузка на сервер с сайбейсом.

Ещё иногда драйвера берут и внезапно сливаются и начинают недосылать данные, например запись 600 байт, а они присылают 33, сервер выбрасывает тут же эксепшн "то что обещали != тому что прислали по размерам, вероятно несколько потоков пытаються слать данные", но я то знаю что поток один, я ведь ещё даже на классику producer-consumer не разбивал свой мини проект

В общем разочаровался я в sybase, а заодно разочаровался в тех админах что поставили java 1.4 так как в системе то я поставил уже в path java 1.6 для всех пользователей, но применится она по ходу для оракла это только после перезагрузки сервера.

Добавлено через 1 минуту
В общем можно считать пока тему не актуально пока не получу на сервере java 1.6, тогда попробую применять bcp через sybase драйвера версии 6, те более низкоуровневые операции с данными должны позволить и нормальную пачку запихивать и к тому же быстрее раза в два будет работать.

Добавлено через 1 минуту
KuKu, кстати уже игрался при выборке, но у меня слабое место в итоге insert на sybase ase где особо пачку большую не поставишь. К слову узнал что если меняешь fetchSize то неявный курсор переходит из read only forward (по умолчанию) в update forward + backward что по началу только замедляет если просто только поменять fetch size

0

Сообщение от Gepar таких записей под 1млн за раз надо хранить как Object[][] и обрабатывать.

у вас же батлнек не в выборке, а в том что вы собираетесь весь лимон в памяти держать, вы думаете я зря про стрим упомянул, обработать на лету и забрать нужное, а не тащить всё в оперу
хотите много объектов в памяти, делайте мап редюс по кластеру

Сообщение от Gepar поставили java 1.4 так как в системе то я поставил уже в path java 1.6 для всех пользователей

всем известно что ява пашет через копипасту откуда угодно, вы просто окружение пропишите и стартуйте шелл скриптом, что за наезды на старенькую 1.4 может она там кому-то нужна, вас то никто не заставляет юзать её

если у вас sybase тормозит, то чего вы ждёте от оракла ) ему ещё больше места надо для счастья, а уже тулить в него яву под которую он не пилился это вообще ССЗБ, только проблем поиметь потом )

хотите относительно шуструю базу на слабых ресурсах - смотрите на постгрик

1

mutagen, да вот оказалось что оракл вызывает таки java что в системе, а в системе 1.4, потому что с ним в папке 1.5. В общем-то все проблемы и начались из-за этого, код то я выполняю из оракла а он по ходу тупо запускает через java ... и натыкается на прописанную в системе на момент его запуска 1.4, если бы у меня на серевере просто было моё java приложение то я уже давно бы папкой под него 1.6 подсунул и горя бы не знал.

Сообщение от mutagen если у вас sybase тормозит, то чего вы ждёте от оракла )

Оракл на другом сервере, там всё хорошо ... а вот сервера под sybase видимо раньше закупались и слабее по железяке.

0

Сообщение от Gepar mutagen, да вот оказалось что оракл вызывает таки java что в системе, а в системе 1.4, потому что с ним в папке 1.5.

это означает что environment для запуска оракла просто не настроено

Сообщение от Gepar давно бы папкой под него 1.6 подсунул и горя бы не знал.

думаю лучше 1.7 так как 1.6 уже не на саппорте и баги никто не чинит

1

Если надо пергонять данные из оракл в sybase, то на кой тут вообще java. Используйте dblink оракла.

Сообщение от Gepar mutagen, да вот оказалось что оракл вызывает таки java что в системе, а в системе 1.4, потому что с ним в папке 1.5

Оракл для запуска хранимок использует свою java. Очень много людей хотели бы того, чтобы оракл использовал внешнюю java машину, но это не так.
What is a Java Stored Procedure/ Trigger?
A Java Stored Procedure is a procedure coded in Java (as opposed to PL/SQL) and stored in the Oracle database. Java Stored procedures are executed by the database JVM in database memory space.

1

Сообщение от mutagen это означает что environment для запуска оракла просто не настроено

Ну я установил уже в системе чтобы была 1.6 да только толку с этого, оракл до перезагрузки я так понимаю не подхватит, а перезагружать сервер типа нельзя.

Сообщение от KuKu Используйте dblink оракла.

Да я не против, но у меня в отделе хотели сделать так чтобы это было удобно для регламента и всё такое. Ну проще же дать права на запуск процедуры которая будет принимать два аргумента: строку с выброй из оракла и строку куда инсертить в сайбейс. Сейчас используется dblink, но почему-то им там неудобно им пользоваться (лично я переливкой этих данных не занимаюсь так что не скажу чего неудобно).

Сообщение от KuKu Оракл для запуска хранимок использует свою java. Очень много людей хотели бы того, чтобы оракл использовал внешнюю java машину, но это не так. What is a Java Stored Procedure/ Trigger?

Ну я читал уже твои сообщения, не подумай что я их пропускаю, просто реалии таковы что установлен оракл 11, прямо в папке с ним я вижу jdk 1.5, но когда запусаю приложения из-под оракла то тянет он java 1.4 установленную в системе для всех пользователей. Я же на практике это всё вижу Сейчас я конечно java для пользователей в системе переопределил, но я не могу перезагрузить сервер чтобы проверить подтянулись ли настройки и для оракла или нет.

Добавлено через 2 минуты
Кстати сравнивал сегодня sybcon 2,3,4 и последней 6ой версии и пришёл к выводам что на java 1.4 для которой есть только первые версии драйверов sybase далеко не уедешь так как insert 10к записей на них 20с, а на последнем sybcon драйвере 2 секунды. Так что тут явно надо либо устанавливать java потом и на боевых серверах чтобы была 1.6 либо забить на эту идею с вызовом java из под оракла для переливки данных.

0

Сообщение от Gepar а перезагружать сервер типа нельзя.

оракл это не сервер, остановить его (а также листенер и тд) и перезапустить не проблема (мало того можно даже стартануть на серваке несколько экземпляров базы и даже разных версий с несколькими или одним листенером - короче много вариантов), но это не тема для java раздела

Сообщение от Gepar просто реалии таковы что установлен оракл 11, прямо в папке с ним я вижу jdk 1.5, но когда запусаю приложения из-под оракла то тянет он java 1.4

реалии таковы что оракл вы(или ваши горе одмины ) запускаете из под несконфигурированного шелла (а возможно ещё и из под рута или левого юзера), вот он и хапает дефолтные системные энвайры

пора уже осознать что *nix системы, а тем более java под ними это вам не винда требующая перезагрузки при смене коврика )

скачайте виртуал бокс образ Oracle Developer Day с сайта оракла и посмотрите как должен быть настроен шелл в системе и пользователь с под которого база стартует

0

Сообщение от mutagen оракл это не сервер, остановить его

Это тоже нельзя, лол, там одна боевая программка на тестовом из-за которой нельзя чтобы он не отзывался.

Сообщение от mutag[quote="mutagen запускаете из под несконфигурированного шелла (а возможно ещё и из под рута или левого юзера)

вероятно так и есть, там прямо пользователь oracle есть, под которым я зашёл и вбил java -version что тоже вернуло мне 1.4 в начале.

Сообщение от mutagen пора уже осознать что *nix системы, а тем более java под ними это вам не винда требующая перезагрузки при смене коврика )

Ну так я вот сменил java путь на новую для пользователя оракл, но оракл же это не подхватил, небось ждёт пока перезагрузят его Я вообще не сильно представляю чтобы он на ходу смог переключиться на другую java, у него же часть процедур на java написаны, что же это он их выгрузит на время, а потом заново загрузит ... что-то мне подсказывает что не настолько он умный.

0

Сообщение от Gepar Я вообще не сильно представляю чтобы он на ходу смог переключиться на другую java, у него же часть процедур на java написаны, что же это он их выгрузит на время, а потом заново загрузит ... что-то мне подсказывает что не настолько он умный.

ну это естественно ) рестарт кора БД нужен обязательно )
но сконфигурить второй инстанс и стартануть его с листенером на другом порту вам никто не мешает, и вот там уже можно всё сделать правильно и показать админам как оно может летать )

копипаста с нета

ну и вот тут ещё глянь
http://perumal.org/how-to-run-... le-server/

1