|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||||||||||||||||
Получение и обработка данных из большой таблицы (200 млн строк)09.07.2018, 14:12. Показов 5491. Ответов 7
У меня есть большая таблица MySQL с порядка 200 млн записей.
Я делаю такой запрос, используя JDBC:
Дальше я должен обработать результат:
Структуру базы я менять не могу, все манипуляции нужно сделать из Java кода.
0
|
||||||||||||||||
| 09.07.2018, 14:12 | |
|
Ответы с готовыми решениями:
7
Работа с большой базой (>1 млн записей)
|
|
4576 / 2775 / 491
Регистрация: 28.04.2012
Сообщений: 8,780
|
||
| 09.07.2018, 14:25 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||
| 09.07.2018, 14:35 [ТС] | ||
|
0
|
||
|
4576 / 2775 / 491
Регистрация: 28.04.2012
Сообщений: 8,780
|
||||||||||||
| 09.07.2018, 16:53 | ||||||||||||
0
|
||||||||||||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||||||||||||
| 09.07.2018, 17:30 [ТС] | ||||||||||||
Как вообще на стороне JDBC драйвера указать "Забирай данные пачками, по n элементов, а не грузи все сразу в паямять"?
0
|
||||||||||||
|
4576 / 2775 / 491
Регистрация: 28.04.2012
Сообщений: 8,780
|
||||
| 09.07.2018, 20:31 | ||||
|
https://docs.oracle.com/javase... hSize-int- https://docs.oracle.com/javase... hSize-int- он и не грузит всё в память, он по-умолчанию работает с курсором. В зависимости от БД и драйвера, конечно. Ты сам всё загружаешь сразу в память, в ArrayList. Но вообще, с чего ты взял, что проблема в памяти? com.mysql.jdbc.exceptions.jdbc4.Communic ationsException: Communications link failure не выглядит как проблема с памятью.
0
|
||||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
|||
| 10.07.2018, 09:29 [ТС] | |||
|
0
|
|||
|
4576 / 2775 / 491
Регистрация: 28.04.2012
Сообщений: 8,780
|
|
| 10.07.2018, 10:58 | |
|
0
|
|
| 10.07.2018, 10:58 | |
|
Помогаю со студенческими работами здесь
8
Обработка строк по условию, получение подстрок из строки! Консультация Listbox получение данных и их обработка Получение и обработка данных с сайта Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
kYBz3eJf3jQ
|
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
|
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
|
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора
Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если. . .
|
|
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
|
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
|
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
|
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
|