|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||||||||||||||||
Получение и обработка данных из большой таблицы (200 млн строк)09.07.2018, 14:12. Показов 5411. Ответов 7
У меня есть большая таблица MySQL с порядка 200 млн записей.
Я делаю такой запрос, используя JDBC:
Дальше я должен обработать результат:
Структуру базы я менять не могу, все манипуляции нужно сделать из Java кода.
0
|
||||||||||||||||
| 09.07.2018, 14:12 | |
|
Ответы с готовыми решениями:
7
Работа с большой базой (>1 млн записей)
|
|
4575 / 2774 / 491
Регистрация: 28.04.2012
Сообщений: 8,765
|
||
| 09.07.2018, 14:25 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||
| 09.07.2018, 14:35 [ТС] | ||
|
0
|
||
|
4575 / 2774 / 491
Регистрация: 28.04.2012
Сообщений: 8,765
|
||||||||||||
| 09.07.2018, 16:53 | ||||||||||||
0
|
||||||||||||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
||||||||||||
| 09.07.2018, 17:30 [ТС] | ||||||||||||
Как вообще на стороне JDBC драйвера указать "Забирай данные пачками, по n элементов, а не грузи все сразу в паямять"?
0
|
||||||||||||
|
4575 / 2774 / 491
Регистрация: 28.04.2012
Сообщений: 8,765
|
||||
| 09.07.2018, 20:31 | ||||
|
https://docs.oracle.com/javase... hSize-int- https://docs.oracle.com/javase... hSize-int- он и не грузит всё в память, он по-умолчанию работает с курсором. В зависимости от БД и драйвера, конечно. Ты сам всё загружаешь сразу в память, в ArrayList. Но вообще, с чего ты взял, что проблема в памяти? com.mysql.jdbc.exceptions.jdbc4.Communic ationsException: Communications link failure не выглядит как проблема с памятью.
0
|
||||
|
0 / 0 / 0
Регистрация: 15.03.2016
Сообщений: 135
|
|||
| 10.07.2018, 09:29 [ТС] | |||
|
0
|
|||
|
4575 / 2774 / 491
Регистрация: 28.04.2012
Сообщений: 8,765
|
|
| 10.07.2018, 10:58 | |
|
0
|
|
| 10.07.2018, 10:58 | |
|
Помогаю со студенческими работами здесь
8
Обработка строк по условию, получение подстрок из строки! Консультация Listbox получение данных и их обработка Получение и обработка данных с сайта Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а привычная функция main(). . .
|
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net
REST сервисы временно не работают, только через Web.
Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
|
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
|
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
|
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи
и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|