Как ускорить вставку в большое вертикальное хранилище с индексами

@Jack Famous · Регистрация: 10.05.2021

Студворк — интернет-сервис помощи студентам

Приветствую!

Есть огромная таблица: (2 млрд и растёт пакетами по 1-100 млн в день) записей, 6 (Int/BigInt/DateTime) полей, 3 индекса + Primary Key по 1му полю BigInt.
Вставка происходит очень долго (наверное, из-за перестройки индексов). Можно ли как-то ускорить этот процесс?
Например, "перенеся" перестройку индексов на другое время (не на момент после вставки).

Или только разделять таблицу на несколько?…

@uaggster · 02.08.2024, 08:28

Сообщение от Jack Famous

просто, если в вертикалке это самосоединения

Это как?
Там деревья какие-то были?

@Jack Famous · 02.08.2024, 09:04 **[ТС]**

Сообщение от uaggster

Это как?

Вот так

T-SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Drop Table If Exists #t;
Create Table #t(PK Int Identity(1, 1) Primary Key, ParentID Int, Val VarChar(100))
 
Insert Into #t(ParentID, Val) Values
(Null, 'Ур1_1'),
(1, 'Ур2_1'),
(2, 'Ур3_1'),
(Null, 'Ур1_2'),
(4, 'Ур2_2'),
(5, 'Ур3_2')
 
Select * From #t
 
Select      L1.Val As Name1, L2.Val As Name2, L3.Val As Name3
From        #t As L1
Inner Join  #t As L2 On L2.ParentID = L1.PK
Inner Join  #t As L3 On L3.ParentID = L2.PK
Where       L1.ParentID Is Null

@uaggster · 02.08.2024, 09:48

О. Ну так тогда храните данные в 2 таблицах.
В первой - денормализованные данные, а во второй - разрешенные (раскрытые), в строку, иерархии из ИДшников.

@Jack Famous · 02.08.2024, 09:54 **[ТС]**

Сообщение от uaggster

тогда храните данные в 2 таблицах

можно небольшой пример?

Новые блоги и статьи Все статьи Все блоги /
В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .	интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .	Сам себя обучал rest api anaschu 02.07.2026 Педагогический лайфхак: Почему чистый REST API для ученика намного круче, чем готовые библиотеки Когда мы отказались от капризного JAR-файла AnyLogic и переписали код на стандартный HttpClient,. . .
rest api anylogic - выполнение модели на своём русском сайте anaschu 02.07.2026 Как подружиться с AnyLogic Cloud API, победить провайдеров и развернуться Java-бэкенд в Docker на бесплатном хостинге: Двухдневный лог борьбы Всем привет! Хочу поделиться свежим (и довольно. . .	Где деньги лежат kumehtar 02.07.2026 Это - японская подводная лодка I-52 (тип C2, кодовое имя Momi) вышла из Японии в марте 1944 года с миссией в оккупированную немцами Францию (Лорьян). Это была одна из «Янаги»-миссий по обмену. . .	Krabik для WoW 3.3.5a, многоязычный AmbA 02.07.2026 Допилил бота, думаю что окончательно. Изменения: - добавлена многоязычность - добавлено снятие скриншотов - добавлено поддержание бафов хождения по воде (для жреца, дк и шамана) - и так, по. . .	Алиса нашла кучу ошибок компиляции и запуска в проекте, который без проблем компилировался и запускался))) anaschu 30.06.2026 Я пока посмеюся, но завтра проверю. А вообще интерсно. Дал алисе файл, в котором точно нет ошибок компиляции и запуска, и попросил их найти. Нашла кучу))) Критические ошибки, мешающие компиляции и. . .

@Jack Famous 933 / 366 / 43 Регистрация: 10.05.2021 Сообщений: 1,564 Записей в блоге: 10

	Как ускорить вставку в большое вертикальное хранилище с индексами 01.08.2024, 09:26. Показов 1387. Ответов 23 Метки fast, insert, speedup, vertical (Все метки) Приветствую! Есть огромная таблица: (2 млрд и растёт пакетами по 1-100 млн в день) записей, 6 (Int/BigInt/DateTime) полей, 3 индекса + Primary Key по 1му полю BigInt. Вставка происходит очень долго (наверное, из-за перестройки индексов). Можно ли как-то ускорить этот процесс? Например, "перенеся" перестройку индексов на другое время (не на момент после вставки). Или только разделять таблицу на несколько?… 0

@uaggster 1307 / 361 / 98 Регистрация: 14.10.2022 Сообщений: 1,105
	02.08.2024, 09:48
	О. Ну так тогда храните данные в 2 таблицах. В первой - денормализованные данные, а во второй - разрешенные (раскрытые), в строку, иерархии из ИДшников. 0