Как перенести данные из одной таблицы в другую максимально быстро?

@ember74 · Регистрация: 07.10.2015

Студворк — интернет-сервис помощи студентам

Всем доброго времечка!

Господа, нужна ваша помощь

В базе есть таблица с неотформатированными данными (чуть больше 2 500 000 строк), нужно перенсти их в другую таблицу, предварительно отформатировав (форматирование и добавление происходит в хранимке). Теперь вопрос, как это сделать максимально быстро? Пробовал и через WHILE и через курсор, работает очень медленно... Может бысть вы знаете какие-нибудь хаки?

@Grossmeister · 17.01.2020, 13:32

Сообщение от ember74

Может бысть вы знаете какие-нибудь хаки?

А INSERT ... SELECT чем не устраивает?

@ember74 · 17.01.2020, 13:42 **[ТС]**

Grossmeister, не совсем понял вопрос
инсерт используется в хранимке, и добавляет сразу в две таблицы, проблема в скорости..

@iap · 17.01.2020, 14:05

Сообщение от ember74

Grossmeister, не совсем понял вопрос
инсерт используется в хранимке, и добавляет сразу в две таблицы, проблема в скорости..

Добавляет по одной строке за раз? Представьте: в таблице миллиард строк - сколько надо времени, чтобы произвести миллиард вставок?
Фокус в том, что надо вставлять большими (но не слишком!) порциями строк. Например, тысяч по 10 в каждом INSERTе.
Проверяя, что на каждом шаге вставляются строки, которые ещё не вставлялись, разумеется.

@kEkCJkee · 17.01.2020, 21:41

А можно эту процедуру увидеть?

Если таблица, в которую вставляют данные, не слишком активная в запросах, то перед вставкой можно "отключить" индексы. Только имейте в виду, что при "включении" они будут создаваться заново.

Как описали выше - лучше строки вставлять пакетами, например, по 10,000 строк.

@ember74 · 20.01.2020, 09:02 **[ТС]**

Всем спасибо за помощь! При обработке большого количества данных, важна каждая деталь. Я оптимизировал саму процедуру (удалил лишние переменные, конвертацию форматов, и еще кое-что), и все данные перенеслись в таблицу за 2 часа

Это все равно много, да, но в разы лучше чем было!

Новые блоги и статьи Все статьи Все блоги /
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .

@ember74 9 / 8 / 2 Регистрация: 07.10.2015 Сообщений: 510

	Как перенести данные из одной таблицы в другую максимально быстро? 17.01.2020, 13:08. Показов 2977. Ответов 5 Метки mssql, sql (Все метки) Всем доброго времечка! Господа, нужна ваша помощь В базе есть таблица с неотформатированными данными (чуть больше 2 500 000 строк), нужно перенсти их в другую таблицу, предварительно отформатировав (форматирование и добавление происходит в хранимке). Теперь вопрос, как это сделать максимально быстро? Пробовал и через WHILE и через курсор, работает очень медленно... Может бысть вы знаете какие-нибудь хаки? 0

@ember74 9 / 8 / 2 Регистрация: 07.10.2015 Сообщений: 510
	17.01.2020, 13:42 [ТС]
	Grossmeister, не совсем понял вопрос инсерт используется в хранимке, и добавляет сразу в две таблицы, проблема в скорости.. 0

@kEkCJkee 8 / 5 / 3 Регистрация: 19.01.2015 Сообщений: 88
	17.01.2020, 21:41
	А можно эту процедуру увидеть? Если таблица, в которую вставляют данные, не слишком активная в запросах, то перед вставкой можно "отключить" индексы. Только имейте в виду, что при "включении" они будут создаваться заново. Как описали выше - лучше строки вставлять пакетами, например, по 10,000 строк. 0

@ember74 9 / 8 / 2 Регистрация: 07.10.2015 Сообщений: 510
	20.01.2020, 09:02 [ТС]
	Всем спасибо за помощь! При обработке большого количества данных, важна каждая деталь. Я оптимизировал саму процедуру (удалил лишние переменные, конвертацию форматов, и еще кое-что), и все данные перенеслись в таблицу за 2 часа Это все равно много, да, но в разы лучше чем было! 0