Обработать огромную таблицу

gipperpank · Регистрация: 15.02.2019

Студворк — интернет-сервис помощи студентам

Доброго времени суток!
Ситуация такая есть БД размером 50гигов (бд простая хранит 2 таблицы секундные данные рапаметров за год и таблица для сопоставления данных) после обновления сервера БД задвоило (все параметры во второй таблице 7000+ штук создались по новой и данные начали записываться на эти новые параметры в первую таблицу) в первой таблице неизвестное количество строк (попытался закружать по 1милиону долистал до 140 - 7000+ параметров каждую секунду в году)
задумка изменить в большой таблице "archive_itemid" на новые значения (опробовали на тестовой базе это работает)
влпрос как обработать огромную таблицу циклами по 1000 или 10000 строк, LIMIT не работает с UPDATE

SQL
1
UPDATE data_raw SET archive_itemid = REPLACE(archive_itemid,2,838)

- вылетает после 8минут работы

подскажите если кто сталкивался с обработкой огромных таблиц

Добавлено через 16 минут

SQL
1
2
3
UPDATE data_raw
SET archive_itemid = (SELECT archive_itemid FROM data_raw WHERE archive_itemid=2 LIMIT 1000)
WHERE archive_itemid=838;

тоже сбрасывается через 7-8 минут работы

@Swa111 · 14.12.2023, 14:49

запросы у Вас какие то странные

попробую привести пример как понял. не понятно какой у Вас первичный ключ поэтому посчитаем что rowid

следующий запрос заменит archive_itemid с 2 на 838 у первых 1000 строк

SQL
1
2
3
4
5
6
7
UPDATE data_raw
SET archive_itemid  = 838
FROM (
  SELECT rowid FROM data_raw WHERE archive_itemid=2 LIMIT 1000
) AS t
WHERE  
  data_raw.rowid = t.rowid

По хорошему должен быть индекс data_raw(archive_itemid)

gipperpank · 15.12.2023, 09:37 **[ТС]**

Большое спасибо за ответ, но решил проблему немного иначе всю базу слил в SQL файл далее открыл в текстовом редакторе и поправил с помощью рег выражений (к стати файл размером в 20+гигов удалось спокойно открыть только ЕмЕдитором нотепад-- забил всю оперативу и комп благополучно скончался в синиве) далее залил SQL в базу

признаю решенье не самое лучшее но времени мало мало (сервер не останавливал а новый файл разрастался)

Новые блоги и статьи Все статьи Все блоги /
Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .
Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .

gipperpank 0 / 0 / 0 Регистрация: 15.02.2019 Сообщений: 11
	15.12.2023, 09:37 [ТС]
	Большое спасибо за ответ, но решил проблему немного иначе всю базу слил в SQL файл далее открыл в текстовом редакторе и поправил с помощью рег выражений (к стати файл размером в 20+гигов удалось спокойно открыть только ЕмЕдитором нотепад-- забил всю оперативу и комп благополучно скончался в синиве) далее залил SQL в базу признаю решенье не самое лучшее но времени мало мало (сервер не останавливал а новый файл разрастался) 0

Обработать огромную таблицу

Решение