перегонка с нескольких баз в одну

@Nebiros · Регистрация: 23.03.2010

Студворк — интернет-сервис помощи студентам

есть скажем так 10 баз и нужно со всех этих баз выбрать записи с одного поля и переместить в одну базу с двумя полями (1-ид и 2-это поле) . Проблема в том что записей в этих полях достигает 4млн , и выборка со всех полей в массив и потом этом массив записать в другую базу неподходит (оперативы я так понял нехватает) , каким методом обойти такое?

@QuakeArena · 18.05.2011, 06:50

Написать скрипт, который бы выбирал,например, по 10к записей и записывал куда нужно. С написанием скрипта на php помогу в асе.

@Nebiros · 18.05.2011, 08:45 **[ТС]**

Сообщение от QuakeArena

Написать скрипт, который бы выбирал,например, по 10к записей и записывал куда нужно. С написанием скрипта на php помогу в асе.

такой скрипт я и так могу написать но это займет много времени так как в общем количество записей около 20млн , это получается нужно запустить скрипт около 2000 раз , такой вариант не актуален...

@QuakeArena · 18.05.2011, 09:56

Не запустить его 2000 раз, а, грубо говоря, он сам запустится и обработает все записи.

@Nebiros · 18.05.2011, 13:47 **[ТС]**

Сообщение от QuakeArena

Не запустить его 2000 раз, а, грубо говоря, он сам запустится и обработает все записи.

на сервере скрипт выполняется максимум 50 сек , за это время весь цикл не успеет обработаться...

@QuakeArena · 18.05.2011, 13:56

Ну тогда, я думаю, идеального решения не существует. Скрипт упрется либо во время, либо в память. Можно попробовать скачать базу с сервера и на локальной машине проделать необходимые манипуляции, после чего импортировать обратно. Но опять же, качать много.

@Nebiros · 18.05.2011, 14:43 **[ТС]**

Сообщение от QuakeArena

Ну тогда, я думаю, идеального решения не существует. Скрипт упрется либо во время, либо в память. Можно попробовать скачать базу с сервера и на локальной машине проделать необходимые манипуляции, после чего импортировать обратно. Но опять же, качать много.

пытался сделать дамп через ехес(mysqldump .....) тоже не получается - создается файл 0 кб , походу как я понял места на сервере в притык , короче говоря прийдется чемто жертвовать...

@QuakeArena · 18.05.2011, 14:49

Так можно же вроде сделать дамп с удаленного сервера через командную строку? Главное, чтобы сервер это поддерживал.

@Nebiros · 18.05.2011, 15:08 **[ТС]**

Сообщение от QuakeArena

Так можно же вроде сделать дамп с удаленного сервера через командную строку? Главное, чтобы сервер это поддерживал.

вот яж это и пробовал делать , невыходит...

@QuakeArena · 18.05.2011, 18:46

Сервер не поддерживает?

Новые блоги и статьи Все статьи Все блоги /
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .

@Nebiros 41 / 40 / 16 Регистрация: 23.03.2010 Сообщений: 3,122

	перегонка с нескольких баз в одну 17.05.2011, 22:35. Показов 1494. Ответов 9 Метки нет (Все метки) есть скажем так 10 баз и нужно со всех этих баз выбрать записи с одного поля и переместить в одну базу с двумя полями (1-ид и 2-это поле) . Проблема в том что записей в этих полях достигает 4млн , и выборка со всех полей в массив и потом этом массив записать в другую базу неподходит (оперативы я так понял нехватает) , каким методом обойти такое? 0

@QuakeArena 20 / 20 / 10 Регистрация: 16.05.2011 Сообщений: 161
	18.05.2011, 06:50
	Написать скрипт, который бы выбирал,например, по 10к записей и записывал куда нужно. С написанием скрипта на php помогу в асе. 0

@QuakeArena 20 / 20 / 10 Регистрация: 16.05.2011 Сообщений: 161
	18.05.2011, 09:56
	Не запустить его 2000 раз, а, грубо говоря, он сам запустится и обработает все записи. 0

@QuakeArena 20 / 20 / 10 Регистрация: 16.05.2011 Сообщений: 161
	18.05.2011, 13:56
	Ну тогда, я думаю, идеального решения не существует. Скрипт упрется либо во время, либо в память. Можно попробовать скачать базу с сервера и на локальной машине проделать необходимые манипуляции, после чего импортировать обратно. Но опять же, качать много. 0

@QuakeArena 20 / 20 / 10 Регистрация: 16.05.2011 Сообщений: 161
	18.05.2011, 14:49
	Так можно же вроде сделать дамп с удаленного сервера через командную строку? Главное, чтобы сервер это поддерживал. 0

@QuakeArena 20 / 20 / 10 Регистрация: 16.05.2011 Сообщений: 161
	18.05.2011, 18:46
	Сервер не поддерживает? 0