Обработка большого объема данных

@Toha_ · Регистрация: 06.07.2016

Студворк — интернет-сервис помощи студентам

Добрый ночи ребята помогите с одной проблемой.

У на старом сайте одного проекта есть база в которой находятся больше 5 000 записей (+ фотографии к нему):

Пример того как я построил логику импортирования данных из старого сайта на новых через API, на старом написал просто условие по которому получаю все записи.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$old_project = //Собраны все данные
 
 
$max_count = $old_project['other']['max_count'];
 
//получаем старичную навигацию
$count = floor($max_count / 100);
 
for ($i = 1; $i <= $count; $i++)
{
    echo '<b>'.$i.'</b><br />';
  
    //Получаю все записи и собираю в массив
    $news = 'ссылка.ру?page='.$i;  
 
 
     foreach ($news as $key => $value)
     {
        //Тут просто наносился в новую базу
        mysql_query("INSERT ....")
 
         //Тут идет загрузка файлов и все
         if($key == 'images') {}
      }
 
}

Хочу у вас спросить правильно ли делаю, просто эти записи у меня работают но занимают колоссальное время если делаю на локальном хосте. (2-3 часа).

Если неправильно можете подсказать альтернативный вариант.

@gbsoftware · 10.01.2017, 12:22

Структура базы одинаковая? Сделать дамп базы не вариант?

@Зверушь · 10.01.2017, 13:00

Ну и сразу собирать все данные с таблицы в одну переменную тоже не правильно, ибо памяти жрется немеряно.
Лучше обрабатывать пакетами по 100 - 500 записей.

И еще, INSERT может делать вставку сразу нескольких строк. Почитайте о синтаксисе такого использования (сам не помню а в мануал лезть лень).

То есть алгоритм примерно такой:

Code
1
2
3
4
5
Цикл пока не достигнут конец таблицы
    Берем следующие 100 записей из исходной таблицы.
    Преобразовываем данные и формируем запрос на вставку.
    Вставляем 100 записей в новую таблицу/бд
Конец цикла.

Как пройтись от начала и до конца таблицы показывать нужно?

@Toha_ · 10.01.2017, 16:00 **[ТС]**

Зверушь, Я смотрю вы любите с 1С работать :-D

Добавлено через 29 секунд
gbsoftware, У меня доступа нет, был только api.

Добавлено через 2 минуты
Зверушь, Если вам не сложно можете примерно написать как мне сделать чтобы правильно импортировались записи.

Да я знаю что там виснет просто капец.

1). Я этот файл буду открывать через AJAX, но все же это неправильно, нагружать открываемый файл.

Новые блоги и статьи Все статьи Все блоги /
Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .

@gbsoftware 120 / 116 / 77 Регистрация: 19.08.2013 Сообщений: 430
	10.01.2017, 12:22
	Структура базы одинаковая? Сделать дамп базы не вариант? 0

@Toha_ 0 / 0 / 0 Регистрация: 06.07.2016 Сообщений: 115
	10.01.2017, 16:00 [ТС]
	Зверушь, Я смотрю вы любите с 1С работать :-D Добавлено через 29 секунд gbsoftware, У меня доступа нет, был только api. Добавлено через 2 минуты Зверушь, Если вам не сложно можете примерно написать как мне сделать чтобы правильно импортировались записи. Да я знаю что там виснет просто капец. 1). Я этот файл буду открывать через AJAX, но все же это неправильно, нагружать открываемый файл. 0