Обработка большого объема без нагрузки

@Toha_ · Регистрация: 06.07.2016

Студворк — интернет-сервис помощи студентам

Добрый ночи ребята помогите с одной проблемой.

У на старом сайте одного проекта есть база в которой находятся больше 5 000 записей (+ фотографии к нему):

Пример того как я построил логику импортирования данных из старого сайта на новых через API, на старом написал просто условие по которому получаю все записи.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
$old_project = //Собраны все данные
 
 
$max_count = $old_project['other']['max_count'];
 
//получаем старичную навигацию
$count = floor($max_count / 100);
 
for ($i = 1; $i <= $count; $i++)
{
    echo '<b>'.$i.'</b><br />';
  
    //Получаю все записи и собираю в массив
    $news = 'ссылка.ру?page='.$i;  
 
 
     foreach ($news as $key => $value)
     {
        //Тут просто наносился в новую базу
        mysql_query("INSERT ....")
 
         //Тут идет загрузка файлов и все
         if($key == 'images') {}
      }
 
}

Хочу у вас спросить правильно ли делаю, просто эти записи у меня работают но занимают колоссальное время если делаю на локальном хосте. (2-3 часа).

В результате формируется большой массив, и на сервере обычно выдают 504 ошибку, как мне этого избежать чтобы из-за большого массив ни сайт не нагружался ни 504 ошибку не выдавало!

@Jodah · 14.01.2017, 22:13

Через phpmyamin и adminer можно выгрузить все записи в файл и загрузить в новую базу, необязательно данные через php-скрипт прогонять.

Сообщение от Toha_

база в которой находятся больше 5 000 записей

5000 записей - это очень мало. Не знаю, что скрипт может 2 часа делать...

@tarasalk · 14.01.2017, 22:15

1) не делайте запросы к бд в цикле.
2) получайте записи небольшими кусочками, а не все сразу.
3) увеличьте максимальное время работы скрипта.

И да, 2 часа это действительно долго.

@Toha_ · 14.01.2017, 22:23 **[ТС]**

Тут проблема вот в чем.

Я после установки соединения с сервером vk, хочу получить список всех записей + фотографии и перекинуть к себе на сервер (грубо горя произвести импортирование).

А с постраничной навигацией получает (на одной странице 50 записей в общем 78 страниц) их надо загрузить так чтобы нагрузка на сайт была минимальной, сможете как та помочь правильно построить массив.

Добавлено через 49 секунд
Вот как мне их загрузить кусочками? 50 записей загрузил (sleep(1000) еще 50 опять.)

@Jodah · 14.01.2017, 22:40

Сообщение от Toha_

после установки соединения с сервером vk

А vk тут причём?

Сообщение от Toha_

sleep(1000)

1000 секунд? И какой смысл?

@Toha_ · 14.01.2017, 22:42 **[ТС]**

Jodah, Нельзя ничего придумать, для того чтобы смягчить нагрузку

@Jodah · 14.01.2017, 22:54

Toha_, для начала нормально описать работу скрипта. Сначала про старый и новый проект говорили, потом выяснилось про sleep(1000) и каким-то боком замешанный вконтакт.

Сообщение от Toha_

чтобы смягчить нагрузку

Как минимум можно объединить несколько insert-запросов в один:

SQL
1
INSERT INTO tablename (id,blabla) VALUES(1,'werwer'),(2,'wqewqe'),(3,'qwewe');

@Toha_ · 14.01.2017, 22:57 **[ТС]**

Тут прикол в том что сервер перед формированием массива выдает 504 ошибку, а ее нельзя снял я пытался (set_time_out(0 or 10000))

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .

@tarasalk 1992 / 1216 / 440 Регистрация: 13.06.2013 Сообщений: 4,115
	14.01.2017, 22:15
	1) не делайте запросы к бд в цикле. 2) получайте записи небольшими кусочками, а не все сразу. 3) увеличьте максимальное время работы скрипта. И да, 2 часа это действительно долго. 0

@Toha_ 0 / 0 / 0 Регистрация: 06.07.2016 Сообщений: 115
	14.01.2017, 22:23 [ТС]
	Тут проблема вот в чем. Я после установки соединения с сервером vk, хочу получить список всех записей + фотографии и перекинуть к себе на сервер (грубо горя произвести импортирование). А с постраничной навигацией получает (на одной странице 50 записей в общем 78 страниц) их надо загрузить так чтобы нагрузка на сайт была минимальной, сможете как та помочь правильно построить массив. Добавлено через 49 секунд Вот как мне их загрузить кусочками? 50 записей загрузил (sleep(1000) еще 50 опять.) 0

@Toha_ 0 / 0 / 0 Регистрация: 06.07.2016 Сообщений: 115
	14.01.2017, 22:42 [ТС]
	Jodah, Нельзя ничего придумать, для того чтобы смягчить нагрузку 0

@Toha_ 0 / 0 / 0 Регистрация: 06.07.2016 Сообщений: 115
	14.01.2017, 22:57 [ТС]
	Тут прикол в том что сервер перед формированием массива выдает 504 ошибку, а ее нельзя снял я пытался (set_time_out(0 or 10000)) 0