Скрипт выполняется медленнее с каждой итерацией

@vlad4ernyshev · Регистрация: 03.09.2016

Студворк — интернет-сервис помощи студентам

Данный скрипт предназначен для обработки данных таблицы и вставки этих самых обработанных данных в другую новую таблицу.

PHP/HTML
1
2
3
4
5
6
7
8
9
10
11
12
<?php
    $qSQL = mysqli_query($connect, 'SELECT * FROM `base`.`'.$_GET['path'].'`;');
    $qArray = mysqli_fetch_all($qSQL, MYSQLI_ASSOC);
    foreach ($qArray as $array){
        $insertInto = mysqli_query($connect, 'INSERT INTO `base`.`T'.$_GET['path'].'` (`code`,`brand`,`article`,`name`,`available`,`url`) VALUES ("'.$array['code'].'","'.$array['brand'].'","'.$array['article'].'","'.$array['name'].'","'.$array['available'].'","'.$array['url'].'");');
        $table = explode("|", $array['table']);
        foreach ($table as $arrayTable){
            $tableDetail = explode("-", $arrayTable);
            $insertSpecs = mysqli_query($connect, 'UPDATE `base`.`T'.$_GET['path'].'` SET `'.$tableDetail[0].'`="'.$tableDetail[1].'" WHERE `code`='.$array['code'].';');
        }
    }
    mysqli_close($connect);

Проблема в том что с каждой итерацией запросов в базу исполняется на порядок меньше. Например в первую секунду исполняется 70 итераций цикла foreach ($qArray as $array), во вторую ~ 30 и так далее.

Думал, что проблема может быть в нерациональном использовании памяти. Пытался в конце каждой итерации убивать переменные с помощью unset(). На хабре нашел пост по работе с памятью в массивах, пытался безуспешно применить рецепты оттуда (возможно сделал ошибки в коде и поэтому не сработало).

Подскажите, люди добрые, куда копать?

@Fart83 · 11.04.2017, 02:40

Не по теме:

подскажите, а вы прежде тем как написать такой скрипт чем руководствовались и где "черпали" вдохновение?

не сказал бы что инфа раскрыта полностью, но после прочтения ее я думаю у вас появятся иные соображения написания скрипта

@sashok991 · 13.04.2017, 23:38

Возможно поможет отключение индексации и внешних ключей на время добавления записей.
Память не так серьезно влияет на скорость работы скрипта, а вот при добавлении записей в таблицу с индексированными полями, базе данных приходится переиндексировать всю таблицу при добавлении каждой новой записи. Чем больше записей тем дольше индексация.

@полудух · 14.04.2017, 00:40

INSERT надо делать 1 раз, сразу весь, как описано на хабре
про индексы тоже верно

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Fart83 321 / 189 / 78 Регистрация: 04.10.2016 Сообщений: 809
	11.04.2017, 02:40
	Не по теме: подскажите, а вы прежде тем как написать такой скрипт чем руководствовались и где "черпали" вдохновение? не сказал бы что инфа раскрыта полностью, но после прочтения ее я думаю у вас появятся иные соображения написания скрипта 0

@sashok991 21 / 21 / 5 Регистрация: 26.12.2013 Сообщений: 177
	13.04.2017, 23:38
	Возможно поможет отключение индексации и внешних ключей на время добавления записей. Память не так серьезно влияет на скорость работы скрипта, а вот при добавлении записей в таблицу с индексированными полями, базе данных приходится переиндексировать всю таблицу при добавлении каждой новой записи. Чем больше записей тем дольше индексация. 0

@полудух 209 / 191 / 49 Регистрация: 15.03.2016 Сообщений: 1,229
	14.04.2017, 00:40
	INSERT надо делать 1 раз, сразу весь, как описано на хабре про индексы тоже верно 0