Оптимизация работы с БД, сильно грузит процессор

@kupidon · Регистрация: 21.02.2013

Студворк — интернет-сервис помощи студентам

Всем доброго дня. У меня такая задача: необходимо почистить от мусорных файлов сервер на хостинге. Имеются 256 каталогов, в каждом порядка 6 тысяч файлов картинок. Мне надо удалить картинки отсутствующие в БД.

Я создал таблицу 2 столбца, в которую из базы данных выбрал все названия файлов которые надо оставить (столбец `photo`).

Вот как работает мой php скрипт. Открывает первую папку `00`, берет первый файл, читает название, сверяет есть ли упоминание о нем в данной таблице (LIKE). Если упоминания нет- то удаляет его.

НО!! Видимо запрос поиска LIKE сильно грузит сервак mysql, техподдержка хостинга ворчит. Я итак запускаю кроном , поставил обработку чтобы за раз проверялось по 30 файлов. Но даже такая малая часть грузит процессор mysql.
30 файлов обрабатывает 35 секунд

такими темпами мне надо будет пару месяцев

вот такой у меня запрос видимо самый ресурсоемкий:

PHP

           $sql= 'SELECT `photo` 
                    FROM `sp_photo_temp` 
                    WHERE `obrabotano`=0
                    AND `photo`LIKE "'.$file[$i].'"
                    ORDER BY `photo` ASC ';
           $res=$db->sql_query($sql);

Может как-то оптимизировать, проиндексировать таблицу в названиями файлов?

@Meridian21 · 21.03.2019, 11:20

kupidon, like по текстовому полю и order - довольно прожорливые операции.
Можно как-нибудь отойти от имен картинок в сторону полей с числовыми типами? Может есть какой-то идентификатор у файлов, чтобы можно было отобрать нужные, а остальные дропнуть чем-то типа:
delete from
where <идентификатор> not in (<список идентификаторов, которые надо оставить>)...

@kupidon · 21.03.2019, 14:33 **[ТС]**

Вообще никак((. Файлы лежат по папкам, тут возможен только их перебор и сравнение с БД.

Пробовал выбрать из БД нужные названия файлов и переносить их в другие папки, но это опять же чертовски грузит процессор на хостинге. то есть беру название файла из БД, переношу его в другую папку...тем самым оставляя в старой папке только ненужное. Но и тут почему то БД грузит сильнее чем сами переносы((
не знаю как быть

@Meridian21 Zero day 267 / 231 / 78 Регистрация: 16.12.2015 Сообщений: 943 Записей в блоге: 4
	21.03.2019, 11:20	2
	kupidon, like по текстовому полю и order - довольно прожорливые операции. Можно как-нибудь отойти от имен картинок в сторону полей с числовыми типами? Может есть какой-то идентификатор у файлов, чтобы можно было отобрать нужные, а остальные дропнуть чем-то типа: delete from where <идентификатор> not in (<список идентификаторов, которые надо оставить>)... 0

@kupidon 0 / 0 / 2 Регистрация: 21.02.2013 Сообщений: 118
	21.03.2019, 14:33 [ТС]	3
	Вообще никак((. Файлы лежат по папкам, тут возможен только их перебор и сравнение с БД. Пробовал выбрать из БД нужные названия файлов и переносить их в другие папки, но это опять же чертовски грузит процессор на хостинге. то есть беру название файла из БД, переношу его в другую папку...тем самым оставляя в старой папке только ненужное. Но и тут почему то БД грузит сильнее чем сами переносы(( не знаю как быть 0

Опции темы