Кеширование результатов sql запроса в файл

@kupidon · Регистрация: 21.02.2013

Студворк — интернет-сервис помощи студентам

Доброго времени суток!
Имеется интернет магазин. На каждой страничке его выскакивает баннер с десятью разными товарами (взятых из БД). То есть листая страницы, каждый пользователь делает запрос в БД. Если пользователей сотни-нагрузка на сервер возрастает с 6% до 50%. Хостинг виртуальный. Хостер матерится уже.

Решил закэшировать результаты запроса в файл.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 function read($filename) {
    if (file_exists($filename)) {
        $handle = fopen($filename, 'rb');
        $variable = fread($handle, filesize($filename));
        fclose($handle);
        return unserialize($variable);
    } else {
        return null;
    }
}
    function write($filename,$variable) {
        $handle = fopen($filename, 'a');
        fwrite($handle, serialize($variable));
        fclose($handle);
    }
....
....
....
      $data = read($filename); 
    if (empty($data)) {
               echo "данные кеша пусты";
               sql="Select......" 
               $res = $db->sql_query(sql); // результатом запроса будет несколько сотен тысяч строк 
               write($filename, $res);   // начиная отсюда вообще не понятно как делать
      } else {
               echo "данные кеша НЕ пусты";
              // как вывести результат ?
              }

Подскажите как правильно сохранить в файл результаты запроса, чтобы имм можно было пользоваться? И как пользоваться с помощью sql_fetchrow?
Может есть какое другое решение? Голову ломаю вторую неделю

ps такое решение взято отсюда:

Кликните здесь для просмотра всего текста

http://ruseller.com/lessons.php?id=962&rub=37

@Fedor Vlasenko · 29.10.2016, 11:25

kupidon, выводите не случайные, а продвигаемые(заранее подготовленные)
кто знает что они случайные?
подготовили несколько наборов готовых и выводим из них

@kupidon · 29.10.2016, 13:04 **[ТС]**

можно ли как-то сгруппировать по 100 штук id и вывести по одной из каждой группы? результат запроса уже в сто раз меньше получится
как составить такой запрос?

@Para bellum · 29.10.2016, 13:23

Да просто получите количество записей, затем на PHP генерируйте число от 1 до N. После чего составляйте запрос и выбирайте записи. Правда при таком подходе куча UNION получится. Зато быстро, по сравнению ORDER BY RAND().

@kupidon · 29.10.2016, 13:38 **[ТС]**

я сейчас так почти делаю.
1. выбираю запросом все требуемые записи (вот тут уже долго)
2. Формирую массив из всех получившихся ид
3. делаю новый массив из десяти рандомных записей предыдущего массива
4. потом уже беру из базы требуемые конкретные 10 id , c помощью IN()
но на пункте 1 уже долгий запрос

а просто сделать 10раз рандом выбор от 1 до Numrows не могу, так как есть пропуски в id в результате

или я не так Вас понял?

@Para bellum · 29.10.2016, 13:44

Не поняли. Не надо получать все записи, надо получить лишь их количество:

SQL
1
SELECT COUNT(*) FROM таблица

Допустим, что получили 70.
Теперь делаем:

PHP
1
2
3
4
5
6
7
8
9
10
# Это возвратил первый запрос
$count = 70;
 
for ($i = 0; $i < 10; $i++) {
    # Получаем случайное смещение
    $offset = mt_rand(1, $count);
 
    # Дописываем запрос
    $query .= "... LIMIT {$offset}, 1";
}

@kupidon · 29.10.2016, 21:34 **[ТС]**

интересно. спасибо за идею. попробую чуть позже, отпишусь

Добавлено через 7 часов 39 минут
Сделал так:
Вкратце:
создал доп таблицу в бд сделал доп столбец с автоинкремент. Скопировал туда результаты моего запроса (примерно 190000 строк) . Теперь у меня появился столбец с цифрами от 1 до N без пробелов. Выбираю на пхп рандомные 10 чисел и потом уже из них формирую баннер.
Один раз в сутки удаляю таблицу и копирую туда новые данные.
В итоге сам скрипт работает меньше 0.5 секунды (вместе с отображением баннера), а ночное обновление вспомогательной таблицы занимает примерно 15-17 секунд. Но это того стоит.

Большое спасибо за помощь, взял ваши примеры для другого скрипта.

@полудух · 30.10.2016, 22:11

SQL
1
2
3
4
5
6
НЕПРАВИЛЬНО: SELECT * FROM `table` ORDER BY rand() LIMIT 10;
ТОЖЕ НЕПРАВИЛЬНО: SELECT COUNT(*) FROM `table`; + SELECT * FROM `table` LIMIT рандомное_число_из_пред.селекта,1;
 
ПРАВИЛЬНО: SELECT `id` FROM `table` WHERE `id` IN (10000,60000,110000,160000,210000,260000,310000,360000,410000,460000);
 
ещё можно: SELECT * WHERE `id` BETWEEN 5 AND 15 (т.е. просто подряд)

я подозреваю, что там индексы отсутствуют, или не все, или не так, или не там

@Para bellum · 31.10.2016, 07:58

Сообщение от полудух

ПРАВИЛЬНО: SELECT `id` FROM `table` WHERE `id` IN (10000,60000,110000,160000,210000,260000 ,310000,360000,410000,460000);
ещё можно: SELECT * WHERE `id` BETWEEN 5 AND 15 (т.е. просто подряд)

Объясните мне толковито -- а откуда ID брать собираетесь для перечисления?

@полудух · 31.10.2016, 07:59

mt_rand()

@Para bellum · 31.10.2016, 08:39

А если не будет записей с такими ID?

@полудух · 31.10.2016, 08:40

сделайте запрос на 30, оставьте 10
2 запроса на крайняк, если 1й не добрал
это всё-равно будет в разы быстрее, чем RAND()

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@Fedor Vlasenko 936 / 693 / 236 Регистрация: 01.02.2015 Сообщений: 1,848
	29.10.2016, 11:25
	kupidon, выводите не случайные, а продвигаемые(заранее подготовленные) кто знает что они случайные? подготовили несколько наборов готовых и выводим из них 1

@kupidon 0 / 0 / 2 Регистрация: 21.02.2013 Сообщений: 118
	29.10.2016, 13:04 [ТС]
	можно ли как-то сгруппировать по 100 штук id и вывести по одной из каждой группы? результат запроса уже в сто раз меньше получится как составить такой запрос? 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	29.10.2016, 13:23
	Да просто получите количество записей, затем на PHP генерируйте число от 1 до N. После чего составляйте запрос и выбирайте записи. Правда при таком подходе куча UNION получится. Зато быстро, по сравнению ORDER BY RAND(). 0

@kupidon 0 / 0 / 2 Регистрация: 21.02.2013 Сообщений: 118
	29.10.2016, 13:38 [ТС]
	я сейчас так почти делаю. 1. выбираю запросом все требуемые записи (вот тут уже долго) 2. Формирую массив из всех получившихся ид 3. делаю новый массив из десяти рандомных записей предыдущего массива 4. потом уже беру из базы требуемые конкретные 10 id , c помощью IN() но на пункте 1 уже долгий запрос а просто сделать 10раз рандом выбор от 1 до Numrows не могу, так как есть пропуски в id в результате или я не так Вас понял? 0

@kupidon 0 / 0 / 2 Регистрация: 21.02.2013 Сообщений: 118
	29.10.2016, 21:34 [ТС]
	интересно. спасибо за идею. попробую чуть позже, отпишусь Добавлено через 7 часов 39 минут Сделал так: Вкратце: создал доп таблицу в бд сделал доп столбец с автоинкремент. Скопировал туда результаты моего запроса (примерно 190000 строк) . Теперь у меня появился столбец с цифрами от 1 до N без пробелов. Выбираю на пхп рандомные 10 чисел и потом уже из них формирую баннер. Один раз в сутки удаляю таблицу и копирую туда новые данные. В итоге сам скрипт работает меньше 0.5 секунды (вместе с отображением баннера), а ночное обновление вспомогательной таблицы занимает примерно 15-17 секунд. Но это того стоит. Большое спасибо за помощь, взял ваши примеры для другого скрипта. 0

@полудух 209 / 191 / 49 Регистрация: 15.03.2016 Сообщений: 1,229
	31.10.2016, 07:59
	mt_rand() 0

@Para bellum 5755 / 4134 / 1508 Регистрация: 06.01.2011 Сообщений: 11,276
	31.10.2016, 08:39
	А если не будет записей с такими ID? 0

@полудух 209 / 191 / 49 Регистрация: 15.03.2016 Сообщений: 1,229
	31.10.2016, 08:40
	сделайте запрос на 30, оставьте 10 2 запроса на крайняк, если 1й не добрал это всё-равно будет в разы быстрее, чем RAND() 0