Форум программистов, компьютерный форум, киберфорум
PHP: ООП
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.71/7: Рейтинг темы: голосов - 7, средняя оценка - 4.71
 Аватар для Mashka_mulashka
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818

Как лучше спроектировать фильтр и сократить количество запросов к базе?

07.03.2019, 11:27. Показов 1487. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть сайт спортивной тематики, на нём очень много блоков с похожим фильтром (Сезон, Лига, Тур, Группа, Пол). Для каждого блока фильтр свой, то есть не один фильтр по всему сайту. Так же, в некоторых блоках могут присутствовать или отсутствовать некоторые параметры. Например, в блоке "Матчи дня" нет смысла выдавать фильтр по сезону, поскольку сегодня проводятся только матчи текущего сезона.

Так же для фильтра есть список приоритетности параметров на тот случай, если пользователь не задал фильтр. То есть сначала попытка найти в каждом блоке данные мужской премьер-лиги, затем женской и тд. Приоритет задается в таком порядке:
  1. Мужская Премьер-лига
  2. Женская Премьер-лига
  3. Мужская Суперлига
  4. Женская Суперлига
  5. Мужская Высшая лига «А»
  6. Женская Высшая лига «А»
  7. Мужская Высшая лига «B»
  8. Женская Высшая лига «В»
  9. Мужская Высшая лига «С»
  10. Мужская Высшая лига «D»

Так же в фильтре должны быть доступны к выбору все варианты, которые имеются для данного блока. На данный момент класс фильтра реализует следующий интерфейс

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
<?php
 
namespace App\Filter;
 
use App\Exceptions\FilterException;
use App\Models\{Season, League, Sex, Tour, Group};
 
/**
 * Интерефейс для работы с фильтрами
 * Interface FilterInterface
 * @package App\Filter
 */
interface FilterInterface
{
    /**
     * FilterInterface constructor.
     * @param array $filter
     */
    public function __construct(array $filter = []);
 
    /**
     * @param $property
     * @return mixed
     */
    public function __get($property);
 
    /**
     * @param $property
     * @param Season|League|Sex|Group|Tour $value
     */
    public function __set($property, $value);
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getSeasonId() : int;
 
    /**
     * @param Season | int $season
     * @throws FilterException
     * @return FilterInterface
     */
    public function setSeason($season = null) : FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getLeagueId(): int;
 
    /**
     * @param League | int $league
     * @throws FilterException
     * @return FilterInterface
     */
    public function setLeague($league = null) : FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getSexId(): int;
 
    /**
     * @param Sex | int $sex
     * @throws FilterException
     * @return FilterInterface
     */
    public function setSex($sex = null): FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getTourId(): int;
 
    /**
     * @param Tour | int $tour
     * @throws FilterException
     * @return FilterInterface
     */
    public function setTour($tour = null): FilterInterface;
 
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getGroupId(): int;
 
    /**
     * @param Group | int $group
     * @throws FilterException
     * @return FilterInterface
     */
    public function setGroup($group = null): FilterInterface;
 
 
    /**
     * Возвращает список доступных фильтров по названию свойства
     * @param $key
     * @return array
     */
    public function getOptions($key) : array;
 
 
    /**
     * Добавить доступный фильтр к свойству
     * @param $key
     * @param $value
     * @throws FilterException
     * @return FilterInterface
     */
    public function addOption($key, $value) : FilterInterface;
 
    /**
     * Убрать фильтр из свойства
     * @param $key
     * @param $value
     * @throws FilterException
     * @return FilterInterface
     */
    public function removeOption($key, $value) : FilterInterface;
 
    /**
     * Установлено ли свойство в значение, отличное от null
     * @param $property
     * @return boolean
     */
    public function has($property) : bool;
 
    /**
     * Спратать свойство в результрующем массиве
     * @param $property
     * @return FilterInterface
     */
    public function hide($property) : FilterInterface;
 
    /**
     * Вернуть фильтр в виде массива
     * @return array
     */
    public function get() : array;
}
Все блоки, которые работают с фильтром наследуются от абстрактного класса

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
<?php
 
namespace App\Schedule;
 
use App\Filter\FilterInterface;
 
abstract class ScheduleAbstract
{
    /**
     * @var FilterInterface $filter
     */
    protected $filter;
 
    public function __construct(FilterInterface $filter)
    {
        $this->filter = $filter;
    }
 
    public function getFilter() : FilterInterface
    {
        return $this->filter;
    }
 
    public function setFilter(FilterInterface $filter)
    {
        $this->filter = $filter;
    }
 
    public function getFilterArray() : array
    {
        return $this->filter->get();
    }
 
 
    abstract public function get() : array;
}
По-сути, каждый блок должен реализовать только метод get() . Итак, список проблем:

1. Как наполнять фильтр вариантами?

Получается, что для каждого блока мне нужно делать запрос на получение всех записей, далее по циклу заполнять фильтр через addOption,
но записей очень много, а блоков еще больше. В таком случае, сайт просто не справится с таким количеством SQL-запросов и циклов.

2. Как лучше реализовывать приоритетность?

Проще делать один большой запрос и искать данные по приоритету или делать запросы в цикле до момента, пока данные не найдутся?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
07.03.2019, 11:27
Ответы с готовыми решениями:

Как уменьшить количество запросов к базе?
есть тема wordrpess с плагином транспортной компании...

Как узнать количество запросов к базе?
Подскажите, как можно узнать количество запросов к базе при формировании той, или иной страницы сайта? (Сайт на php).

Как сократить множество запросов?
Возможно ли сократить каким-нибудь образом эти запросы? $a = mysql_query(&quot;SELECT uid FROM auth WHERE user='&quot;.$_SESSION.&quot;'...

10
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
07.03.2019, 20:49
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
Как наполнять фильтр вариантами?
Если данных действительно много, то считать статистику в реалтайме это плохая идея.
Считайте в фоне и отдавайте готовый кэш. Их можно делать много разных.
В реалтайме можно оставить часто меняющиеся данные, например за сегодня.
Супер ООП и производительность не очень сочетаются. В данном случае простой query builder более чем достаточно.

Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
Как лучше реализовывать приоритетность?
Вы на php что-ли фильтровать собрались? Это же очень медленно. Сделайте запрос который сразу найдет нужные данные.
0
 Аватар для Mashka_mulashka
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
11.03.2019, 11:46  [ТС]
tarasalk, Ну да, я использую query builder. Вот реализация метода get() для блоков матчей

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
    public function get() : array
    {
        $filter = $this->getFilter();
 
        /**
         * @var \Illuminate\Database\Query\Builder $gameBuilder
         */
        $gameBuilder = GameSerie::select([
                                    'game_series.id',
                                    'championship_id',
                                    'team_a_id',
                                    'team_b_id',
                                    'count_wins_a',
                                    'count_wins_b',
                                    'date',
                                    'scout_status'
                                    ])
                                    ->where('championships.season_id', $filter->getSeasonId())
                                    ->join('championships', 'game_series.championship_id', '=', 'championships.id')
                                    ->with(['teamA.city', 'teamB.city']);
 
        if ($filter->has('sex')) {
            $gameBuilder->where('championships.sex_id', $filter->getSexId());
        }
 
        if ($filter->has('league')) {
            $gameBuilder->where('championships.league_id', $filter->getLeagueId());
        }
 
        if ($filter->has('group')) {
            $gameBuilder->where('championships.group_id', $filter->getGroupId());
        }
 
        if ($filter->has('tour')) {
            $gameBuilder->where('championships.tour_id', $filter->getTourId());
        }
 
        if ($this->isTodayGames) {
            $today = Carbon::now();
            $gameBuilder->whereDate('game_series.date', '=', $today->format('Y-m-d'));
        }
 
        $gameBuilder->orderBy('date');
        $gameResult = $gameBuilder->get();
 
        $championships = $gameResult->pluck('championship_id')->unique();
 
        $this->fillFilterOptions($championships);
 
        if ($this->isTodayGames) {
            return $this->getArrForToday($gameResult);
        }
 
        return $gameResult->toArray();
    }
Если я правильно понимаю вашу идею, вы предлагаете для всех вариантов сезонов/лиг/групп/туров/полов в фоне готовить кэш и просто дёргать его?
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
11.03.2019, 12:18
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
ы предлагаете для всех вариантов сезонов/лиг/групп/туров/полов в фоне готовить кэш
Кэш да. Но мне кажется если все варианты просчитывать то в итоге та же самая БД получится, а задача то в том чтобы уменьшить количество данных.

По этому коду я вижу что данные за сегодня хорошо отделяются. Они часто меняются, их можно вынести в небольшую табличку и быстро отдавать. Остальное можно положить в архив и считать в фоне.
Можно сворачивать по неделям, дням, часам... Допустим нужны результаты за 45 дней, мы берем строчку из таблички по месяцам(30 дней), 2 строчки из таблицы по неделям(14 дней), и остаток на сырых данных досчитываем. Не знаю можно ли у вас так что-то свернуть, но суть думаю уловили.

Можно еще по полу разделить, их мало и их количество жестко зафиксировано.
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
12.03.2019, 05:23
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
делать запросы в цикле
этого нельзя делать никогда.

Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
я использую query builder
все крупные проекты, которые использовали ORM, в итоге от него отказались.

операции с данными, чем ближе к БД, тем лучше.
агрегация (materialized view) рулит (демон каждые 5-10 мин скидывает в общую таблицу).
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
12.03.2019, 09:44
Цитата Сообщение от полудух Посмотреть сообщение
все крупные проекты, которые использовали ORM, в итоге от него отказались.
Это ваши фантазии?
Даже в крупных проектах есть обычные операции create, update, delete и с ними ORM легко справляется.
А там где не справляется, то и чистый SQL не подойдет. У нас например для обработки терабайтов данных используется своя технология на основе map reduce.
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
13.03.2019, 17:46
это статистика.
Цитата Сообщение от tarasalk Посмотреть сообщение
то и чистый SQL не подойдет
а вот это фантазии.

зы: в своих проектах можете хоть в текстовых файлах данные хранить
то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
13.03.2019, 19:17
Цитата Сообщение от полудух Посмотреть сообщение
это статистика.
Пруф?

Цитата Сообщение от полудух Посмотреть сообщение
а вот это фантазии.
Если запрос выполняется долго, то он и без ORM будет долгий. Вы просто не умеете его готовить. У нас оверхеад от ORM ничтожно мал.

Цитата Сообщение от полудух Посмотреть сообщение
то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
Вот вам мировая практика.
В том или ином виде MapReduce-подобные вычисления используются во всех крупнейших компаниях, занимающихся Big Data: Google, Microsoft, Facebook, Yahoo и других
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
13.03.2019, 21:14
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
хотя mapReduce это просто способ эффективно дотянуться до большого кол-ва данных
а ORM это автоматическое составление запросов.
Они не зависимы друг от друга, mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков (если там видео, например).

ORM это виртуальная прослойка, которая вносит ещё один уровень абстракции, без которого вполне можно обойтись
учитывая, что он больше вредит, чем помогает, потому что если доверять компу автоматически что-то делать, то неизбежны проблемы.
ORM существенно тормозит базу данных.
А самая распространённая проблема с ORM, это когда:
SQL
1
SELECT * FROM tbl WHERE id BETWEEN 1 AND 1000000)
превращается в:
SQL
1
SELECT * FROM tbl WHERE id IN (1,2,3,4,5,6,7,8 ... 99997,999998,999999,1000000)
подробнее про ORM тут есть (13:30):


зы: мне правда совершенно не интересно читать ваш студенческий холивар
оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое.
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
13.03.2019, 22:15
Цитата Сообщение от полудух Посмотреть сообщение
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
Нет, я вам намекаю что проблемы с большими данными я решаю по другому, вовсе не отказом от ORM.

Цитата Сообщение от полудух Посмотреть сообщение
mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков
Сегодня я написал запрос строчек эдак на 300 Агрегирует терабайты данных для дашборда.

Цитата Сообщение от полудух Посмотреть сообщение
если доверять компу автоматически что-то делать, то неизбежны проблемы
Любая команда компьютеру подразумевает что он делает что-то там автоматически.

Цитата Сообщение от полудух Посмотреть сообщение
А самая распространённая проблема с ORM, это когда:
1) Глупо вытягивать миллион записей через ORM.
2) Помимо чтения есть операции создания, обновления и удаления. Там данных мало и все летает.
3) Если какая-то конкретная реализация ORM генерирует плохие запросы, это проблема реализации, а не самой идеи ORM.

Цитата Сообщение от полудух Посмотреть сообщение
оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое
ORM не я придумал) Я всего лишь использую и получаю отличный результат. Как и тысячи коллег с работы, миллионы программистов со всего мира.

p.s. У меня тоже нет цели переубедить вас. Но есть же и другие люди, которые будут читать это)
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
14.03.2019, 01:52
Цитата Сообщение от tarasalk Посмотреть сообщение
Сегодня я написал запрос строчек эдак на 300 Агрегирует терабайты данных для дашборда.
интересный у вас "ORM".
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
14.03.2019, 01:52
Помогаю со студенческими работами здесь

Как лучше спроектировать БД
Добрый день. Тут на работе при проектировании БД столкнулся с такой проблемой: Есть физические и юридические лица (отдельные таблицы), и...

Как лучше спроектировать БД?
Абстрактный вопрос не относящийся к конкретной СУБД. Как быть если нужен список строк в БД? Как то так. Приведу пример: есть сущность -...

Как лучше/правильнее спроектировать
Возникла необходимость переписать старую CRM Что есть сейчас: 1) БД MS SQL а хостинге 3) Web сервис, который на вход получает sql...

Как лучше спроектировать одну из таблиц?
Помогите пожалуйста разобраться.. Есть заявление на ремонт: код клиента, чего сдает, номер и т. д. А вот комплектность, как лучше...

Как лучше спроектировать систему подписки?
Здравствуйте. Может кто подскажет, как лучше спроектировать систему подписки, что б ее было не стыдно показать? Есть на сайте...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru