Форум программистов, компьютерный форум, киберфорум
PHP: ООП
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.71/7: Рейтинг темы: голосов - 7, средняя оценка - 4.71
 Аватар для Mashka_mulashka
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818

Как лучше спроектировать фильтр и сократить количество запросов к базе?

07.03.2019, 11:27. Показов 1475. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть сайт спортивной тематики, на нём очень много блоков с похожим фильтром (Сезон, Лига, Тур, Группа, Пол). Для каждого блока фильтр свой, то есть не один фильтр по всему сайту. Так же, в некоторых блоках могут присутствовать или отсутствовать некоторые параметры. Например, в блоке "Матчи дня" нет смысла выдавать фильтр по сезону, поскольку сегодня проводятся только матчи текущего сезона.

Так же для фильтра есть список приоритетности параметров на тот случай, если пользователь не задал фильтр. То есть сначала попытка найти в каждом блоке данные мужской премьер-лиги, затем женской и тд. Приоритет задается в таком порядке:
  1. Мужская Премьер-лига
  2. Женская Премьер-лига
  3. Мужская Суперлига
  4. Женская Суперлига
  5. Мужская Высшая лига «А»
  6. Женская Высшая лига «А»
  7. Мужская Высшая лига «B»
  8. Женская Высшая лига «В»
  9. Мужская Высшая лига «С»
  10. Мужская Высшая лига «D»

Так же в фильтре должны быть доступны к выбору все варианты, которые имеются для данного блока. На данный момент класс фильтра реализует следующий интерфейс

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
<?php
 
namespace App\Filter;
 
use App\Exceptions\FilterException;
use App\Models\{Season, League, Sex, Tour, Group};
 
/**
 * Интерефейс для работы с фильтрами
 * Interface FilterInterface
 * @package App\Filter
 */
interface FilterInterface
{
    /**
     * FilterInterface constructor.
     * @param array $filter
     */
    public function __construct(array $filter = []);
 
    /**
     * @param $property
     * @return mixed
     */
    public function __get($property);
 
    /**
     * @param $property
     * @param Season|League|Sex|Group|Tour $value
     */
    public function __set($property, $value);
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getSeasonId() : int;
 
    /**
     * @param Season | int $season
     * @throws FilterException
     * @return FilterInterface
     */
    public function setSeason($season = null) : FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getLeagueId(): int;
 
    /**
     * @param League | int $league
     * @throws FilterException
     * @return FilterInterface
     */
    public function setLeague($league = null) : FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getSexId(): int;
 
    /**
     * @param Sex | int $sex
     * @throws FilterException
     * @return FilterInterface
     */
    public function setSex($sex = null): FilterInterface;
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getTourId(): int;
 
    /**
     * @param Tour | int $tour
     * @throws FilterException
     * @return FilterInterface
     */
    public function setTour($tour = null): FilterInterface;
 
 
    /**
     * @throws FilterException
     * @return int
     */
    public function getGroupId(): int;
 
    /**
     * @param Group | int $group
     * @throws FilterException
     * @return FilterInterface
     */
    public function setGroup($group = null): FilterInterface;
 
 
    /**
     * Возвращает список доступных фильтров по названию свойства
     * @param $key
     * @return array
     */
    public function getOptions($key) : array;
 
 
    /**
     * Добавить доступный фильтр к свойству
     * @param $key
     * @param $value
     * @throws FilterException
     * @return FilterInterface
     */
    public function addOption($key, $value) : FilterInterface;
 
    /**
     * Убрать фильтр из свойства
     * @param $key
     * @param $value
     * @throws FilterException
     * @return FilterInterface
     */
    public function removeOption($key, $value) : FilterInterface;
 
    /**
     * Установлено ли свойство в значение, отличное от null
     * @param $property
     * @return boolean
     */
    public function has($property) : bool;
 
    /**
     * Спратать свойство в результрующем массиве
     * @param $property
     * @return FilterInterface
     */
    public function hide($property) : FilterInterface;
 
    /**
     * Вернуть фильтр в виде массива
     * @return array
     */
    public function get() : array;
}
Все блоки, которые работают с фильтром наследуются от абстрактного класса

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
<?php
 
namespace App\Schedule;
 
use App\Filter\FilterInterface;
 
abstract class ScheduleAbstract
{
    /**
     * @var FilterInterface $filter
     */
    protected $filter;
 
    public function __construct(FilterInterface $filter)
    {
        $this->filter = $filter;
    }
 
    public function getFilter() : FilterInterface
    {
        return $this->filter;
    }
 
    public function setFilter(FilterInterface $filter)
    {
        $this->filter = $filter;
    }
 
    public function getFilterArray() : array
    {
        return $this->filter->get();
    }
 
 
    abstract public function get() : array;
}
По-сути, каждый блок должен реализовать только метод get() . Итак, список проблем:

1. Как наполнять фильтр вариантами?

Получается, что для каждого блока мне нужно делать запрос на получение всех записей, далее по циклу заполнять фильтр через addOption,
но записей очень много, а блоков еще больше. В таком случае, сайт просто не справится с таким количеством SQL-запросов и циклов.

2. Как лучше реализовывать приоритетность?

Проще делать один большой запрос и искать данные по приоритету или делать запросы в цикле до момента, пока данные не найдутся?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
07.03.2019, 11:27
Ответы с готовыми решениями:

Как уменьшить количество запросов к базе?
есть тема wordrpess с плагином транспортной компании...

Как узнать количество запросов к базе?
Подскажите, как можно узнать количество запросов к базе при формировании той, или иной страницы сайта? (Сайт на php).

Как сократить множество запросов?
Возможно ли сократить каким-нибудь образом эти запросы? $a = mysql_query(&quot;SELECT uid FROM auth WHERE user='&quot;.$_SESSION.&quot;'...

10
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
07.03.2019, 20:49
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
Как наполнять фильтр вариантами?
Если данных действительно много, то считать статистику в реалтайме это плохая идея.
Считайте в фоне и отдавайте готовый кэш. Их можно делать много разных.
В реалтайме можно оставить часто меняющиеся данные, например за сегодня.
Супер ООП и производительность не очень сочетаются. В данном случае простой query builder более чем достаточно.

Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
Как лучше реализовывать приоритетность?
Вы на php что-ли фильтровать собрались? Это же очень медленно. Сделайте запрос который сразу найдет нужные данные.
0
 Аватар для Mashka_mulashka
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
11.03.2019, 11:46  [ТС]
tarasalk, Ну да, я использую query builder. Вот реализация метода get() для блоков матчей

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
    public function get() : array
    {
        $filter = $this->getFilter();
 
        /**
         * @var \Illuminate\Database\Query\Builder $gameBuilder
         */
        $gameBuilder = GameSerie::select([
                                    'game_series.id',
                                    'championship_id',
                                    'team_a_id',
                                    'team_b_id',
                                    'count_wins_a',
                                    'count_wins_b',
                                    'date',
                                    'scout_status'
                                    ])
                                    ->where('championships.season_id', $filter->getSeasonId())
                                    ->join('championships', 'game_series.championship_id', '=', 'championships.id')
                                    ->with(['teamA.city', 'teamB.city']);
 
        if ($filter->has('sex')) {
            $gameBuilder->where('championships.sex_id', $filter->getSexId());
        }
 
        if ($filter->has('league')) {
            $gameBuilder->where('championships.league_id', $filter->getLeagueId());
        }
 
        if ($filter->has('group')) {
            $gameBuilder->where('championships.group_id', $filter->getGroupId());
        }
 
        if ($filter->has('tour')) {
            $gameBuilder->where('championships.tour_id', $filter->getTourId());
        }
 
        if ($this->isTodayGames) {
            $today = Carbon::now();
            $gameBuilder->whereDate('game_series.date', '=', $today->format('Y-m-d'));
        }
 
        $gameBuilder->orderBy('date');
        $gameResult = $gameBuilder->get();
 
        $championships = $gameResult->pluck('championship_id')->unique();
 
        $this->fillFilterOptions($championships);
 
        if ($this->isTodayGames) {
            return $this->getArrForToday($gameResult);
        }
 
        return $gameResult->toArray();
    }
Если я правильно понимаю вашу идею, вы предлагаете для всех вариантов сезонов/лиг/групп/туров/полов в фоне готовить кэш и просто дёргать его?
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
11.03.2019, 12:18
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
ы предлагаете для всех вариантов сезонов/лиг/групп/туров/полов в фоне готовить кэш
Кэш да. Но мне кажется если все варианты просчитывать то в итоге та же самая БД получится, а задача то в том чтобы уменьшить количество данных.

По этому коду я вижу что данные за сегодня хорошо отделяются. Они часто меняются, их можно вынести в небольшую табличку и быстро отдавать. Остальное можно положить в архив и считать в фоне.
Можно сворачивать по неделям, дням, часам... Допустим нужны результаты за 45 дней, мы берем строчку из таблички по месяцам(30 дней), 2 строчки из таблицы по неделям(14 дней), и остаток на сырых данных досчитываем. Не знаю можно ли у вас так что-то свернуть, но суть думаю уловили.

Можно еще по полу разделить, их мало и их количество жестко зафиксировано.
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
12.03.2019, 05:23
Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
делать запросы в цикле
этого нельзя делать никогда.

Цитата Сообщение от Mashka_mulashka Посмотреть сообщение
я использую query builder
все крупные проекты, которые использовали ORM, в итоге от него отказались.

операции с данными, чем ближе к БД, тем лучше.
агрегация (materialized view) рулит (демон каждые 5-10 мин скидывает в общую таблицу).
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
12.03.2019, 09:44
Цитата Сообщение от полудух Посмотреть сообщение
все крупные проекты, которые использовали ORM, в итоге от него отказались.
Это ваши фантазии?
Даже в крупных проектах есть обычные операции create, update, delete и с ними ORM легко справляется.
А там где не справляется, то и чистый SQL не подойдет. У нас например для обработки терабайтов данных используется своя технология на основе map reduce.
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
13.03.2019, 17:46
это статистика.
Цитата Сообщение от tarasalk Посмотреть сообщение
то и чистый SQL не подойдет
а вот это фантазии.

зы: в своих проектах можете хоть в текстовых файлах данные хранить
то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
13.03.2019, 19:17
Цитата Сообщение от полудух Посмотреть сообщение
это статистика.
Пруф?

Цитата Сообщение от полудух Посмотреть сообщение
а вот это фантазии.
Если запрос выполняется долго, то он и без ORM будет долгий. Вы просто не умеете его готовить. У нас оверхеад от ORM ничтожно мал.

Цитата Сообщение от полудух Посмотреть сообщение
то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
Вот вам мировая практика.
В том или ином виде MapReduce-подобные вычисления используются во всех крупнейших компаниях, занимающихся Big Data: Google, Microsoft, Facebook, Yahoo и других
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
13.03.2019, 21:14
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
хотя mapReduce это просто способ эффективно дотянуться до большого кол-ва данных
а ORM это автоматическое составление запросов.
Они не зависимы друг от друга, mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков (если там видео, например).

ORM это виртуальная прослойка, которая вносит ещё один уровень абстракции, без которого вполне можно обойтись
учитывая, что он больше вредит, чем помогает, потому что если доверять компу автоматически что-то делать, то неизбежны проблемы.
ORM существенно тормозит базу данных.
А самая распространённая проблема с ORM, это когда:
SQL
1
SELECT * FROM tbl WHERE id BETWEEN 1 AND 1000000)
превращается в:
SQL
1
SELECT * FROM tbl WHERE id IN (1,2,3,4,5,6,7,8 ... 99997,999998,999999,1000000)
подробнее про ORM тут есть (13:30):


зы: мне правда совершенно не интересно читать ваш студенческий холивар
оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое.
0
 Аватар для tarasalk
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
13.03.2019, 22:15
Цитата Сообщение от полудух Посмотреть сообщение
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
Нет, я вам намекаю что проблемы с большими данными я решаю по другому, вовсе не отказом от ORM.

Цитата Сообщение от полудух Посмотреть сообщение
mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков
Сегодня я написал запрос строчек эдак на 300 Агрегирует терабайты данных для дашборда.

Цитата Сообщение от полудух Посмотреть сообщение
если доверять компу автоматически что-то делать, то неизбежны проблемы
Любая команда компьютеру подразумевает что он делает что-то там автоматически.

Цитата Сообщение от полудух Посмотреть сообщение
А самая распространённая проблема с ORM, это когда:
1) Глупо вытягивать миллион записей через ORM.
2) Помимо чтения есть операции создания, обновления и удаления. Там данных мало и все летает.
3) Если какая-то конкретная реализация ORM генерирует плохие запросы, это проблема реализации, а не самой идеи ORM.

Цитата Сообщение от полудух Посмотреть сообщение
оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое
ORM не я придумал) Я всего лишь использую и получаю отличный результат. Как и тысячи коллег с работы, миллионы программистов со всего мира.

p.s. У меня тоже нет цели переубедить вас. Но есть же и другие люди, которые будут читать это)
0
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
14.03.2019, 01:52
Цитата Сообщение от tarasalk Посмотреть сообщение
Сегодня я написал запрос строчек эдак на 300 Агрегирует терабайты данных для дашборда.
интересный у вас "ORM".
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
14.03.2019, 01:52
Помогаю со студенческими работами здесь

Как лучше спроектировать БД
Добрый день. Тут на работе при проектировании БД столкнулся с такой проблемой: Есть физические и юридические лица (отдельные таблицы), и...

Как лучше спроектировать БД?
Абстрактный вопрос не относящийся к конкретной СУБД. Как быть если нужен список строк в БД? Как то так. Приведу пример: есть сущность -...

Как лучше/правильнее спроектировать
Возникла необходимость переписать старую CRM Что есть сейчас: 1) БД MS SQL а хостинге 3) Web сервис, который на вход получает sql...

Как лучше спроектировать одну из таблиц?
Помогите пожалуйста разобраться.. Есть заявление на ремонт: код клиента, чего сдает, номер и т. д. А вот комплектность, как лучше...

Как лучше спроектировать систему подписки?
Здравствуйте. Может кто подскажет, как лучше спроектировать систему подписки, что б ее было не стыдно показать? Есть на сайте...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Ниже машинный перевод статьи The Thinkpad X220 Tablet is the best budget school laptop period . Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы,. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru