|
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
|
|||||||||||
Как лучше спроектировать фильтр и сократить количество запросов к базе?07.03.2019, 11:27. Показов 1475. Ответов 10
Метки нет (Все метки)
Есть сайт спортивной тематики, на нём очень много блоков с похожим фильтром (Сезон, Лига, Тур, Группа, Пол). Для каждого блока фильтр свой, то есть не один фильтр по всему сайту. Так же, в некоторых блоках могут присутствовать или отсутствовать некоторые параметры. Например, в блоке "Матчи дня" нет смысла выдавать фильтр по сезону, поскольку сегодня проводятся только матчи текущего сезона.
Так же для фильтра есть список приоритетности параметров на тот случай, если пользователь не задал фильтр. То есть сначала попытка найти в каждом блоке данные мужской премьер-лиги, затем женской и тд. Приоритет задается в таком порядке:
Так же в фильтре должны быть доступны к выбору все варианты, которые имеются для данного блока. На данный момент класс фильтра реализует следующий интерфейс
1. Как наполнять фильтр вариантами? Получается, что для каждого блока мне нужно делать запрос на получение всех записей, далее по циклу заполнять фильтр через addOption, но записей очень много, а блоков еще больше. В таком случае, сайт просто не справится с таким количеством SQL-запросов и циклов. 2. Как лучше реализовывать приоритетность? Проще делать один большой запрос и искать данные по приоритету или делать запросы в цикле до момента, пока данные не найдутся?
0
|
|||||||||||
| 07.03.2019, 11:27 | |
|
Ответы с готовыми решениями:
10
Как уменьшить количество запросов к базе? Как узнать количество запросов к базе? Как сократить множество запросов? |
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
|||
| 07.03.2019, 20:49 | |||
|
Считайте в фоне и отдавайте готовый кэш. Их можно делать много разных. В реалтайме можно оставить часто меняющиеся данные, например за сегодня. Супер ООП и производительность не очень сочетаются. В данном случае простой query builder более чем достаточно.
0
|
|||
|
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
|
||||||
| 11.03.2019, 11:46 [ТС] | ||||||
|
tarasalk, Ну да, я использую query builder. Вот реализация метода get() для блоков матчей
0
|
||||||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||
| 11.03.2019, 12:18 | ||
|
По этому коду я вижу что данные за сегодня хорошо отделяются. Они часто меняются, их можно вынести в небольшую табличку и быстро отдавать. Остальное можно положить в архив и считать в фоне. Можно сворачивать по неделям, дням, часам... Допустим нужны результаты за 45 дней, мы берем строчку из таблички по месяцам(30 дней), 2 строчки из таблицы по неделям(14 дней), и остаток на сырых данных досчитываем. Не знаю можно ли у вас так что-то свернуть, но суть думаю уловили. Можно еще по полу разделить, их мало и их количество жестко зафиксировано.
0
|
||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
|
|||
| 12.03.2019, 05:23 | |||
|
операции с данными, чем ближе к БД, тем лучше. агрегация (materialized view) рулит (демон каждые 5-10 мин скидывает в общую таблицу).
0
|
|||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||
| 12.03.2019, 09:44 | ||
|
Даже в крупных проектах есть обычные операции create, update, delete и с ними ORM легко справляется. А там где не справляется, то и чистый SQL не подойдет. У нас например для обработки терабайтов данных используется своя технология на основе map reduce.
0
|
||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
|
||
| 13.03.2019, 17:46 | ||
|
это статистика.
зы: в своих проектах можете хоть в текстовых файлах данные хранить то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
0
|
||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
|||||
| 13.03.2019, 19:17 | |||||
0
|
|||||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
|
|||||||||||
| 13.03.2019, 21:14 | |||||||||||
|
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
хотя mapReduce это просто способ эффективно дотянуться до большого кол-ва данных а ORM это автоматическое составление запросов. Они не зависимы друг от друга, mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков (если там видео, например). ORM это виртуальная прослойка, которая вносит ещё один уровень абстракции, без которого вполне можно обойтись учитывая, что он больше вредит, чем помогает, потому что если доверять компу автоматически что-то делать, то неизбежны проблемы. ORM существенно тормозит базу данных. А самая распространённая проблема с ORM, это когда:
зы: мне правда совершенно не интересно читать ваш студенческий холивар оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое.
0
|
|||||||||||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||||||
| 13.03.2019, 22:15 | ||||||
Агрегирует терабайты данных для дашборда.2) Помимо чтения есть операции создания, обновления и удаления. Там данных мало и все летает. 3) Если какая-то конкретная реализация ORM генерирует плохие запросы, это проблема реализации, а не самой идеи ORM. p.s. У меня тоже нет цели переубедить вас. Но есть же и другие люди, которые будут читать это)
0
|
||||||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,229
|
|
| 14.03.2019, 01:52 | |
|
0
|
|
| 14.03.2019, 01:52 | |
|
Помогаю со студенческими работами здесь
11
Как лучше спроектировать БД
Как лучше/правильнее спроектировать Как лучше спроектировать одну из таблиц?
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод
Ниже машинный перевод статьи The Thinkpad X220 Tablet is the best budget school laptop period .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы,. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|