|
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
|
|||||||||||
Как лучше спроектировать фильтр и сократить количество запросов к базе?07.03.2019, 11:27. Показов 1487. Ответов 10
Метки нет (Все метки)
Есть сайт спортивной тематики, на нём очень много блоков с похожим фильтром (Сезон, Лига, Тур, Группа, Пол). Для каждого блока фильтр свой, то есть не один фильтр по всему сайту. Так же, в некоторых блоках могут присутствовать или отсутствовать некоторые параметры. Например, в блоке "Матчи дня" нет смысла выдавать фильтр по сезону, поскольку сегодня проводятся только матчи текущего сезона.
Так же для фильтра есть список приоритетности параметров на тот случай, если пользователь не задал фильтр. То есть сначала попытка найти в каждом блоке данные мужской премьер-лиги, затем женской и тд. Приоритет задается в таком порядке:
Так же в фильтре должны быть доступны к выбору все варианты, которые имеются для данного блока. На данный момент класс фильтра реализует следующий интерфейс
1. Как наполнять фильтр вариантами? Получается, что для каждого блока мне нужно делать запрос на получение всех записей, далее по циклу заполнять фильтр через addOption, но записей очень много, а блоков еще больше. В таком случае, сайт просто не справится с таким количеством SQL-запросов и циклов. 2. Как лучше реализовывать приоритетность? Проще делать один большой запрос и искать данные по приоритету или делать запросы в цикле до момента, пока данные не найдутся?
0
|
|||||||||||
| 07.03.2019, 11:27 | |
|
Ответы с готовыми решениями:
10
Как уменьшить количество запросов к базе? Как узнать количество запросов к базе? Как сократить множество запросов? |
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
|||
| 07.03.2019, 20:49 | |||
|
Считайте в фоне и отдавайте готовый кэш. Их можно делать много разных. В реалтайме можно оставить часто меняющиеся данные, например за сегодня. Супер ООП и производительность не очень сочетаются. В данном случае простой query builder более чем достаточно.
0
|
|||
|
25 / 25 / 11
Регистрация: 13.12.2011
Сообщений: 818
|
||||||
| 11.03.2019, 11:46 [ТС] | ||||||
|
tarasalk, Ну да, я использую query builder. Вот реализация метода get() для блоков матчей
0
|
||||||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||
| 11.03.2019, 12:18 | ||
|
По этому коду я вижу что данные за сегодня хорошо отделяются. Они часто меняются, их можно вынести в небольшую табличку и быстро отдавать. Остальное можно положить в архив и считать в фоне. Можно сворачивать по неделям, дням, часам... Допустим нужны результаты за 45 дней, мы берем строчку из таблички по месяцам(30 дней), 2 строчки из таблицы по неделям(14 дней), и остаток на сырых данных досчитываем. Не знаю можно ли у вас так что-то свернуть, но суть думаю уловили. Можно еще по полу разделить, их мало и их количество жестко зафиксировано.
0
|
||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
|
|||
| 12.03.2019, 05:23 | |||
|
операции с данными, чем ближе к БД, тем лучше. агрегация (materialized view) рулит (демон каждые 5-10 мин скидывает в общую таблицу).
0
|
|||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||
| 12.03.2019, 09:44 | ||
|
Даже в крупных проектах есть обычные операции create, update, delete и с ними ORM легко справляется. А там где не справляется, то и чистый SQL не подойдет. У нас например для обработки терабайтов данных используется своя технология на основе map reduce.
0
|
||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
|
||
| 13.03.2019, 17:46 | ||
|
это статистика.
зы: в своих проектах можете хоть в текстовых файлах данные хранить то что кто-то не умеет готовить SQL на мировую практику никак не повлияет.
0
|
||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
|||||
| 13.03.2019, 19:17 | |||||
0
|
|||||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
|
|||||||||||
| 13.03.2019, 21:14 | |||||||||||
|
вы продолжаете утверждать, что mapReduce напрямую связан с ORM,
хотя mapReduce это просто способ эффективно дотянуться до большого кол-ва данных а ORM это автоматическое составление запросов. Они не зависимы друг от друга, mapReduce может ворочать эксабайтами, но запросы туда будут простейшие и всего пару десятков (если там видео, например). ORM это виртуальная прослойка, которая вносит ещё один уровень абстракции, без которого вполне можно обойтись учитывая, что он больше вредит, чем помогает, потому что если доверять компу автоматически что-то делать, то неизбежны проблемы. ORM существенно тормозит базу данных. А самая распространённая проблема с ORM, это когда:
зы: мне правда совершенно не интересно читать ваш студенческий холивар оставайтесь со своими убеждениями сколько угодно долго, когда вы дойдёте до понимания для меня дело десятое.
0
|
|||||||||||
|
1992 / 1216 / 440
Регистрация: 13.06.2013
Сообщений: 4,115
|
||||||
| 13.03.2019, 22:15 | ||||||
Агрегирует терабайты данных для дашборда.2) Помимо чтения есть операции создания, обновления и удаления. Там данных мало и все летает. 3) Если какая-то конкретная реализация ORM генерирует плохие запросы, это проблема реализации, а не самой идеи ORM. p.s. У меня тоже нет цели переубедить вас. Но есть же и другие люди, которые будут читать это)
0
|
||||||
|
209 / 191 / 49
Регистрация: 15.03.2016
Сообщений: 1,230
|
|
| 14.03.2019, 01:52 | |
|
0
|
|
| 14.03.2019, 01:52 | |
|
Помогаю со студенческими работами здесь
11
Как лучше спроектировать БД
Как лучше/правильнее спроектировать Как лучше спроектировать одну из таблиц?
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога
Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
|
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога
Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога
Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
|