|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
Пагинация. Страница и общий Count в 1 запросе. или быстрый вариант25.10.2023, 20:56. Показов 1657. Ответов 21
Метки нет (Все метки)
Для пагинации для каждой страницы надо делать 2 запроса
1) SELECT count(*) FROM table WHERE xxx 2) SELECT * FROM table WHERE xxx OFSET xxx LIMIT xxx Как не делать 2 запроса ? Count долгая сама по себе.
0
|
|
| 25.10.2023, 20:56 | |
|
Ответы с готовыми решениями:
21
Обычная пагинация или пагинация на ajax пагинация и первая страница |
|
Надуваю лягушек
289 / 219 / 93
Регистрация: 01.05.2014
Сообщений: 742
|
||||||||||||||||||||||||||
| 26.10.2023, 08:01 | ||||||||||||||||||||||||||
|
Два запроса делать придётся.
1. Вместо count используй
...
Кликните здесь для просмотра всего текста
0
|
||||||||||||||||||||||||||
|
2450 / 2301 / 597
Регистрация: 27.05.2011
Сообщений: 7,845
|
|||
| 27.10.2023, 16:29 | |||
|
Добавлено через 41 секунду
0
|
|||
|
Заблокирован
|
|
| 27.10.2023, 16:32 | |
|
От пагинации уже даже Гугл в своем поиске отказался. Подгружает, как все приличные люди при прокрутке скролла.
0
|
|
|
2450 / 2301 / 597
Регистрация: 27.05.2011
Сообщений: 7,845
|
||
| 27.10.2023, 16:36 | ||
|
Он убрал, где нет необходимости перебегать несколько страниц вперед, а где есть необходимость, все осталось
0
|
||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
||
| 27.10.2023, 16:43 [ТС] | ||
Почемуто в гугле нашел что sum(id) работает быстрее. только не работает у меня. Незнаю как count внутренне работает. может он сначала выполныет типа SELECT * и потом считает их. это очень громоздко по идее. А если просто считает то как он может быть медленее SUM.
0
|
||
|
4406 / 1046 / 154
Регистрация: 16.01.2023
Сообщений: 2,592
|
||
| 27.10.2023, 17:18 | ||
|
У меня есть под рукой postgresql с большой таблицей (30 млн записей), проверил на ней - count(*) и count(id) отработали за одно и то же время.
0
|
||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
| 27.10.2023, 18:11 [ТС] | |
|
Да.
Тут тесты тоже показывают. Никакой разницы. https://www.percona.com/blog/c... -in-mysql/ А можете ктонибудь на большой базе проверить SELECT SUM(1) as s FROM table; Добавлено через 34 минуты Mariadb 1 млн записей 100ms SELECT SQL_NO_CACHE COUNT(*) as s FROM posts; 115ms SELECT SQL_NO_CACHE SUM(1) as s FROM posts; 175ms SELECT SQL_NO_CACHE id as s FROM posts; - это если потом считать в php num_rows . тоже не вариант. Добавлено через 9 минут Chatgpt 3.5 ответил. Подсчет количества строк в таблице MySQL с использованием COUNT(*) обычно эффективен для небольших и средних таблиц. Однако для очень больших таблиц или в ситуациях, где требуется оптимизировать скорость, вы можете рассмотреть альтернативные методы для более быстрого подсчета строк. Вот некоторые альтернативы: Поддерживайте столбец для подсчета: Одним из распространенных методов является поддержание отдельного столбца в вашей таблице, который хранит количество строк. Вы будете увеличивать или уменьшать этот столбец счета при вставке или удалении строк. Таким образом, вы можете быстро получить количество без необходимости сканировать всю таблицу. Однако для этого метода требуется дополнительная логика для поддержания актуальности столбца подсчета. Используйте таблицы сводных данных: Вы можете создать таблицы сводных данных для хранения агрегированных подсчетов. Например, вы можете создать таблицу ежедневных сводных данных, которая содержит количество строк для каждого дня. Это позволяет быстро извлекать подсчеты для конкретных временных интервалов. Недостатком является необходимость поддерживать эти таблицы сводных данных. Кеширование: Используйте механизм кеширования для хранения результата запроса COUNT(*). Если вашим данным нечасто присваиваются изменения, вы можете периодически обновлять кеш вместо выполнения COUNT(*) при каждом запросе. Популярными решениями для кеширования являются Redis, Memcached или кеширование на уровне приложения. Оценка количества строк: Если вы можете принять приближенные значения подсчета, вы можете использовать команду SHOW TABLE STATUS для получения приближенного количества строк. Этот метод быстрее, чем выполнение запроса COUNT(*), но может не быть 100% точным. Частичный подсчет: Если вам нужно подсчитать только строки, соответствующие определенным критериям, рассмотрите возможность добавления соответствующих индексов к вашей таблице для ускорения запроса. Используйте COUNT(*) с ограничением: Если вам не требуется точный подсчет, вы можете использовать SELECT COUNT(*) FROM table_name LIMIT N, где N - это достаточно большое число. Это даст вам приблизительное количество строк, и оно может быть быстрее, чем подсчет всех строк. Однако оно может не быть полностью точным. Денормализация: В некоторых случаях денормализация данных для уменьшения необходимости частых подсчетов может быть приемлемым вариантом. Это включает в себя хранение избыточных данных в вашей таблице, чтобы сделать определенные запросы, включая подсчет строк, более эффективными.
0
|
|
|
Заблокирован
|
||
| 27.10.2023, 19:31 | ||
Посмотри на скрине на размер скролла. Я страниц пять прокрутил, пока появилось сообщение More result. Если хочешь еще - тогда нажимай на кнопку, а до этого скролл.
0
|
||
|
377 / 319 / 73
Регистрация: 15.09.2017
Сообщений: 1,436
|
||||
| 27.10.2023, 21:17 | ||||
|
Добавлено через 2 минуты
0
|
||||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
| 27.10.2023, 21:19 [ТС] | |
|
Много всяких динамичных фильтров WHERE . не предусмотришь ничего в таких.
Если Запрос сразу после Count, то тамже должно чтото закашироваться после Count по идее.
0
|
|
|
377 / 319 / 73
Регистрация: 15.09.2017
Сообщений: 1,436
|
||
| 27.10.2023, 21:39 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
| 27.10.2023, 21:42 [ТС] | |
|
А если както Count встроить в основной запрос . или не реально такое. может за раз както чутка пошустрее будет.
0
|
|
|
377 / 319 / 73
Регистрация: 15.09.2017
Сообщений: 1,436
|
|
| 27.10.2023, 21:50 | |
|
0
|
|
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
| 29.10.2023, 20:11 [ТС] | |
|
Вынес категории постов в отдельную таблицу.
таблица POSTS 1 млн. записей id int primary таблица CATPOST 1 млн. записей post int primary category int index ЗАПРОС: SELECT SQL_NO_CACHE count(p.id) FROM posts as p JOIN catpost as c ON p.id=c.post WHERE c.category ='1' Выполняется аж 7 секунд. Правильно я его написал ? или както по другому надо. Если вписать категорию CATEGORY прямо в POSTS - Выполняется мгновенно. id int primary category int index SELECT SQL_NO_CACHE count(id) FROM posts WHERE category ='1'
0
|
|
|
2450 / 2301 / 597
Регистрация: 27.05.2011
Сообщений: 7,845
|
|
| 29.10.2023, 20:43 | |
|
0
|
|
|
377 / 319 / 73
Регистрация: 15.09.2017
Сообщений: 1,436
|
|||
| 29.10.2023, 22:08 | |||
|
0
|
|||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|
| 29.10.2023, 22:11 [ТС] | |
|
У меня есть быстрый способ для всего, что мне нужно и всё чудесно на до 200.000 постов. Но цель - миллион. Тут сложнее.
Если указывать категории прямо в posts, но с этим есть проблемы. 1) Нельзя разместить пост в нескольких категориях 2) Категория - большая иерархия. а если при нажатии на главную категорию, а пост находится в постпостатегории, то он должен вывестись тоже. В запросе расчитывать родителей для категории тоже не реально долго. Мне надо собрать посты одной категории ( id 1 ) из категории POSTS. Как написать запрос чтобы работал быстрее ? SELECT SQL_NO_CACHE count(p.id) FROM posts as p JOIN catpost as c ON p.id=c.post WHERE c.category ='1' В категории posts - 1 млн записей. в catpost - 2 млн. записей Count - надо. Фильтр WHERE может состоять до 40 параметров , поэтому ничего посчитать заранее не реально. Конкретно размер категории никогда не имеет значение т.к. 2-3 фильтра применяются всегда. Как вариант только создавать кучу таблиц на каждую категорию например, как в BIG DATA. но хочется выжать с одной максимум.
0
|
|
|
377 / 319 / 73
Регистрация: 15.09.2017
Сообщений: 1,436
|
||||
| 29.10.2023, 22:48 | ||||
|
Добавлено через 4 минуты
0
|
||||
|
0 / 0 / 0
Регистрация: 17.01.2015
Сообщений: 42
|
|||
| 29.10.2023, 22:56 [ТС] | |||
Я пока расчитываю на 1 пост в 1 категории. В разы всё быстрее и проще. но хочется узнать возможности на будущее. Поэтому и вопрос - категории+посты можно разместить в отдельной таблице CATSPOST. и по ней собирать категории. Во всех популярных движках так и делается. Одна из причин почему на миллион они не расчитаны ( я пробовал prestasthop, magento, joomla ... ) . Струтура wordpress это отдельная жесть , там и 10.000 напряг . Самое быстрое - 1 таблица без join-ов. Или я не умею их готовить. У меня например в таблице постов - за 200 столбцов. Но нашелся минус в mysql/mariadb - индексировать можно только 64.
Я использую минимум 2 уровня. но хочу 5. и это в разы дольше для работы. Самая сложнсть - не само дерево категорий, а чтобы в главной категории вывелись все посты из подкатегорий и из подподкатегорий. и так 5 уровней. И это жрет кучу ресурсов. Добавлено через 58 секунд Сейчас вычитал про числовой хэш. можно сделать хэш который состояит из категорий+пост. индексировать по нему. интересная штука.
0
|
|||
| 29.10.2023, 22:56 | |
|
Помогаю со студенческими работами здесь
20
Пагинация при кастовом запросе Более быстрый вариант сравнения фотографий
Как бы вы написали кусок программы, Вариант 1 или Вариант 2? Помощь с count в запросе Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога
Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
|
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога
Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога
Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
|
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|