Получение большого количества данных и поиск

@T0NI · Регистрация: 02.08.2016

Студворк — интернет-сервис помощи студентам

Разрабатываю API и SPA. Возникла проблема поиска данных на клиенте.

При обычном подходе клиент получает сразу данные для вывода и поиска от API. Но так как в моем случае данных очень много (от 40000 записей и более), получение всех записей сразу будет занимать довольно продолжительное время. Полученные данные выводятся в таблицу (использую react-table).

Возможно сделать такой же быстрый поиск как при получении всех данных? Если делать API для поиска с условиями и от туда запрашивать информацию, то задержка у пользователя будет большая.

@MaksimkaI · 19.09.2022, 00:04

Сам не делал такое. Но предполагаю, поиск в 40к записях не такая нагруженная задача, проблема в рендере, будет долго выводится. Поэтому я бы попробовал постраничный вывод или виртуальную таблицу.
Интересно бы увидеть ответы от других тоже.

krvsa · 19.09.2022, 08:56

Сообщение от MaksimkaI

Интересно бы увидеть ответы от других тоже.

Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями.

@Splaisto · 19.09.2022, 10:06

Сообщение от krvsa

Я пока не представляю такой надобности сразу показывать такое количество записей...

фронт для дата сайнса часто подразумевает такое.
по теме: зависит от визуализации. если это график или карта какая - проблем быть не должно. если построчный вывод - таблица с пагинацией или же просто мапить первые 100 (200, 500, 1к...) и добавлять какое-нибудь show more.

krvsa · 19.09.2022, 10:16

Сообщение от Splaisto

фронт для дата сайнса часто подразумевает такое.

Часто нужно сразу выводить большое количество записей?
Для чего?
Кто сразу сможет "объять" такое количество данных?

@Splaisto · 19.09.2022, 10:29

Сообщение от krvsa

Часто нужно сразу выводить большое количество записей?

ага..

Сообщение от krvsa

Для чего?

для анализа

Сообщение от krvsa

Кто сразу сможет "объять" такое количество данных?

аналитики и маркетологи

krvsa · 19.09.2022, 10:40

Сообщение от Splaisto

аналитики и маркетологи

Грузить сеть и клиента, дабы сервер не напрягся?

@Splaisto · 19.09.2022, 12:10

Сообщение от krvsa

Грузить сеть и клиента, дабы сервер не напрягся?

грузить фронт, дабы пользователя не бесить бесконечными прелоадерами. как показала практика - фильтрация больших объемов данных с фронта отрабатывает почти незаметно для глаза, в отличии от запросов при изменениях. возможно, конечно, бэк стоило бы писать грамотнее, но мне это уже не видно.
ну и при выводе тепловой карты по данным по множеству параметров за, скажем, год - огромный массив получается и должен отображаться для аналитики сразу. в теории, конечно, можно было бы отслеживать скролл, перекидываться запросами, но не так уж сильно клиент перегружен, что б такое писать.

@MaksimkaI · 19.09.2022, 14:02

Сообщение от krvsa

Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями.

На самом то деле мне нужна была такая возможность.
Я работал в одной компании и там все работали в excel и я занимался переписванием этого всего на реакт.
Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации.

Допустим нужно реально все выводить. Какие есть варианты?

@Splaisto · 19.09.2022, 14:14

Сообщение от MaksimkaI

Допустим нужно реально все выводить. Какие есть варианты?

ответ в вопросе:

Сообщение от MaksimkaI

нужно реально все выводить

krvsa · 19.09.2022, 14:41

Сообщение от MaksimkaI

Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации.

Как они "увидят все данные разом"?

Тут нужно либо скролить - а это уже реализация подгрузки... Либо листать - это кнопки.

Пусть даже "грузить хотят все" - так грузить можно также "порциями". Т.о. табличка будет показана раньше.

Новые блоги и статьи Все статьи Все блоги /
Первый деплой lagorue 16.01.2026 Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Изучаю kubernetes lagorue 13.01.2026 А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .

@T0NI 3 / 3 / 3 Регистрация: 02.08.2016 Сообщений: 19

	Получение большого количества данных и поиск 18.09.2022, 13:26. Показов 832. Ответов 10 Метки api, filters, search, spa, table, поиск (Все метки) Разрабатываю API и SPA. Возникла проблема поиска данных на клиенте. При обычном подходе клиент получает сразу данные для вывода и поиска от API. Но так как в моем случае данных очень много (от 40000 записей и более), получение всех записей сразу будет занимать довольно продолжительное время. Полученные данные выводятся в таблицу (использую react-table). Возможно сделать такой же быстрый поиск как при получении всех данных? Если делать API для поиска с условиями и от туда запрашивать информацию, то задержка у пользователя будет большая. 0

@MaksimkaI 130 / 68 / 31 Регистрация: 24.07.2018 Сообщений: 787
	19.09.2022, 00:04
	Сам не делал такое. Но предполагаю, поиск в 40к записях не такая нагруженная задача, проблема в рендере, будет долго выводится. Поэтому я бы попробовал постраничный вывод или виртуальную таблицу. Интересно бы увидеть ответы от других тоже. 0