Получение большого количества данных и поиск

@T0NI · Регистрация: 02.08.2016

Author24 — интернет-сервис помощи студентам

Разрабатываю API и SPA. Возникла проблема поиска данных на клиенте.

При обычном подходе клиент получает сразу данные для вывода и поиска от API. Но так как в моем случае данных очень много (от 40000 записей и более), получение всех записей сразу будет занимать довольно продолжительное время. Полученные данные выводятся в таблицу (использую react-table).

Возможно сделать такой же быстрый поиск как при получении всех данных? Если делать API для поиска с условиями и от туда запрашивать информацию, то задержка у пользователя будет большая.

@MaksimkaI · 19.09.2022, 00:04

Сам не делал такое. Но предполагаю, поиск в 40к записях не такая нагруженная задача, проблема в рендере, будет долго выводится. Поэтому я бы попробовал постраничный вывод или виртуальную таблицу.
Интересно бы увидеть ответы от других тоже.

krvsa · 19.09.2022, 08:56

Сообщение от MaksimkaI

Интересно бы увидеть ответы от других тоже.

Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями.

@Splaisto · 19.09.2022, 10:06

Сообщение от krvsa

Я пока не представляю такой надобности сразу показывать такое количество записей...

фронт для дата сайнса часто подразумевает такое.
по теме: зависит от визуализации. если это график или карта какая - проблем быть не должно. если построчный вывод - таблица с пагинацией или же просто мапить первые 100 (200, 500, 1к...) и добавлять какое-нибудь show more.

krvsa · 19.09.2022, 10:16

Сообщение от Splaisto

фронт для дата сайнса часто подразумевает такое.

Часто нужно сразу выводить большое количество записей?
Для чего?
Кто сразу сможет "объять" такое количество данных?

@Splaisto · 19.09.2022, 10:29

Сообщение от krvsa

Часто нужно сразу выводить большое количество записей?

ага..

Сообщение от krvsa

Для чего?

для анализа

Сообщение от krvsa

Кто сразу сможет "объять" такое количество данных?

аналитики и маркетологи

krvsa · 19.09.2022, 10:40

Сообщение от Splaisto

аналитики и маркетологи

Грузить сеть и клиента, дабы сервер не напрягся?

@Splaisto · 19.09.2022, 12:10

Сообщение от krvsa

Грузить сеть и клиента, дабы сервер не напрягся?

грузить фронт, дабы пользователя не бесить бесконечными прелоадерами. как показала практика - фильтрация больших объемов данных с фронта отрабатывает почти незаметно для глаза, в отличии от запросов при изменениях. возможно, конечно, бэк стоило бы писать грамотнее, но мне это уже не видно.
ну и при выводе тепловой карты по данным по множеству параметров за, скажем, год - огромный массив получается и должен отображаться для аналитики сразу. в теории, конечно, можно было бы отслеживать скролл, перекидываться запросами, но не так уж сильно клиент перегружен, что б такое писать.

@MaksimkaI · 19.09.2022, 14:02

Сообщение от krvsa

Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями.

На самом то деле мне нужна была такая возможность.
Я работал в одной компании и там все работали в excel и я занимался переписванием этого всего на реакт.
Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации.

Допустим нужно реально все выводить. Какие есть варианты?

@Splaisto · 19.09.2022, 14:14

Сообщение от MaksimkaI

Допустим нужно реально все выводить. Какие есть варианты?

ответ в вопросе:

Сообщение от MaksimkaI

нужно реально все выводить

krvsa · 19.09.2022, 14:41

Сообщение от MaksimkaI

Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации.

Как они "увидят все данные разом"?

Тут нужно либо скролить - а это уже реализация подгрузки... Либо листать - это кнопки.

Пусть даже "грузить хотят все" - так грузить можно также "порциями". Т.о. табличка будет показана раньше.

krvsa 2977 / 1150 / 314 Регистрация: 14.03.2022 Сообщений: 2,811
	19.09.2022, 14:41	11
	Сообщение от MaksimkaI Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации. Как они "увидят все данные разом"? Тут нужно либо скролить - а это уже реализация подгрузки... Либо листать - это кнопки. Пусть даже "грузить хотят все" - так грузить можно также "порциями". Т.о. табличка будет показана раньше. 0

@T0NI 3 / 3 / 3 Регистрация: 02.08.2016 Сообщений: 19
		1
	Получение большого количества данных и поиск 18.09.2022, 13:26. Показов 581. Ответов 10 Метки api, filters, search, spa, table, поиск (Все метки) Разрабатываю API и SPA. Возникла проблема поиска данных на клиенте. При обычном подходе клиент получает сразу данные для вывода и поиска от API. Но так как в моем случае данных очень много (от 40000 записей и более), получение всех записей сразу будет занимать довольно продолжительное время. Полученные данные выводятся в таблицу (использую react-table). Возможно сделать такой же быстрый поиск как при получении всех данных? Если делать API для поиска с условиями и от туда запрашивать информацию, то задержка у пользователя будет большая. 0

@MaksimkaI 130 / 68 / 31 Регистрация: 24.07.2018 Сообщений: 787
	19.09.2022, 00:04	2
	Сам не делал такое. Но предполагаю, поиск в 40к записях не такая нагруженная задача, проблема в рендере, будет долго выводится. Поэтому я бы попробовал постраничный вывод или виртуальную таблицу. Интересно бы увидеть ответы от других тоже. 0

krvsa 2977 / 1150 / 314 Регистрация: 14.03.2022 Сообщений: 2,811
	19.09.2022, 08:56	3
	Сообщение от MaksimkaI Интересно бы увидеть ответы от других тоже. Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями. 0

@Splaisto 230 / 170 / 51 Регистрация: 12.03.2021 Сообщений: 969
	19.09.2022, 10:06	4
	Сообщение от krvsa Я пока не представляю такой надобности сразу показывать такое количество записей... фронт для дата сайнса часто подразумевает такое. по теме: зависит от визуализации. если это график или карта какая - проблем быть не должно. если построчный вывод - таблица с пагинацией или же просто мапить первые 100 (200, 500, 1к...) и добавлять какое-нибудь show more. 0

krvsa 2977 / 1150 / 314 Регистрация: 14.03.2022 Сообщений: 2,811
	19.09.2022, 10:16	5
	Сообщение от Splaisto фронт для дата сайнса часто подразумевает такое. Часто нужно сразу выводить большое количество записей? Для чего? Кто сразу сможет "объять" такое количество данных? 0

@Splaisto 230 / 170 / 51 Регистрация: 12.03.2021 Сообщений: 969
	19.09.2022, 10:29	6
	Сообщение от krvsa Часто нужно сразу выводить большое количество записей? ага.. Сообщение от krvsa Для чего? для анализа Сообщение от krvsa Кто сразу сможет "объять" такое количество данных? аналитики и маркетологи 0

krvsa 2977 / 1150 / 314 Регистрация: 14.03.2022 Сообщений: 2,811
	19.09.2022, 10:40	7
	Сообщение от Splaisto аналитики и маркетологи Грузить сеть и клиента, дабы сервер не напрягся? 0

@Splaisto 230 / 170 / 51 Регистрация: 12.03.2021 Сообщений: 969
	19.09.2022, 12:10	8
	Сообщение от krvsa Грузить сеть и клиента, дабы сервер не напрягся? грузить фронт, дабы пользователя не бесить бесконечными прелоадерами. как показала практика - фильтрация больших объемов данных с фронта отрабатывает почти незаметно для глаза, в отличии от запросов при изменениях. возможно, конечно, бэк стоило бы писать грамотнее, но мне это уже не видно. ну и при выводе тепловой карты по данным по множеству параметров за, скажем, год - огромный массив получается и должен отображаться для аналитики сразу. в теории, конечно, можно было бы отслеживать скролл, перекидываться запросами, но не так уж сильно клиент перегружен, что б такое писать. 0

@MaksimkaI 130 / 68 / 31 Регистрация: 24.07.2018 Сообщений: 787
	19.09.2022, 14:02	9
	Сообщение от krvsa Я пока не представляю такой надобности сразу показывать такое количество записей... Если их действительно много - листай или как-то иначе показывай порциями. На самом то деле мне нужна была такая возможность. Я работал в одной компании и там все работали в excel и я занимался переписванием этого всего на реакт. Вот они хотели, чтобы вся информация была видна на одной странице. Никто не хочет нажимать на кнопочки пагинации. Допустим нужно реально все выводить. Какие есть варианты? 0

@Splaisto 230 / 170 / 51 Регистрация: 12.03.2021 Сообщений: 969
	19.09.2022, 14:14	10
	Сообщение от MaksimkaI Допустим нужно реально все выводить. Какие есть варианты? ответ в вопросе: Сообщение от MaksimkaI нужно реально все выводить 0

Опции темы