Отдавать данные частями

@skarden · Регистрация: 19.11.2010

Author24 — интернет-сервис помощи студентам

Здравствуйте,
возможно ли такое на php (или python)?

js создаёт постоянное соединение с сервером типа websocket,

задача ставится так, js кидает какие-то параметры на сервер, на севере стартуют скажем 20 независимых потоков,
как только один поток отработал, он сразу передаёт данные клиенту и так все потоки поочереди (время исполнения может у них отличаться).

Спасибо.

@Fart83 · 14.05.2021, 19:18

Сообщение от skarden

стартуют скажем 20 независимых потоков

20 потоков это так к слову было...
может процессов?

Сообщение от skarden

возможно ли такое на php (или python)?
js создаёт постоянное соединение с сервером типа websocket

веб сокеты возможно

Сообщение от skarden

отдавать данные частями

биг-дата?

@skarden · 14.05.2021, 19:24 **[ТС]**

Сообщение от Fart83

20 потоков это так к слову было...
может процессов?

можно и процессов, но лучше потоков goroutines, процесс долго создаётся и регистрируется, а большой нагрузки на CPU вроде не намечается.

Сообщение от Fart83

биг-дата?

пойдут запросы на парсин различных сайтов, каждый поток отработает в своё время. Передачи большого набора данных не планируется.

@Fart83 · 14.05.2021, 19:30

Сообщение от skarden

но лучше потоков goroutines,

речь про го/голанг?

Сообщение от skarden

пойдут запросы на парсин различных сайтов

на php или pyhton делайте запросы и парсите если получите доступ. веб-сокет js зачем тогда нужен?

@skarden · 14.05.2021, 19:40 **[ТС]**

Сообщение от Fart83

речь про го/голанг?

ну можно и Go, не принципиально.

Задача такая, пользователь на моём сайте нажимет поиск, параметры поиска передаются серверу php/python/go
на сервере стартует параллельно парсинг 40 сайтов, по мере прогресса данные передаются асинхронно посетителю сайта.

Я конечно мог бы на уровне js передать параллельно 40 параметров одному серверному скрипту через Get запрос например, но я сомневаюсь что мне будет удобно это реализовывать на js.

@Para bellum · 14.05.2021, 20:09

Может так как-то:
1) Организуем websocket или SSE.
2) Пользователь отправляет запрос, в очередь пишется задание.
3) На сервере запущен daemon, слушающий очередь. При возникновении задания происходит парсинг и результаты, по мере работы, пишутся куда-либо (или, может быть, как-то между процессами пересылаются).
4) Мониторим, появились ли какие-то данные по этому заданию. Если появились -- отправляем клиенту через SSE.

@skarden 3 / 3 / 0 Регистрация: 19.11.2010 Сообщений: 148
		1
	Отдавать данные частями 14.05.2021, 01:28. Показов 1798. Ответов 5 Метки нет (Все метки) Здравствуйте, возможно ли такое на php (или python)? js создаёт постоянное соединение с сервером типа websocket, задача ставится так, js кидает какие-то параметры на сервер, на севере стартуют скажем 20 независимых потоков, как только один поток отработал, он сразу передаёт данные клиенту и так все потоки поочереди (время исполнения может у них отличаться). Спасибо. 0

@Fart83 321 / 189 / 78 Регистрация: 04.10.2016 Сообщений: 809
	14.05.2021, 19:18	2
	Сообщение от skarden стартуют скажем 20 независимых потоков 20 потоков это так к слову было... может процессов? Сообщение от skarden возможно ли такое на php (или python)? js создаёт постоянное соединение с сервером типа websocket веб сокеты возможно Сообщение от skarden отдавать данные частями биг-дата? 1

@skarden 3 / 3 / 0 Регистрация: 19.11.2010 Сообщений: 148
	14.05.2021, 19:24 [ТС]	3
	Сообщение от Fart83 20 потоков это так к слову было... может процессов? можно и процессов, но лучше потоков goroutines, процесс долго создаётся и регистрируется, а большой нагрузки на CPU вроде не намечается. Сообщение от Fart83 биг-дата? пойдут запросы на парсин различных сайтов, каждый поток отработает в своё время. Передачи большого набора данных не планируется. 0

@Fart83 321 / 189 / 78 Регистрация: 04.10.2016 Сообщений: 809
	14.05.2021, 19:30	4
	Сообщение от skarden но лучше потоков goroutines, речь про го/голанг? Сообщение от skarden пойдут запросы на парсин различных сайтов на php или pyhton делайте запросы и парсите если получите доступ. веб-сокет js зачем тогда нужен? 0

@skarden 3 / 3 / 0 Регистрация: 19.11.2010 Сообщений: 148
	14.05.2021, 19:40 [ТС]	5
	Сообщение от Fart83 речь про го/голанг? ну можно и Go, не принципиально. Задача такая, пользователь на моём сайте нажимет поиск, параметры поиска передаются серверу php/python/go на сервере стартует параллельно парсинг 40 сайтов, по мере прогресса данные передаются асинхронно посетителю сайта. Я конечно мог бы на уровне js передать параллельно 40 параметров одному серверному скрипту через Get запрос например, но я сомневаюсь что мне будет удобно это реализовывать на js. 0

@Para bellum 5753 / 4133 / 1507 Регистрация: 06.01.2011 Сообщений: 11,276
	14.05.2021, 20:09	6
	Сообщение было отмечено skarden как решение Решение Может так как-то: 1) Организуем websocket или SSE. 2) Пользователь отправляет запрос, в очередь пишется задание. 3) На сервере запущен daemon, слушающий очередь. При возникновении задания происходит парсинг и результаты, по мере работы, пишутся куда-либо (или, может быть, как-то между процессами пересылаются). 4) Мониторим, появились ли какие-то данные по этому заданию. Если появились -- отправляем клиенту через SSE. 1

Опции темы

Отдавать данные частями

Решение