Технологии написания сайта/сервиса на php для парсинга сайтов

@kunotna · Регистрация: 31.03.2011

Студворк — интернет-сервис помощи студентам

Сразу вопрос: с помощью каких технологий можно реализовать пункты описанные ниже? Я начитался в интернетах о pthreads, ajax, comet, web sockets, но в голове полная каша. Может кто знает как реализуются такие или подобные сайты/сервисы. Интересует именно с использованием php.

Есть например веб-сайт в виде парсера на php. На странице есть список сайтов которые можно парсить. Сайты скачиваются скриптом с помощью multi_curl. Нужно чтобы можно было выполнять следующие действия:

Запускаем парсить первый сайт (например он парситься примерно 10мин) в несколько потоков (думаю с потоками multi_curl сам разберется)
В процессе парсинга в режиме реального времени на страницу приходят уведомления про ссылки которые уже скачались, сколько еще осталось, другая инфа… То есть наверно нужно держать постоянное соединение.
Пока идет процесс парсинга, мы можем делать на сайте другие действия (открывать настройки, создавать другие парсеры…)
Можем запустить парсить еще один сайт, при этом это никак не должно влиять на парсинг первого сайта. Можем запустить парсить третий сайт, четвертый …
Если закроем а позже откроем вкладку то запущенные процессы не должны никуда пропасть и все сообщения должны пидгрузитись снова (думаю кроме уведомлений в реальном времени их нужно записывать и в бд чтобы ничего не пропало)

@Эксперт · 27.08.2014, 19:49

По-моему вы и так выделили нужные вам пункты и раз вы столько читали, то почему бы не реализовать? За вас тут никто это не сделает, но если по ходу вашей работы будут возникать вопросы, то на них уже можно ответить

Новые блоги и статьи Все статьи Все блоги /
WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Old Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .

@kunotna 1 / 1 / 0 Регистрация: 31.03.2011 Сообщений: 9

	Технологии написания сайта/сервиса на php для парсинга сайтов 27.08.2014, 19:14. Показов 1250. Ответов 1 Метки нет (Все метки) Сразу вопрос: с помощью каких технологий можно реализовать пункты описанные ниже? Я начитался в интернетах о pthreads, ajax, comet, web sockets, но в голове полная каша. Может кто знает как реализуются такие или подобные сайты/сервисы. Интересует именно с использованием php. Есть например веб-сайт в виде парсера на php. На странице есть список сайтов которые можно парсить. Сайты скачиваются скриптом с помощью multi_curl. Нужно чтобы можно было выполнять следующие действия: Запускаем парсить первый сайт (например он парситься примерно 10мин) в несколько потоков (думаю с потоками multi_curl сам разберется) В процессе парсинга в режиме реального времени на страницу приходят уведомления про ссылки которые уже скачались, сколько еще осталось, другая инфа… То есть наверно нужно держать постоянное соединение. Пока идет процесс парсинга, мы можем делать на сайте другие действия (открывать настройки, создавать другие парсеры…) Можем запустить парсить еще один сайт, при этом это никак не должно влиять на парсинг первого сайта. Можем запустить парсить третий сайт, четвертый … Если закроем а позже откроем вкладку то запущенные процессы не должны никуда пропасть и все сообщения должны пидгрузитись снова (думаю кроме уведомлений в реальном времени их нужно записывать и в бд чтобы ничего не пропало) 0

@Эксперт 9 / 9 / 8 Регистрация: 09.01.2012 Сообщений: 70
	27.08.2014, 19:49
	По-моему вы и так выделили нужные вам пункты и раз вы столько читали, то почему бы не реализовать? За вас тут никто это не сделает, но если по ходу вашей работы будут возникать вопросы, то на них уже можно ответить 0