Форум программистов, компьютерный форум, киберфорум
PHP: RegExp
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.88/8: Рейтинг темы: голосов - 8, средняя оценка - 4.88
0 / 0 / 1
Регистрация: 03.06.2013
Сообщений: 62

Многопоточный парсинг

22.06.2017, 15:28. Показов 1611. Ответов 1

Студворк — интернет-сервис помощи студентам
Всем привет, хотелось бы некую помощь или наводку на реализацию. Я проанализировал многопоточность на пыхе, есть варианты такие как форкать на линуксе, мультикурл ну или вовсе использовать планировщик задачь. Форкать я не пробывал так как вламы линуху ставить, мультикурлы только увеличили время обработки парсинга пришол к выводу что это какаета имитация многопоточности. НУ а планировщик задачь и вовсе не принимаю как вариант, ах забыл упомянуть про сокеты но как по мне это хрупкая система которая сыпиться из-за малейшей ошибки. с нетерпением жду вариантов всем спасибо.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
22.06.2017, 15:28
Ответы с готовыми решениями:

Многопоточный curl
С сайта загружаю сонтент с хтмл страниц. Мне нужно загрузить 120 страниц. Ссылки на страницы типа "site.ru/?page=1". Думал через...

Многопоточный парсинг
Надо предположительно раз в неделю делать запросы на 20.000 сайтов, после чего приходящие обработанные данные я заношу в БД. По...

Многопоточный парсинг
Добрый день. Возник следующий вопрос. Необходимо распарсить n-ое кол-во страниц одного сайта. URL отличается только одним параметром по...

1
102 / 93 / 36
Регистрация: 01.04.2013
Сообщений: 654
25.06.2017, 00:02
NodeJS разве что
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
25.06.2017, 00:02
Помогаю со студенческими работами здесь

Почему не работает многопоточный парсинг через webbrowser?
Привет всем. Я честно говоря фигею. Не пойму что происходит и в чем причина . Делаю программу, которая заходит на поиск, вводит запрос,...

Предлагаю потестить процессоры на бенчмарке (многопоточный парсинг файлов)
Всем привет! Предлагаю потестить процессоры на бенчмарке, который показывает скорость процессора в однопотоке/многопотоке при задаче...

Многопоточный WebBrowser
может кто накидать простенький код с примером многопоточного webbrowser'а.допустим чтоб открывал в несколько потоков одну и ту же...

Многопоточный сервер
Понадобилось сделать обработку каждого клиента в отдельном потоке. Вроде нечего сложного, перемещаю созданный класс клиента в отдельный...

Многопоточный парсер
Пытаюсь создать многопоточный парсер, но появилась проблема. Пытался сделать через Thread + делегат и через task, но при использовании: ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm)
8Observer8 30.01.2026
Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru