Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/6: Рейтинг темы: голосов - 6, средняя оценка - 4.67
50 / 40 / 5
Регистрация: 30.06.2010
Сообщений: 1,191

Многопоточный curl

04.06.2014, 00:04. Показов 1207. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
С сайта загружаю сонтент с хтмл страниц. Мне нужно загрузить 120 страниц. Ссылки на страницы типа "site.ru/?page=1". Думал через multi curl грузить, что бы быстрее загружать всё. Поможет ли это ускорить процесс? и как сделать через цикл?
получается если я напишу так(код ниже), то у меня будут по очереди все ch[$i] будут создаваться и выполняться по отдельности?
PHP
1
2
3
4
5
6
7
8
for($i=0;$i<120;$i++)
{
$ch[$i] = curl_init();
...
}
$mh = curl_multi_init();
...
curl_multi_close($mh);
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
04.06.2014, 00:04
Ответы с готовыми решениями:

Как преобразовать обычный CURL парсер в многопоточный
Есть парсер который использует библиотеки CURL и phpQuery. Он парсит данные с с сайта и сохраняет всё с .csv файл. Но проблема в том, что...

Curl not a valid cUrl на windows
Есть такая функция. private function curl_send($url) { ob_start(); $ch = curl_init($url); curl_exec($ch); curl_close($ch); ...

Многопоточный curl зависает
написал по примеру многопоточный курл $urls = array('127.0.0.1:8080','127.0.0.1:8080'); # мне по сути на локал нужно несколько разных...

5
1943 / 1768 / 825
Регистрация: 23.01.2014
Сообщений: 6,230
04.06.2014, 08:45
Цитата Сообщение от ProstoMad Посмотреть сообщение
С сайта загружаю сонтент с хтмл страниц. Мне нужно загрузить 120 страниц
С какой целью?
0
50 / 40 / 5
Регистрация: 30.06.2010
Сообщений: 1,191
05.06.2014, 20:22  [ТС]
pav1uxa, для дальнейшего парсинга.

Не по теме:

да и какая разница то для чего, можно много причин придумать

0
1943 / 1768 / 825
Регистрация: 23.01.2014
Сообщений: 6,230
06.06.2014, 16:45
Цитата Сообщение от ProstoMad Посмотреть сообщение
да и какая разница то для чего, можно много причин придумать
Большая разница. Разрешения автора сайта, с которого вы "загружаете", есть?
0
601 / 569 / 104
Регистрация: 07.11.2010
Сообщений: 2,004
08.06.2014, 11:05
Цитата Сообщение от pav1uxa Посмотреть сообщение
С сайта загружаю сонтент с хтмл страниц. Мне нужно загрузить 120 страниц
не проще по очереди грузить и на крон все это повесить?
0
08.06.2014, 11:24

Не по теме:

Цитата Сообщение от panicwassano Посмотреть сообщение
не проще по очереди грузить и на крон все это повесить?
зачем мой ник туда подставлять :\

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
08.06.2014, 11:24
Помогаю со студенческими работами здесь

Авторизация curl (различие между curl и ajax запросами)
Есть ли различие в передаче данных в json формате через curl и ajax? Я хочу написать запрос, который будет авторизировать пользователя на...

Curl команду превратить в php curl
команда: curl -s -F widget=$WIDGET -F secret=$SECRET -F amouser=$AMOUSER -F amohash=$AMOHASH -F domain=amocrm.ru -F widget=@$file...

Многопоточный парсинг
Надо предположительно раз в неделю делать запросы на 20.000 сайтов, после чего приходящие обработанные данные я заношу в БД. По...

Многопоточный парсер по ftp
Есть удаленный сервер, куда есть коннект по ftp, требуется рекурсивно парсить около (700К) файлов (маска имени, контент файлов итд ). Объем...

Многопоточный парсинг
Всем привет, хотелось бы некую помощь или наводку на реализацию. Я проанализировал многопоточность на пыхе, есть варианты такие как...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru