С Новым годом! Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/4: Рейтинг темы: голосов - 4, средняя оценка - 5.00
0 / 0 / 0
Регистрация: 08.12.2014
Сообщений: 37

Парсер с использованием CURL

17.03.2016, 19:41. Показов 890. Ответов 4
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте, столкнулся с вопросом. Пытаюсь парсить сайт с помощью CURL. Вот так описываю подключение:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
$matches = array();
            $url = $arr[$count_link][0][0][0];
            curl_setopt($ch, CURLOPT_URL, $arr[$count_link][0][0][0]);
            curl_setopt($ch, CURLOPT_USERAGENT, getRandomUserAgent());
            curl_setopt($ch, CURLOPT_TIMEOUT, 60);
            curl_setopt($ch, CURLOPT_PROXY, $ip.':'.$port); 
            curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
            curl_setopt($ch, CURLOPT_FAILONERROR, 1);
            curl_setopt($ch, CURLOPT_HEADER, 0);
            curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
            curl_setopt($ch, CURLOPT_POST, 0);
 
            $data_url = curl_exec($ch);
в статистике сайта, который я парсить пытаюсь - будет ли указано мое присутсвие?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
17.03.2016, 19:41
Ответы с готовыми решениями:

Парсер контента на curl
Здравствуйте, написал простенький скрипт получения страницы, но он не работает подскажите почему <?php $url =...

Парсер на CURL. Пустой запрос от сервера
Здравствуйте. Помогите, пожалуйста, решить такую проблему. Есть парсер, данные получает при помощи CURL. Обрабатывает 39 запросов нормально...

Парсер на CURL и ошибка Network Error (tcp_error)
Здравствуйте. Пишу парсер, данные получаются через CURL. Когда запускаю на локальном компьютере - всё хорошо работает, все данные...

4
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,904
17.03.2016, 21:14
Вы отправляете обычный http запрос, поэтому да, в статистике вы будете указаны.

Хотя если статистика реализована на JS, то нет.
0
0 / 0 / 0
Регистрация: 08.12.2014
Сообщений: 37
17.03.2016, 21:17  [ТС]
а можно как-то сделать, чтобы время пребывания было продлено не отправляя при этом повторых запросов к странице?
0
Эксперт PHP
3899 / 3237 / 1353
Регистрация: 01.08.2012
Сообщений: 10,904
18.03.2016, 10:04
Xme1ez, не понял, о чём вы?
0
0 / 0 / 0
Регистрация: 08.12.2014
Сообщений: 37
21.03.2016, 23:25  [ТС]
как-то можно проверить, сколько времени пользователь пребывал на сайте?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
21.03.2016, 23:25
Помогаю со студенческими работами здесь

Парсер на php. Настройки cURL
Здравствуйте! Разрабатываю парсер на php, идея в том, чтобы сделать его более менее универсальным. Т.е. через конфиг передавать настройки...

Парсер на PHP с cURL если сайт недоступен
В шапке сайта у меня выводится информация, которая curl'ом берется с другого сайта (назовём его "сайт-донор"). А вчера заметила...

Как преобразовать обычный CURL парсер в многопоточный
Есть парсер который использует библиотеки CURL и phpQuery. Он парсит данные с с сайта и сохраняет всё с .csv файл. Но проблема в том, что...

Парсер на curl: найти все ссылки на странице
Всем привет. Столкнулась с проблемой написания парсера. Что нужно. Получить страницу, это получилось, теперь нужно найти все ссылки...

Не записываются cookie с использованием curl
Здравствуйте! Я пытаюсь получить страницу с использованием CURL - результатом была страница с формой соглашения для установки куки. ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru