|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
||||||
Curl не до конца парсит14.08.2013, 21:25. Показов 2716. Ответов 10
Метки нет (Все метки)
Добрый день, помогите пожалуйста, есть вот такой код:
0
|
||||||
| 14.08.2013, 21:25 | |
|
Ответы с готовыми решениями:
10
Curl не парсит ASCII
Не парсит до конца |
|
122 / 120 / 7
Регистрация: 21.04.2013
Сообщений: 615
|
||
| 14.08.2013, 21:51 | ||
|
curl вообще никому никогда не парсит, но посмотрите эти параметры:
1
|
||
|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
|
| 14.08.2013, 21:53 [ТС] | |
|
а если поставить больше таймаут ? хотя это не выход.
0
|
|
|
122 / 120 / 7
Регистрация: 21.04.2013
Сообщений: 615
|
||
| 14.08.2013, 21:58 | ||
|
0
|
||
|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
|
| 17.08.2013, 17:11 [ТС] | |
|
выставил больше таймаут, но все равно та же проблема, когда перезагружаю страницу оно то парсить со всех ссылок, то только с некоторых.
0
|
|
| 17.08.2013, 18:30 | |
|
ну а вы как думаете? это же сеть, тут могут быть сетевые ошибки. некоторые сайты иногда оказываются недоступными, некоторые могут вас вообще скинуть, из-за кривого реферера или каких-то других заголовков (не все любят, когда их парсят боты).
Следите за ошибками -- необходимо переотправлять неудачные запросы, например. или показывать/логировать, на каких конкретно ссылках провалилось, и вручную делать такие же запросы и выяснять почему так. пс. используйте curl_multi-функции. в вашем случае оно будет отрабатывать в сотни раз быстрее (наврядли вы или ваш сервер на диалапе сидите).
0
|
|
|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
|
| 17.08.2013, 18:48 [ТС] | |
|
в поддержке хостинга мне написали что у меня много отказов по файловым дескрипторам, и из за этого может не работать мой скрипт, хотя я смотрел статистику и за последние три дня у меня не было отказов вообще.
0
|
|
| 17.08.2013, 18:52 | |||
|
это лишь доказывает что проблема в сетевых ошибках
0
|
|||
|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
|
| 17.08.2013, 18:58 [ТС] | |
|
а сетевые ошибки это может быть что при подключении к 10 страницам сразу, некоторые страницы скрипт не успевает загрузить и поэтому ничего не выводит ?
0
|
|
|
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 401
|
|
| 17.08.2013, 19:19 [ТС] | |
|
что то мне не выводит никаких ошибок даже когда скрипт не работает.
Добавлено через 5 минут пробовал только что через file_get_contents, и получил тот же результат.
0
|
|
| 17.08.2013, 19:19 | |
|
Помогаю со студенческими работами здесь
11
BeautifulSoup не парсит страницу до конца Парсит нужный текст не до конца cURL в цикле. Не до конца выполняется цикл
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
YAFU@home — распределённые вычисления для математики. На CPU
Programma_Boinc 20.01.2026
YAFU@home — распределённые вычисления для математики. На CPU
YAFU@home — это BOINC-проект, который занимается факторизацией больших чисел и исследованием aliquot-последовательностей.
Звучит. . .
|
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам
Кирхгофа, решает её и находит:
токи, напряжения и их 1 и 2 производные при t = 0;. . .
|
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|