|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
||||||
Криво работает RollingCurl28.08.2018, 21:20. Показов 1289. Ответов 9
Метки нет (Все метки)
привет, народ!
Есть проблема конкретно с RollingCurl, в гугле нет ничего такого, на форуме не нашел тоже, поэтому решил спросить, может кто поможет разобраться. есть массив $array, в котором где-то 60 тысяч ссылок, с которых надо получить html. есть вот эта библиотека RollingCurl - https://github.com/chuyskywalker/rolling-curl парсю вот таким способом (пример взят оттуда же откуда и библиотека):
проблема в том, что он парсит только 778 ссылок. Даже если одну добавлю - нет результата. Помогите разобраться в чем может быть дело?
0
|
||||||
| 28.08.2018, 21:20 | |
|
Ответы с готовыми решениями:
9
Оверлеи и всякие pop-up окна не дают получить HTML через file_get_content или RollingCurl Криво работает форма с капчей Криво работает код обработки текста |
|
14 / 60 / 21
Регистрация: 15.06.2017
Сообщений: 572
|
||
| 28.08.2018, 21:46 | ||
|
Добавлено через 1 минуту не задумывались сколько времени будет выполнятся чтение 60000 страниц?
0
|
||
|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
|
| 29.08.2018, 09:03 [ТС] | |
|
otto-fukin, то есть я всего лишь рано смотрю результат?)) или что?
Добавлено через 11 часов 15 минут otto-fukin, то есть 778 страниц получает за 2 минуты, а уже 779 даже за сутки осилить не может? о 60 000 даже пока и думать не приходится))
0
|
|
|
5755 / 4134 / 1508
Регистрация: 06.01.2011
Сообщений: 11,276
|
|
| 29.08.2018, 09:55 | |
|
coolio, впечатление, что что-то не то в скрипте. Посмотрите тут о параллельных запросах:
https://rmcreative.ru/blog/post/rolling-curl Судя по 20 строке и далее, сначала происходит накапливание данных, а потом их обработка. Велика вероятность, что память забивается и процесс умирает. Добавлено через 1 минуту И ещё: Вы через консоль запускаете, надеюсь?
0
|
|
|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
|||||||||||
| 29.08.2018, 11:14 [ТС] | |||||||||||
|
Para bellum, да, как я понял, накапливает, после того как он их обрабатывает, он их очищает. Может быть он не успевает очищать...
вот эта строка:
Добавлено через 3 минуты Para bellum, кстати, здесь же, в источнике (https://github.com/chuyskywalker/rolling-curl) есть другой пример. Там в примере считываются первые 500 страниц из результата запроса в гугл. Так вот, та же самая строка
0
|
|||||||||||
|
14 / 60 / 21
Регистрация: 15.06.2017
Сообщений: 572
|
||
| 29.08.2018, 19:20 | ||
|
0
|
||
|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
|
| 30.08.2018, 07:34 [ТС] | |
|
otto-fukin, результат же в базу записывается. То есть вот так происходит: когда в массиве всего 778 страниц - то всё норм, в базе оказываются все. Как только добавляю еще одну - база пустая
Добавлено через 1 час 17 минут и вот еще какая штука - когда я запускаю у себя на компе - всё норм работает, всё получает. А когда закидываю на сервер на хостинге, в вордпресс - вот тогда это всё и начинается
0
|
|
|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
||||||
| 01.09.2018, 10:28 [ТС] | ||||||
|
нашел в другом примере еще такие две строчки:
0
|
||||||
|
14 / 60 / 21
Регистрация: 15.06.2017
Сообщений: 572
|
||
| 02.09.2018, 17:28 | ||
|
Плюс вашему хостеру так-же может не понравиться такая ваша внешняя активность.
0
|
||
|
0 / 0 / 1
Регистрация: 23.09.2016
Сообщений: 51
|
|
| 05.09.2018, 14:18 [ТС] | |
|
otto-fukin, ну, то, что не деза - это 100% - то есть я же вижу, что он получает именно то, что нужно. Сайт там не один, их 60 к каждому всего по 10-13 запросов успевает сделать, причем, внутри класса RollingCurl вроде бы максимальное количество одновременных запросов - 5.
Когда к тем же сайтам со своего компа запускаю скрипт - он получает всё, абсолютно всё, всё работает, только дольше. А вот насчет хостера - вот здесь это действительно может быть так и есть, спасибо за мысль
0
|
|
| 05.09.2018, 14:18 | |
|
Помогаю со студенческими работами здесь
10
Почему криво работает sql запрос show databases? Криво работает форма отправки сообщения
Криво работает do while Криво работает youtube.ru Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога
SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
|
влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
|
|
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога
SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
|
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога
Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip"
Извлеките архив и вы увидите. . .
|
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д.
Сборка примера
Скачайте. . .
|
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
|