|
0 / 0 / 0
Регистрация: 27.04.2012
Сообщений: 26
|
|
Как избежать блокирование парсера сайта?19.08.2013, 14:00. Показов 1073. Ответов 4
Метки нет (Все метки)
Пробовал подставлять прокси, но большинство их у него в ЧС, похоже. Теперь пытаюсь подобрать задержку между отправкой запросов, т.к. важно не время, а результат. Подскажите пожалуйста, сколько примерно запросов в минуту можно отправлять, не опасаясь бана?
0
|
|
(| 19.08.2013, 14:00 | |
|
Ответы с готовыми решениями:
4
Настройка сайта на блокирование несуществующих URL
Написание парсера для сайта, структура которого подгружается javascript |
136 / 138 / 18
Регистрация: 26.07.2010
Сообщений: 911
|
|
| 19.08.2013, 14:08 | |
|
А вы точно уверены, что вас блокирует сайт?
Может быть вы просто соединение не разорвали от предыдущего запроса?
0
|
|
|
0 / 0 / 0
Регистрация: 27.04.2012
Сообщений: 26
|
||
| 19.08.2013, 16:53 [ТС] | ||
0
|
||
Сообщение от n1l
|
14 / 14 / 9
Регистрация: 22.11.2012
Сообщений: 62
|
||
| 19.08.2013, 16:59 | ||
 Сообщение было отмечено tezaurismosis как решение
Решение
И еще меняйте юзерагента. Даже если с разных ip вы будете делать запрос с одними и теме же параметрами(юзерагент, раскладка и т.д.) Сайт быстро забанит за возможную ddos атаку
0
|
||
|
0 / 0 / 0
Регистрация: 27.04.2012
Сообщений: 26
|
||
| 19.08.2013, 17:19 [ТС] | ||
0
|
||
| 19.08.2013, 17:19 | |
|
Помогаю со студенческими работами здесь
5
Как сделать блокирование одной клавиши? Google reCAPTCHA как защита от парсера Не понятно как работает код парсера Как изменить поведение GSON парсера? Как исправить ошибку в коде RSS-парсера Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение:
В этой книге («Подход, основанный на вариантах использования») Ивар утверждает,
что архитектура программного обеспечения — это
структуры,. . .
|
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога
Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
|
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога
Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip
На первой гифке отладочные линии отключены, а на второй включены:. . .
|
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога
Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем.
. . .
|
|
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
|
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
|
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
|
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога
Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
|