Как обойти блокировки IP при регулярном парсинге?

@kca99 · Регистрация: 09.02.2013

Студворк — интернет-сервис помощи студентам

Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip.
С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить ))
Или, возможно, есть готовые платные сервисы?

Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

@Hikari · 07.03.2016, 17:40

А почему ты решил что тебя обязательно будут блокировать?

@kca99 · 07.03.2016, 18:08 **[ТС]**

При наплыве пользователей на мой магазин, будет отправляться множество запросов на сервак магазина-донора. Думаю, что это вопрос времени. Дабы избежать внезапных неприятностей, хочу заранее вооружиться.

@pav1uxa · 08.03.2016, 09:56

Сообщение от kca99

Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip.
С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить ))
Или, возможно, есть готовые платные сервисы?
Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

А Вы понимаете, что это все как минимум... "нехорошо"?

Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас?

Не по теме:

Мне всегда в таких случаях представляется магазинный воришка, который зашел в отделение полиции чтобы спросить, как ему правильнее воровать...

@alexsamos33 · 08.03.2016, 10:53

kca99,
curl_setopt
см. опции CURLOPT_PROXY*

@kca99 · 08.03.2016, 12:45 **[ТС]**

А Вы понимаете, что это все как минимум... "нехорошо"?

Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас?

Вы, уважаемый pav1uxa, на мою совесть не давите. Хотелось бы узнать мнение ОПЫТНЫХ и ЗНАЮЩИХ программистов не с моральной точки зрения, а с технической.

@Jodah · 08.03.2016, 18:27

Сообщение от kca99

Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

Это сайт вашего поставщика? Если так, можно попробовать выпросить у него выгрузку товаров в каком-нибудь удобном виде (csv, xml и т.п.). Обеим сторонам будет выгодно.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@kca99 0 / 0 / 0 Регистрация: 09.02.2013 Сообщений: 46

	Как обойти блокировки IP при регулярном парсинге? 07.03.2016, 17:38. Показов 2825. Ответов 6 Метки нет (Все метки) Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip. С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить )) Или, возможно, есть готовые платные сервисы? Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд) 0

@Hikari Хитрая блондиночка $) 1472 / 988 / 399 Регистрация: 21.12.2015 Сообщений: 3,785
	07.03.2016, 17:40
	А почему ты решил что тебя обязательно будут блокировать? 0

@kca99 0 / 0 / 0 Регистрация: 09.02.2013 Сообщений: 46
	07.03.2016, 18:08 [ТС]
	При наплыве пользователей на мой магазин, будет отправляться множество запросов на сервак магазина-донора. Думаю, что это вопрос времени. Дабы избежать внезапных неприятностей, хочу заранее вооружиться. 0

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	08.03.2016, 10:53
	kca99, curl_setopt см. опции CURLOPT_PROXY* 0