Как обойти блокировки IP при регулярном парсинге?

@kca99 · Регистрация: 09.02.2013

Author24 — интернет-сервис помощи студентам

Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip.
С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить ))
Или, возможно, есть готовые платные сервисы?

Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

@Hikari · 07.03.2016, 17:40

А почему ты решил что тебя обязательно будут блокировать?

@kca99 · 07.03.2016, 18:08 **[ТС]**

При наплыве пользователей на мой магазин, будет отправляться множество запросов на сервак магазина-донора. Думаю, что это вопрос времени. Дабы избежать внезапных неприятностей, хочу заранее вооружиться.

@pav1uxa · 08.03.2016, 09:56

Сообщение от kca99

Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip.
С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить ))
Или, возможно, есть готовые платные сервисы?
Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

А Вы понимаете, что это все как минимум... "нехорошо"?

Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас?

Не по теме:

Мне всегда в таких случаях представляется магазинный воришка, который зашел в отделение полиции чтобы спросить, как ему правильнее воровать...

@alexsamos33 · 08.03.2016, 10:53

kca99,
curl_setopt
см. опции CURLOPT_PROXY*

@kca99 · 08.03.2016, 12:45 **[ТС]**

А Вы понимаете, что это все как минимум... "нехорошо"?

Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас?

Вы, уважаемый pav1uxa, на мою совесть не давите. Хотелось бы узнать мнение ОПЫТНЫХ и ЗНАЮЩИХ программистов не с моральной точки зрения, а с технической.

@Jodah · 08.03.2016, 18:27

Сообщение от kca99

Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд)

Это сайт вашего поставщика? Если так, можно попробовать выпросить у него выгрузку товаров в каком-нибудь удобном виде (csv, xml и т.п.). Обеим сторонам будет выгодно.

@kca99 0 / 0 / 0 Регистрация: 09.02.2013 Сообщений: 35
		1
	Как обойти блокировки IP при регулярном парсинге? 07.03.2016, 17:38. Показов 2445. Ответов 6 Метки нет (Все метки) Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip. С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить )) Или, возможно, есть готовые платные сервисы? Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд) 0

@Hikari Хитрая блондиночка $) 1472 / 988 / 399 Регистрация: 21.12.2015 Сообщений: 3,785
	07.03.2016, 17:40	2
	А почему ты решил что тебя обязательно будут блокировать? 0

@kca99 0 / 0 / 0 Регистрация: 09.02.2013 Сообщений: 35
	07.03.2016, 18:08 [ТС]	3
	При наплыве пользователей на мой магазин, будет отправляться множество запросов на сервак магазина-донора. Думаю, что это вопрос времени. Дабы избежать внезапных неприятностей, хочу заранее вооружиться. 0

@pav1uxa 1943 / 1768 / 825 Регистрация: 23.01.2014 Сообщений: 6,230
	08.03.2016, 09:56	4
	Сообщение от kca99 Собираюсь регулярно парсить товары из крупного интернет магазина. Мне посоветовали использовать прокси сервера для возможных блокировок ip. С прокси никогда раньше не сталкивался. Подскажите, с чего начать и чем продолжить )) Или, возможно, есть готовые платные сервисы? Свою базу товаров намерено не хочу создавать. Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд) А Вы понимаете, что это все как минимум... "нехорошо"? Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас? Не по теме: Мне всегда в таких случаях представляется магазинный воришка, который зашел в отделение полиции чтобы спросить, как ему правильнее воровать... 0

@alexsamos33 669 / 640 / 335 Регистрация: 26.04.2014 Сообщений: 2,122
	08.03.2016, 10:53	5
	kca99, curl_setopt см. опции CURLOPT_PROXY* 0

@kca99 0 / 0 / 0 Регистрация: 09.02.2013 Сообщений: 35
	08.03.2016, 12:45 [ТС]	6
	А Вы понимаете, что это все как минимум... "нехорошо"? Вы буквально воруете контент с чужого сайта, причем в автоматическом режиме, еще и спрашиваете на форуме как это сделать так, чтобы обойти защиту от Вас? Вы, уважаемый pav1uxa, на мою совесть не давите. Хотелось бы узнать мнение ОПЫТНЫХ и ЗНАЮЩИХ программистов не с моральной точки зрения, а с технической. 0

@Jodah 3851 / 3196 / 1343 Регистрация: 01.08.2012 Сообщений: 10,820
	08.03.2016, 18:27	7
	Сообщение от kca99 Хочу получать постоянно актуальную информацию (кол-во, акции, скидки и тд) Это сайт вашего поставщика? Если так, можно попробовать выпросить у него выгрузку товаров в каком-нибудь удобном виде (csv, xml и т.п.). Обеим сторонам будет выгодно. 0