Доступ к данным сайта, мониторинг

@Стоян · Регистрация: 29.09.2012

Студворк — интернет-сервис помощи студентам

Такая вот проблема: есть некий интернет-сайт на котором находится прайс-лист, прайс отображается по коду определённого товара, то есть отображает только один товар за один запрос. Количество товаров около 45 000, что исключает возможности ручного мониторинга.

Задача: найти способ проверять наличие всех 45 000 товаров.

Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов.

Вопрос: куда копать, может подключать SQL запросы на выбору, или просто подключаться к сайту и автоматом вбивать код в поле. Подскажите способ реализации.

Примечания: возможно я всё усложняю и есть готовые решения, или более простые способы.

@vxg · 13.02.2013, 13:46

Сообщение от g_u_e_s_t

гугл

гугл не тао бао и не орифлейм... но все равно странно.

Добавлено через 9 минут
...может это из-за заоблачной частоты? в том смысле что в этой ситуации гугл защищал сервер как таковой а не данные? забанил на денек пока шторм пройдет.

g_u_e_s_t · 13.02.2013, 15:01

Сообщение от vxg

может это из-за заоблачной частоты?

Вряд ли

это вовсе не "заоблачная частота". Скорее всего дело было в количестве запросов с обрезанными куками (это же tor, там сплошные параноики)

Сообщение от vxg

в том смысле что в этой ситуации гугл защищал сервер как таковой а не данные?

Нет. Если правильно помню, гугл отвечал статической страничкой типа "с вашего ИП адреса слишком много запросов, отдохните минут 10" + одна картинка, т.е. о защите серверов как "железа" речи нет.

@vxg · 13.02.2013, 15:53

значит формат запросов действительно был палевный

Новые блоги и статьи Все статьи Все блоги /
Теория всего 12. ВГК anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .
Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .	История и социология Терры на примере борьбы микориз за пространство. 1. Глоссарий терры. anaschu 21.07.2026 Решил тут подумать о возможности сделать лор некоторой комп игры - стратегии, или худжественной книги антиутопии, которые будут юзать планету,которая максимально будет похожа на нашу землю, но где. . .

@Стоян 3 / 3 / 1 Регистрация: 29.09.2012 Сообщений: 15

	Доступ к данным сайта, мониторинг 07.02.2013, 02:01. Показов 4404. Ответов 42 Метки нет (Все метки) Такая вот проблема: есть некий интернет-сайт на котором находится прайс-лист, прайс отображается по коду определённого товара, то есть отображает только один товар за один запрос. Количество товаров около 45 000, что исключает возможности ручного мониторинга. Задача: найти способ проверять наличие всех 45 000 товаров. Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов. Вопрос: куда копать, может подключать SQL запросы на выбору, или просто подключаться к сайту и автоматом вбивать код в поле. Подскажите способ реализации. Примечания: возможно я всё усложняю и есть готовые решения, или более простые способы. 0

@vxg Модератор 3410 / 2182 / 354 Регистрация: 13.01.2012 Сообщений: 8,469
	13.02.2013, 15:53
	значит формат запросов действительно был палевный 0