Доступ к данным сайта, мониторинг

Такая вот проблема: есть некий интернет-сайт на котором находится прайс-лист, прайс отображается по коду определённого товара, то есть отображает только один товар за один запрос. Количество товаров около 45 000, что исключает возможности ручного мониторинга.

Задача: найти способ проверять наличие всех 45 000 товаров.

Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов.

Вопрос: куда копать, может подключать SQL запросы на выбору, или просто подключаться к сайту и автоматом вбивать код в поле. Подскажите способ реализации.

Примечания: возможно я всё усложняю и есть готовые решения, или более простые способы.

0

1. поискать по сайту нет ли так какого-нибудь инструмента который дал бы вам то что вы хотите
2. позвонить владельцам и предложить дружить - если вы будите показывать другим людям их товар - это в их интересах
3. послать запрос установленной формы, получить ответ, вычитать из него интересующее. можно сделать это даже "вручную"

0

Сообщение от vxg 1. поискать по сайту нет ли так какого-нибудь инструмента который дал бы вам то что вы хотите

Нет, такой функции нет. К сожалению.

Сообщение от vxg 2. позвонить владельцам и предложить дружить - если вы будите показывать другим людям их товар - это в их интересах

Дружить они хотят, но не хотят что бы их мониторили.

Сообщение от vxg 3. послать запрос установленной формы, получить ответ, вычитать из него интересующее. можно сделать это даже "вручную"

Можно конечно, но сидеть и вручную посылать 45 000 запросов, как-то не айс

0

вручную в кавычках. ессно это сделает прога

0

Без переделки сайта - никак. Конечно можно написать прогу и попробовать удаленно подключиться к удаленной БД, но не уверен что получиться и это будет непросто.
Самый надежный вариант написать на РНР скрипт который будет сравнивать две базы и добавлять недостающие позиции или удалять старые.
Где - то так...

0

Сообщение от Стоян подключаться к сайту и автоматом вбивать код в поле.

Ну да...посылать POST -запрос ( или что там у них) получать страницу как ответ парсить её что бы проверить успешность...

Основная задача - понять как строить запрос по товару.

Естественно это будет долго с таким количеством запросов ведь каждый раз по сети получаем весь html код страницы и незначительное кол-во полезной инфы

0

Сообщение от Avazart Ну да...посылать POST -запрос ( или что там у них) получать страницу как ответ парсить её что бы проверить успешность... Основная задача - понять как строить запрос по товару. Естественно это будет долго с таким количеством запросов ведь каждый раз по сети получаем весь html код страницы и незначительное кол-во полезной инфы

Это все работает совершенно не так... GET и POST запросы экранированы таким макаром что связь с бд осуществляется строго по программе на стороне сервера и все запросы обрабатываются и если в них есть малейшее несоответствие условиям запрос к сайту будет "выброшен"(в случае написания сайта с нормальным скриптом) в некоторых (редких) случаях (код следит за пользователями) пользователь отправлявший подобные запросы попросту будет забанен. В основном большинстве сайты сделаны на PHP + MySql (MyIsam) возможны подключения технологий хеширования данных. Вышеописанный мной вариант (на РНР) должен выполняться исключительно на стороне сервера.
Если писать прогу С++ на клиенте нужно подключаться непосредственно к строго определенной базе данных, при этом нужно знать сервер, логин, пароль, параметры доступа к серверу MySql... Когда-то пытался сделать админку для сайтов подобного типа правда только на Java, но тут трабл в том что архитектура баз данных может быть совершенно разной. Универсального решения - нет((( Но в этом случае только - так...

0

Какая разница ?

Клиент общается с сервером через Web т.е HTTP, а значит запросы можно иммитировать ... и повиГ что там и как внутри...

Есть ли защита на сервере другой вопрос и стоит ли её пытаться обходить другой вопрос.
Уж сильно накладно следить серверу за каждым клиентом значит обойти реально...

Добавлено через 43 секунды

Сообщение от Programmer_ Вышеописанный мной вариант (на РНР) должен выполняться исключительно на стороне сервера.

Как я понял такой вариант просто недоступен...

0

Я ну буду устраивать тут лекции по веб программированию, в данном случае это бессмыслено... но - нет это не так... Защита на самом сервере - это само-собой... Защита на самом сайте - это то о чем я говорю. Сайт нынче - это не набор HTML страниц (как иногда кажется из адреса, скажем "http://mysite.ua/main.html" - это результат работы парсера URL/URI или Apache (Rewrite rule) в смеси с парсером) - это отдельная программа выполняемая как на стороне сервера (PHP, Perl, cgi скрипты[оч редко]) так и на стороне клиента (JavaScript, Java [Applets]) или совместные взаимодействие JavaScript[Ajax OR Json] заросы ->PHP, cgi, Perl...->Ajax || Json || PHP answer -> вывод в соотв. с запросом по установленной программе, и многое - многое другое и т.п. и т.д....
По HTTP ты получишь просто страницу, которая кста тоже может динамически меняться и что дальше? Как ты будешь ее менять?? На всяческие левые запросы HTTP ты получишь ответ - ERROR 404: page not found - в лучшем случае, если запросы в цикле и хороший скрипт сайта с хорошей защитой - БАН по сигнатуре!!! или Ddos attack detected from you IP... от серверов...
Для решения задачи автора необходимо получить доступ к хранилищу информации сайта - База данных (сервер баз данных) либо файлы сайта FTP...

0

Сообщение от Programmer_ JavaScript[Ajax OR Json]

Ну я такое делал кодом С++ имитировал JS скрипт с Ajax который выполняет какое то хитрое шифрование вроде RSA и что ?
Вопрос тут только целесобразности и затраченном времени на разгадку ...

0

Сообщение от Programmer_ и что дальше

и вынет с нее данные. если запрос построен правильно и не обвешан всякими UID и авторизациями никто никто не прочухает. правда когда таких запросов придет 45 000....

0

Почитай вопрос автора темы. Потом свой ответ...Может потом дойдет...

0

Сообщение от vxg и не обвешан всякими UID и авторизациями никто никто не прочухает. правда когда таких запросов придет 45 000....

Это то и стрЁмно особенно если интервал между запросами буде мал, то реальное палЕво...
Если велик то обрабатываться будет долго-долго что делает решение нерациональным.

0

Задача: найти способ проверять наличие всех 45 000 товаров.

Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов.

А как обновить БД??? При всех ваших вариантах даже самый элементарный PHP скрипт пошлет ваши запросы НАХ леб намазать и долго жевать... В том же месте с которого солнца не видно

0

Сообщение от Programmer_ Почитай вопрос автора темы. Потом свой ответ...Может потом дойдет...

почитай вопрос автора темы. почитай свою лекцию. думаю не дойдет.

0

Сообщение от Programmer_ А как обновить БД??? При всех ваших вариантах даже самый элементарный PHP скрипт пошлет ваши запросы НАХ леб намазать и долго жевать... В том же месте с которого солнца не видно

PHP никуда не денется по тому как все сводится к протоколу НТТP а не к тому что там PHP или чет другое.

Есть конечно HTTPs но это лишь только усложняет задачу, а не делает её невозможной.

Опять же все зависит от сервера и предъявляемых требований к времени опроса.

0

Сообщение от Avazart PHP никуда не денется по тому как все сводится к протоколу НТТP а не к тому что там PHP или чет другое

Мда.... Клинический случай...
Говорили слепой с глухим...

0

Сообщение от Programmer_ Мда.... Клинический случай...

Клинический случай - не знание того что все сводится к сетевому протоколу а не языку на котором написаны программы...

Тут не о чем говорить нужно видеть сайт и смотреть запросы...

0

Я говорю о работе с базами данных, а вы о HTTP.... Который к поставленной задаче имеет то же отношение что абореген к разработке Айфона...
Не знание принципов работы сетевых протоколов не освобождает от ответственности))

0

Сообщение от Стоян Идея: создать локальную базу данных,

Хватит тыкать сами тему внимательно прочитайте ... а то и бревна...
Об БД и речи не было, кроме как этого контекста...

0