Форум программистов, компьютерный форум, киберфорум
C++: Сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.59/22: Рейтинг темы: голосов - 22, средняя оценка - 4.59
3 / 3 / 1
Регистрация: 29.09.2012
Сообщений: 15

Доступ к данным сайта, мониторинг

07.02.2013, 02:01. Показов 4591. Ответов 42
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Такая вот проблема: есть некий интернет-сайт на котором находится прайс-лист, прайс отображается по коду определённого товара, то есть отображает только один товар за один запрос. Количество товаров около 45 000, что исключает возможности ручного мониторинга.

Задача: найти способ проверять наличие всех 45 000 товаров.

Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов.

Вопрос: куда копать, может подключать SQL запросы на выбору, или просто подключаться к сайту и автоматом вбивать код в поле. Подскажите способ реализации.

Примечания: возможно я всё усложняю и есть готовые решения, или более простые способы.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
07.02.2013, 02:01
Ответы с готовыми решениями:

Доступ к данным сайта через XML
Доброго времени суток, уважаемые пользователи. Прошу помощи, советов в таком вопросе: стала передо мною такая задача, подгрузить на...

Есть ли возможность контролировать доступ флэшкам у которых есть доступ к данным через Security.allowDomain()
Есть задача: Локальная флэшка на компьютере работает и доступа для правки к ней не имею . Любая флэшка запущенная в браузере, с...

C# доступ к данным
Я хочу написать код на C# для доступа к базе данных(sql) и напечатать базу на экране... дайте советы пожалуйста помогите ya xochu...

42
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 22:54
Студворк — интернет-сервис помощи студентам
Цитата Сообщение от Стоян Посмотреть сообщение
создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов
Большинство сайтов, а тем более интернет магазинов, выводят весь контент из базы данных (БД). ТОбиш чтобы проверить наличие и соответствие товаров нужно обновление БД сайта в соответствии с БД (насколько я понял) поставщика...
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 22:56
БД локальная.... что тут непонятно?

На своей стороне можно чудить что хочешь ... главное с сервера данные получить...

То что обновляться база будет хз сколько другой вопрос...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 22:57
А на сайт ее, сравнить с существующей и исправить??
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 22:59
Цитата Сообщение от Programmer_ Посмотреть сообщение
А на сайт ее, сравнить с существующей и исправить??
Ну да... но это уже у ТС уточнять это его "идея"
Цитата Сообщение от Стоян Посмотреть сообщение
Идея: создать локальную базу данных, ...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 23:10
Вот и пришел - консенсус))
А что касается HTTP, и/или серверных языков в частности PHP такие трюки не пройдут. Это почти тот же С++ только для веб программирования, и если я пропишу что пользователь совершает некорректные запросы или запросы с частотой более 1-го в секунду можно этакого убить в контексте определенного веб ресурса и доступ к страницам ты получишь только в том случае если взломаешь сервер баз данных хостера...
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 23:16
Цитата Сообщение от Programmer_ Посмотреть сообщение
Это почти тот же С++ только для веб программирования,
Звучит смешно
Цитата Сообщение от Programmer_ Посмотреть сообщение
некорректные запросы или запросы с частотой более 1-го в секунду можно этакого убить в контексте определенного веб ресурса
Про частоту запросов я уже писал выше...

Добавлено через 3 минуты
45 000 секунд = 12,5 часов что подозреваю не приемлемо
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 23:20
Цитата Сообщение от Avazart Посмотреть сообщение
Звучит смешно
Я утрировано... Но несмотря на скептичность - это весьма мощный язык и мощное средство по сравнению со старыми его версиями))) Так что скептики и смешного тут уже я не вижу. Полноценная серверная программа кто-бы и как бы не старался обойти (если грамотно написана) - нереально.
Что касается часто ты запросов твоих постов в этой теме не читал, мож упустил....Не знаю. Но есть множество аппаратных средств которые позволяют сделать сайты милионники на PHP без особых проблем
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 23:24
Смешно сравнимать компилируемый и интерпретируемые языки... тем более что контексты нереально разные...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 23:29
Цитата Сообщение от Avazart Посмотреть сообщение
45 000 секунд = 12,5 часов что подозреваю не приемлемо
При чем здесь 45 000 секунд??? По моему ты не имеешь ни малейшего понятия о HTTP TCP/IP SNMP Ddns SQL...
Обновление БД в 45 000 позиций нормально написанный РНР скрипт займет от 3-х до 10 - ти секунд...

Добавлено через 2 минуты
Цитата Сообщение от Avazart Посмотреть сообщение
Смешно сравнимать компилируемый и интерпретируемые языки... тем более что контексты нереально разные...
Я ж написал - "Утрировано" a Java как же?? В некоторых случаях он быстрее??)))
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 23:32
При том что я условно взял этот интервал ибо сомневаюсь что пользователь может делать обновление в браузере чаще 1с а значит и "блокировка" может быть настроена на такое время.
( но стоит заметить что путешествие пакетов по сети может занимать разное время )

Добавлено через 1 минуту
Цитата Сообщение от Programmer_ Посмотреть сообщение
Я ж написал - "Утрировано" a Java как же?? В некоторых случаях он быстрее??)))
Ну не знаю, знаю только что медленен и очень проЖорлив ... но зато кросс...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 23:38
Цитата Сообщение от Avazart Посмотреть сообщение
При том что я условно взял этот интервал ибо сомневаюсь что пользователь может делать обновление в браузере чаще 1с а значит и "блокировка" может быть настроена на такое время.
( но стоит заметить что путешествие пакетов по сети может занимать разное время )
Это так же работает совсем по другому... Когда я говорил что "запросы с частотой не более 1-го в секунду" я имел в виду некорректные запросы или прямые запросы к GET параметру от каждого единого пользователя. ТОесть 1000000 пользователей может делать сколько угодно запросов в секунду и это будет нормально обрабатываться и выдаваться, но если один и тот же делает более одного директивного или неверного запроса за ед. времени = предупреждение, бан и т.п.
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
12.02.2013, 23:40
IP то один ...

Раньше...
Цитата Сообщение от Avazart Посмотреть сообщение
Это то и стрЁмно особенно если интервал между запросами буде мал, то реальное палЕво...
Если велик то обрабатываться будет долго-долго что делает решение нерациональным.
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
12.02.2013, 23:56
Цитата Сообщение от Avazart Посмотреть сообщение
IP то один
палЕво...
Все зависит от сервера на котором... Прога на С++ на 1000000 юзверей так же будет работать не так уж быстро...
Что касается IP то с одной стороны обрадую - реальный IP отследить сложнее чем поздравить настоящего деда мороза с новым годом летом... Учитывая кол-во, серверов, роутеров, брандмауеров и т.п. Но тут есть другая фигня... Я в своих сайтах основываюсь на мас - адрес по маркеру на юсере тут почти 100% гарантия)) И поменять физический адрес
(код в микрухе стевой карты) не так уж просто)))
0
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.02.2013, 00:01
Все можно... сайты по определению IP ведь отслеживают хоть и приблизительно...

От сайта зависит... помню бодался с одним сервером - пока не выяснил что он банил по браузеру (полю user agent ) что реально не проблема менять...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
13.02.2013, 00:14
Есть такое... IP в лучшем случае твой внешний (зачастую динамический) + сигнатура твоего браузера+иногда Ось... Тупо... Вот почему я беру чисто МАС юзверя))
Кста чисто для эксперимента написал скрипт который при помощи Simple Network Management Protocol отслеживал юзера от веб сервера до его сети и параметров всего, через все устройства веб соединения (в т.ч. DNS-серверы, роутеры, брандмауеры ...) но поставщики услуг прислали мне писмецо что по законам подобное является хакерством))) Обидно за потраченный ресурс мозга)))
Но таким макаром действительно можно по цепочке найти всех и вся)))
1
Эксперт С++
 Аватар для Avazart
8489 / 6156 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
13.02.2013, 00:18
IP в лучшем случае твой внешний (зачастую динамический)
Это да, но провайдеры иногда дают ID каждому пользователю который тоже отображается...
0
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
13.02.2013, 00:33
Цитата Сообщение от Avazart Посмотреть сообщение
но провайдеры иногда дают ID каждому пользователю который тоже отображается
стандартными методами его не видно и вообще почти никогда...Только на серв. провайдера, порт - да....

Добавлено через 8 минут
Если у тебя винда - ОС можеь посмотреть для своей сети параметры.
Пуск -> выполнить -> cmd ->netstat -a
если захочешь увидеть все возможные параметры вызова команды:
netstat help msg
0
3 / 3 / 1
Регистрация: 29.09.2012
Сообщений: 15
13.02.2013, 01:00  [ТС]
Ухх... Какой холивар тут разгорелся то. В общем что-то из этого я и предполагал, либо прямой доступ к базе данных сервера, с помощь скрипта отсеивать результаты, при этом имеем высокую скорость. Либо выборка из имитированных запросов к сайту, при этом получаем низкую скорость, и высокую вероятность поймать бан.
Подробностей ТЗ, к сожалению, не знаю, т.к. нужно это всё одному моему малознакомому, очень малознакомому, товарищу. При этом даже ссылку на сайт он мне не давал, просто поинтересовался. Говорил, что-то про логин и пароль, которые нужны обязательно для доступа, может по ним и к БД можно достучаться, хотя скорее всего это лишь данные для доступа к аккаунту, и парсить БД по ним не получится.
С удовольствием испытал бы предложенные методы, поковырялся со всеми этими БД и запросами, так как с веб-разработкой сталкивался всего пару раз, но это всё всего лишь в теории. Может позже, когда время найдётся, или знакомому "припечёт", а может я сам разберусь на примере другого сайта.
В любом случае, огромное спасибо за ответы. Премного благодарен за отклик к моему интересу.
0
Модератор
 Аватар для vxg
3410 / 2182 / 354
Регистрация: 13.01.2012
Сообщений: 8,476
13.02.2013, 09:32
Цитата Сообщение от Стоян Посмотреть сообщение
бан
если авторизации не производится адекватные сайты не будут давать вам бан ибо это убытки и потеря репутации. максимум что может сделать порядочный жлоб - это формировать для каждого IP очередь запросов и вынимать из нее запрос на обработку один раз за установленный интервал времени. но даже при этом пользователи оказавшиеся за пределом очереди получат слезоточивое сообщение "сервис временно недоступен. попробуйте позже" или будут тупо висеть в течение времени обработки очереди если их запрос протиснулся в очередь что тоже не фонтан.
Цитата Сообщение от Стоян Посмотреть сообщение
логин и пароль
тогда вообще без вариантов. по логину и паролю однозначно заткнуть можно ибо явно что-то странное когда конкретно взятый физический человек будет как механический пудель слать по 1 запросу каждые пусть даже 5 секунд на протяжении двух дней что бы вынуть всю базу
0
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
13.02.2013, 10:47
Цитата Сообщение от Programmer_ Посмотреть сообщение
Есть такое... IP в лучшем случае твой внешний (зачастую динамический) + сигнатура твоего браузера+иногда Ось... Тупо... Вот почему я беру чисто МАС юзверя))
Фееричный бред. Если Вы видите МАС клиента, то IP (при установленной TCP сессии) принадлежит этому же клиенту с вероятностью 100%.
Цитата Сообщение от Programmer_ Посмотреть сообщение
Кста чисто для эксперимента написал скрипт который при помощи Simple Network Management Protocol отслеживал юзера от веб сервера до его сети и параметров всего, через все устройства веб соединения (в т.ч. DNS-серверы, роутеры, брандмауеры ...) но поставщики услуг прислали мне писмецо что по законам подобное является хакерством))) Обидно за потраченный ресурс мозга)))
Но таким макаром действительно можно по цепочке найти всех и вся)))
Совсем бред (точнее глупое вранье).
Цитата Сообщение от vxg Посмотреть сообщение
если авторизации не производится адекватные сайты не будут давать вам бан ибо это убытки и потеря репутации.
Вы будите смеяться, но так делает гугл. Лично видел бан от их поисковика для выхода tor-ноды, причем там было всего то 2-3 десятка запросов в сек.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
13.02.2013, 10:47

Доступ к данным
Всем привет.......с помощью описанного мною сервиса получаю данные из таблицы, как теперь получить доступ к определенным столбцам таблицы...

Доступ к данным
Всем, привет Подскажите, как можно ограничить права пользователя к базе : необходимо, чтобы пользователь работал со всеми данными в...

Доступ к данным
Всем привет! Есть comboBox при выборе разных его значений должна меняться label: if (comboBox1.Text == "Доллар США") ...

Доступ к данным
Есть, допустим на странице сайта, элемент SqlDataSource <asp:SqlDataSource ID="SqlDataSource1" runat="server" ...

Доступ к данным
Можно ли и как работать с базами данных из C++ Builder не используя BDE? По-видимому, один из ответов: ADO. Но какой использовать OLE DB...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
40
Ответ Создать тему
Новые блоги и статьи
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru