|
3 / 3 / 1
Регистрация: 29.09.2012
Сообщений: 15
|
|
Доступ к данным сайта, мониторинг07.02.2013, 02:01. Показов 4591. Ответов 42
Метки нет (Все метки)
Такая вот проблема: есть некий интернет-сайт на котором находится прайс-лист, прайс отображается по коду определённого товара, то есть отображает только один товар за один запрос. Количество товаров около 45 000, что исключает возможности ручного мониторинга.
Задача: найти способ проверять наличие всех 45 000 товаров. Идея: создать локальную базу данных, на все 45 000 товаров, и по запросу пользователя "Обновить", она обновлялась автоматически посылая код каждого товара, то есть 45 000 запросов. Вопрос: куда копать, может подключать SQL запросы на выбору, или просто подключаться к сайту и автоматом вбивать код в поле. Подскажите способ реализации. Примечания: возможно я всё усложняю и есть готовые решения, или более простые способы.
0
|
|
| 07.02.2013, 02:01 | |
|
Ответы с готовыми решениями:
42
Доступ к данным сайта через XML Есть ли возможность контролировать доступ флэшкам у которых есть доступ к данным через Security.allowDomain() C# доступ к данным |
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
||
| 12.02.2013, 22:54 | ||
|
0
|
||
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
|
| 12.02.2013, 22:57 | |
|
А на сайт ее, сравнить с существующей и исправить??
0
|
|
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
|
| 12.02.2013, 23:10 | |
|
Вот и пришел - консенсус))
А что касается HTTP, и/или серверных языков в частности PHP такие трюки не пройдут. Это почти тот же С++ только для веб программирования, и если я пропишу что пользователь совершает некорректные запросы или запросы с частотой более 1-го в секунду можно этакого убить в контексте определенного веб ресурса и доступ к страницам ты получишь только в том случае если взломаешь сервер баз данных хостера...
0
|
|
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
||
| 12.02.2013, 23:20 | ||
|
Что касается часто ты запросов твоих постов в этой теме не читал, мож упустил....Не знаю. Но есть множество аппаратных средств которые позволяют сделать сайты милионники на PHP без особых проблем
0
|
||
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
|||
| 12.02.2013, 23:29 | |||
|
Обновление БД в 45 000 позиций нормально написанный РНР скрипт займет от 3-х до 10 - ти секунд... Добавлено через 2 минуты
0
|
|||
|
|
||
| 12.02.2013, 23:32 | ||
|
При том что я условно взял этот интервал ибо сомневаюсь что пользователь может делать обновление в браузере чаще 1с а значит и "блокировка" может быть настроена на такое время.
( но стоит заметить что путешествие пакетов по сети может занимать разное время ) Добавлено через 1 минуту
0
|
||
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
||
| 12.02.2013, 23:38 | ||
|
0
|
||
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
||
| 12.02.2013, 23:56 | ||
|
Все зависит от сервера на котором... Прога на С++ на 1000000 юзверей так же будет работать не так уж быстро... Что касается IP то с одной стороны обрадую - реальный IP отследить сложнее чем поздравить настоящего деда мороза с новым годом летом... Учитывая кол-во, серверов, роутеров, брандмауеров и т.п. Но тут есть другая фигня... Я в своих сайтах основываюсь на мас - адрес по маркеру на юсере тут почти 100% гарантия)) И поменять физический адрес (код в микрухе стевой карты) не так уж просто)))
0
|
||
|
|
|
| 13.02.2013, 00:01 | |
|
Все можно... сайты по определению IP ведь отслеживают хоть и приблизительно...
От сайта зависит... помню бодался с одним сервером - пока не выяснил что он банил по браузеру (полю user agent ) что реально не проблема менять...
0
|
|
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
|
| 13.02.2013, 00:14 | |
|
Есть такое... IP в лучшем случае твой внешний (зачастую динамический) + сигнатура твоего браузера+иногда Ось... Тупо... Вот почему я беру чисто МАС юзверя))
Кста чисто для эксперимента написал скрипт который при помощи Simple Network Management Protocol отслеживал юзера от веб сервера до его сети и параметров всего, через все устройства веб соединения (в т.ч. DNS-серверы, роутеры, брандмауеры ...) но поставщики услуг прислали мне писмецо что по законам подобное является хакерством))) Обидно за потраченный ресурс мозга))) Но таким макаром действительно можно по цепочке найти всех и вся)))
1
|
|
|
88 / 88 / 34
Регистрация: 22.05.2012
Сообщений: 404
|
||
| 13.02.2013, 00:33 | ||
|
Добавлено через 8 минут Если у тебя винда - ОС можеь посмотреть для своей сети параметры. Пуск -> выполнить -> cmd ->netstat -a если захочешь увидеть все возможные параметры вызова команды: netstat help msg
0
|
||
|
3 / 3 / 1
Регистрация: 29.09.2012
Сообщений: 15
|
|
| 13.02.2013, 01:00 [ТС] | |
|
Ухх... Какой холивар тут разгорелся то. В общем что-то из этого я и предполагал, либо прямой доступ к базе данных сервера, с помощь скрипта отсеивать результаты, при этом имеем высокую скорость. Либо выборка из имитированных запросов к сайту, при этом получаем низкую скорость, и высокую вероятность поймать бан.
Подробностей ТЗ, к сожалению, не знаю, т.к. нужно это всё одному моему малознакомому, очень малознакомому, товарищу. При этом даже ссылку на сайт он мне не давал, просто поинтересовался. Говорил, что-то про логин и пароль, которые нужны обязательно для доступа, может по ним и к БД можно достучаться, хотя скорее всего это лишь данные для доступа к аккаунту, и парсить БД по ним не получится. С удовольствием испытал бы предложенные методы, поковырялся со всеми этими БД и запросами, так как с веб-разработкой сталкивался всего пару раз, но это всё всего лишь в теории. Может позже, когда время найдётся, или знакомому "припечёт", а может я сам разберусь на примере другого сайта. В любом случае, огромное спасибо за ответы. Премного благодарен за отклик к моему интересу.
0
|
|
|
Модератор
3410 / 2182 / 354
Регистрация: 13.01.2012
Сообщений: 8,476
|
|||
| 13.02.2013, 09:32 | |||
|
0
|
|||
|
1259 / 650 / 44
Регистрация: 06.02.2011
Сообщений: 1,654
|
||||
| 13.02.2013, 10:47 | ||||
|
0
|
||||
| 13.02.2013, 10:47 | |
|
Доступ к данным Доступ к данным Доступ к данным Доступ к данным Доступ к данным Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Транслитерация текста с кириллицы на латиницу (вариант №5)
Maks 17.11.2026
Дабы оставить позади все споры о том, какая буква каким образом должна транслитерироваться на латиницу - решил таки доработать данное решение и довести его до мало-мальски логического завершения. . . .
|
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM
Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой.
Но использовать несколько программ не удобно. Искал другие. . .
|
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской)
Options
Preferences
General
Language
|
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент".
В данной функции нет апострофов,. . .
|
|
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы.
Карта этого меню приложена ниже.
Нужный пункт выделен красным.
Сервис
Настройки
Поведение
|
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки.
Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён".
Изменено отображение буквы Й.
Добавлена. . .
|
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки.
Добавлено:
- Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
|
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы.
Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
|