|
0 / 0 / 0
Регистрация: 14.03.2020
Сообщений: 1
|
|
Как парсить данные с сайта? [web разработка]14.03.2020, 16:43. Показов 1093. Ответов 7
Метки нет (Все метки)
есть сайт где посредствам AJAX обновляются интерисующие меня значения ( курсы валют, погода, коэфициенты без рзницы ) ... тоесть сама страница статична без перезагрузки меняет какие то данные. Мне надо эти данные спарсить но не просто спарсить а постоянно получать актуальные значения. Естесственно, делать запрос на получение всей HTML страницы не резон, меня быстро вычислят забанят и на сервер ихний большая будет нагрузка. ПОдскажите как определить откуда сайт берет данные и как максимально верно эти данные перехватывать ну или парсить. Прошу воздержаться от постов в которых вы с умным видом укажите название проги, программок я сам знаю не мало, буду рад статье или детальному описанию методик. спасибо.
0
|
|
(| 14.03.2020, 16:43 | |
|
Ответы с готовыми решениями:
7
Как парсить данные из сайта в базу данных? Как парсить данные с сайта при каких-либо изменениях на нем Парсить данные одного сайта со стороны клиента со страницы другого сайта |
-4 / 24 / 7
Регистрация: 16.12.2016
Сообщений: 716
|
|
| 14.03.2020, 22:53 | |
|
Бро меня тоже это интерисует в частности парс букмейкерок.
Там вообще не понятно как че работает, ну понятно что AJAX но более не понятно ничего! буду рад любым мыслям от спецов!
0
|
|
23 / 30 / 4
Регистрация: 08.12.2019
Сообщений: 221
|
||
| 15.03.2020, 08:43 | ||
там в php все концы обрубаются. 2) просто халявно так спарсить не получится и программок никаких нет. потому что парсеру данные не видны и всё очень индивидуально для каждого сайта. Но (сам я не пробовал.. теоретически: ) = загрузить страницу во фрейм на своем сайте и при помощи JS оперириуя данными DOM выудить данные из этого фрейма ... тем более там можно увидеть в коде блок(и) куда данные скриптом вставляются . //если не понятно чего я сказал то читать не поможет. а если понятно то я уже сказал чего читать...
0
|
||
Сообщение от UniqueUser
|
Супер-модератор
   
3953 / 2064 / 829
Регистрация: 13.03.2010
Сообщений: 6,786
|
|
| 15.03.2020, 10:11 | |
|
anamnado, каким образом вы получите данные из фрейма посредством js?
0
|
|
|
23 / 30 / 4
Регистрация: 08.12.2019
Сообщений: 221
|
||||||
| 15.03.2020, 10:40 | ||||||
|
gogolik, примерно
вот так
тогда хотелось бы узнать как и куда? Добавлено через 21 минуту возможно я и ошибся тут нашел вон какую то Same-origin policy которая говорит что вроде так нельзя. и это работает только на своем домене (когда в фрейме страница с родного сайта)
0
|
||||||
|
Супер-модератор
3953 / 2064 / 829
Регистрация: 13.03.2010
Сообщений: 6,786
|
|
| 15.03.2020, 10:53 | |
|
anamnado, всё так. Кроссдоменно нельзя.
0
|
|
|
23 / 30 / 4
Регистрация: 08.12.2019
Сообщений: 221
|
||||||
| 15.03.2020, 11:01 | ||||||
|
главное не сдаваться (все зависит от того на сколько сильно надо)
можно попробовать вот так:
И посмотреть что будет... (а вот если тут аякс заработает вроде как уже будет можно прием использовать ) Не может быть чтобы нельзя было выудить  вот подменить данные это уже взлом - а прочитать - должен быть способ....
0
|
||||||
|
-4 / 24 / 7
Регистрация: 16.12.2016
Сообщений: 716
|
|
| 15.03.2020, 21:04 | |
|
мне подменять не надо, только читать
0
|
|
| 15.03.2020, 21:04 | |
|
Помогаю со студенческими работами здесь
8
Парсить данные с сайта Данные из web в таблицу: парсить HTML или запуск стороннего скрипта? Парсить данные с сайта по конкретному городу, название которого взято из файла Разработка web-сайта Разработка web-сайта спортивного магазина Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
|
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования.
Часть библиотеки BedvitCOM
Использованы. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога
SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
|
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image
8Observer8 27.01.2026
Содержание блога
SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
|
|
Влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
|
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога
SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
|
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога
Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip"
Извлеките архив и вы увидите. . .
|
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога
Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д.
Сборка примера
Скачайте. . .
|