|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
||||||
Ошибка 40315.06.2021, 10:41. Показов 11947. Ответов 9
Метки нет (Все метки)
Здравствуйте, нужно написать парсер сайта. Хочу получить html страницы, но запрос выдает ошибку 403, я так понимаю на сайте какая-то защита стоит. Как ее обойти?
0
|
||||||
| 15.06.2021, 10:41 | |
|
Ответы с готовыми решениями:
9
Ошибка HTTP Error 403: Forbidden Как обойти ошибку 403? |
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 15.06.2021, 11:47 [ТС] | |
|
Нет, не нужно логиниться
0
|
|
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 15.06.2021, 17:43 [ТС] | |
|
А какие хедеры еще могут быть нужны? И какие куки надо добавить?
0
|
|
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
||||||
| 15.06.2021, 20:00 [ТС] | ||||||
|
Я правильно куки отправляю? Что-то не работает, все уже перепробовал
0
|
||||||
|
Автоматизируй это!
|
|
| 16.06.2021, 12:09 | |
|
helhel20, сайтик не простой, очень сильно заколдовано) Если ты хочешь его содержимое парсить, то сразу рекомендую на селениум переходить, тут очень много динамики и подгрузок.
0
|
|
|
295 / 108 / 57
Регистрация: 07.12.2016
Сообщений: 209
|
||||||
| 16.06.2021, 15:10 | ||||||
Сообщение было отмечено Welemir1 как решение
Решение
helhel20, как написал Уважаемый Welemir1, сайт действительно непростой. И, если вы только пытаетесь изучить парсинг, то сложно будет. И вдогонку такой вопрос ещё - а нужна ли вам главная страница? Информативности в ней не то, чтобы очень. Обычно вытягивают по разделам информацию о продукте конечную.
Поковыряйтесь в инструментах разработчика в браузере, посмотрите куда запросы уходят при переходе по той или иной ссылке. Вот для примера вам - отсюда только что вытащил данные по ноутбукам(1 или нулевая страница)
0
|
||||||
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 16.06.2021, 19:46 [ТС] | |
|
Благодарю за помощь, селениум выручил.
0
|
|
| 16.06.2021, 19:46 | |
|
Помогаю со студенческими работами здесь
10
Django Ошибка доступа (403) Ошибка проверки CSRF. Запрос отклонён При создании класса в проекте, после сборки появляется ошибка Ошибка HTTP 403.14 - Forbidden. ошибка Ошибка HTTP 403.14 - Forbidden Веб-сервер настроен таким образом, чтобы не формировать списка содержимого каталога Ошибка 403 Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога
Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
|
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
|
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога
Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
|
|
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога
Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
|
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога
Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
|
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
|
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога
В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
|