|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
||||||
Ошибка 40315.06.2021, 10:41. Показов 11987. Ответов 9
Метки нет (Все метки)
Здравствуйте, нужно написать парсер сайта. Хочу получить html страницы, но запрос выдает ошибку 403, я так понимаю на сайте какая-то защита стоит. Как ее обойти?
0
|
||||||
| 15.06.2021, 10:41 | |
|
Ответы с готовыми решениями:
9
Ошибка HTTP Error 403: Forbidden Как обойти ошибку 403? |
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 15.06.2021, 11:47 [ТС] | |
|
Нет, не нужно логиниться
0
|
|
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 15.06.2021, 17:43 [ТС] | |
|
А какие хедеры еще могут быть нужны? И какие куки надо добавить?
0
|
|
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
||||||
| 15.06.2021, 20:00 [ТС] | ||||||
|
Я правильно куки отправляю? Что-то не работает, все уже перепробовал
0
|
||||||
|
Автоматизируй это!
|
|
| 16.06.2021, 12:09 | |
|
helhel20, сайтик не простой, очень сильно заколдовано) Если ты хочешь его содержимое парсить, то сразу рекомендую на селениум переходить, тут очень много динамики и подгрузок.
0
|
|
|
295 / 108 / 57
Регистрация: 07.12.2016
Сообщений: 209
|
||||||
| 16.06.2021, 15:10 | ||||||
Сообщение было отмечено Welemir1 как решение
Решение
helhel20, как написал Уважаемый Welemir1, сайт действительно непростой. И, если вы только пытаетесь изучить парсинг, то сложно будет. И вдогонку такой вопрос ещё - а нужна ли вам главная страница? Информативности в ней не то, чтобы очень. Обычно вытягивают по разделам информацию о продукте конечную.
Поковыряйтесь в инструментах разработчика в браузере, посмотрите куда запросы уходят при переходе по той или иной ссылке. Вот для примера вам - отсюда только что вытащил данные по ноутбукам(1 или нулевая страница)
0
|
||||||
|
0 / 0 / 1
Регистрация: 21.04.2019
Сообщений: 29
|
|
| 16.06.2021, 19:46 [ТС] | |
|
Благодарю за помощь, селениум выручил.
0
|
|
| 16.06.2021, 19:46 | |
|
Помогаю со студенческими работами здесь
10
Django Ошибка доступа (403) Ошибка проверки CSRF. Запрос отклонён При создании класса в проекте, после сборки появляется ошибка Ошибка HTTP 403.14 - Forbidden. ошибка Ошибка HTTP 403.14 - Forbidden Веб-сервер настроен таким образом, чтобы не формировать списка содержимого каталога Ошибка 403 Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Программный контроль заполнения реквизита табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .
|
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение:
DISM / Online / Add-Capability / CapabilityName:WMIC~~~~
Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
|
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: при создании документов установить период списания автоматически. . .
|
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2.
Задача: вывести данные из ТЧ нетипового документа. . .
|
|
Программное заполнения текстового поля в реквизите формы документа
Maks 01.04.2026
Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению.
На форме документа создается. . .
|
К слову об оптимизации
kumehtar 01.04.2026
Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
|
Идея фильтра интернета (сервер = слой+фильтр).
Hrethgir 31.03.2026
Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
|
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда
anaschu 31.03.2026
В прикрепленном документе раздумья о том, как можно поменять модель в будущем
|