requests.Session - ошибка при открытии страницы

@Mik123 · Регистрация: 08.03.2014

Студворк — интернет-сервис помощи студентам

Доброго времени.
Такая беда.
С помощью requests.Session делаю запрос на URLы

Python
1
2
3
for link in cat_links[:44]:
    print(link )
    h = s.get(link).text

Делается все в цикле (ссылок много) по списку.
Когда хочешь получить содержимое страницы, выдает ошибку:
AttributeError: 'NoneType' object has no attribute 'text'
Структура там сложнее (потом идет поиск еще ссылок на странице и обращение уже к ним), но суть не меняется:
постоянно выскакивает эта ошибка.
Как бороться? И вообще, как понять, в чем ее причина?
На сайт не может попасть запрос? В общем, если идти по списку, то по разным ссылкам эта беда может выскочить (когда как).
И прокси включены, и юзер-агент.
Ступор.
Selenium на том же коде все получает.

@Welemir1 · 11.12.2019, 13:33

Сообщение от Mik123

И вообще, как понять, в чем ее причина?

не поверишь -перевести ошибку. У None который тебе вернуло нет атрибута текст! что не ясно?
не ясно почему s.get(link) вернуло None? ну тут уже надо ссылки смотреть, отладчиком пройтись. Нет ли по каким то из ссылок переадресации?

@Mik123 · 11.12.2019, 18:16 **[ТС]**

Разобрался. Это жесть. Весь день убил.

Переводить и читать ошибки обучен, она выглядела не логично.

Так вот, у requests и у BeautifulSoup есть одинаковый метод: get().
Когда попробовал без ГЕТа достать атрибут тега, ошибка исчезла.

Вывод: не пользуйтесь get() в BS.

@Garry Galler · 11.12.2019, 21:53

Сообщение от Mik123

Вывод: не пользуйтесь get() в BS.

Жесть. То есть ты реально ничего не понял.

Из документации bs4, которую ты в глаза не видел:

Python
1
2
3
4
tag['id']
# KeyError: 'id'
print(tag.get('id'))
# None

И то и другое - способ получить значение атрибута.
Просто первый вариант это прямое обращение по ключу и в случае отсутствия ключа будет, естественно (а как ты думал?), исключение.
Во втором случае исключение в случае отсутствия ключа не бросается, но возвратом будет None.
А None это пустой объект, то есть ни-че-го.

Сообщение от Mik123

она выглядела не логично.

Логично, но только для тех, кто понимает что возврат функции нужно всегда проверять на None (или на то, что указано в доках для возврата в случае фейла).

Сообщение от Mik123

На сайт не может попасть запрос?

Если сайт тебе нечего не ответит, логично что ответ requests будет None.
Если парсер ничего не найдет на странице, логично что возврат функции будет None или пустой контейнер.

Логично, что вменяемые программисты всегда проверяют возврат, перед тем как с ним что-то делать.

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@Mik123 0 / 0 / 0 Регистрация: 08.03.2014 Сообщений: 11
	11.12.2019, 18:16 [ТС]
	Разобрался. Это жесть. Весь день убил. Переводить и читать ошибки обучен, она выглядела не логично. Так вот, у requests и у BeautifulSoup есть одинаковый метод: get(). Когда попробовал без ГЕТа достать атрибут тега, ошибка исчезла. Вывод: не пользуйтесь get() в BS. 0