Странное поведение библиотеки requests

@freeman86 · Регистрация: 20.07.2016

Author24 — интернет-сервис помощи студентам

Доброго времени суток! Обнаружил странную особенность библиотеки requests. Заметил это случайно, когда делал для собственного образования парсер сайта avito с помощью библиотеки bs4. Ниже приведу скриншот. На первом скрине (белый фон) часть странички avito, где выделено два тега . Библиотека requests читает эти теги странным образом, выкидывая первый открывающий тэг. Это есть на фтором скриншоте. А далее ошибка тянется в bs4 с соответствующими последствиями.

Рыжий Лис · 02.12.2019, 13:17

Какой html сервер отдал - такой библиотека и приняла. Возможно, браузер пофиксил неоткрытый тег.

Добавлено через 57 секунд
Попробуйте открыть страницу в браузере через "Исходный код страницы" - там открывающий тег скорей всего тоже будет отсутствовать.

@Garry Galler · 02.12.2019, 13:24

Сообщение от Рыжий Лис

Возможно, браузер пофиксил неоткрытый тег.

Браузеры всегда показывают исключительно исправленный идеальный HTML.
Почему-то пользователи об этом даже не задумываются...
Пустой тег параграфа может быть записан как 
Возможно, что даже одиночный закрывающий  не считается грубой ошибкой верстки. В HTML (в отличие от XHTML) вообще слишком много всего допускается.

@freeman86 · 02.12.2019, 14:26 **[ТС]**

Последовал вашему совету и просмотрел исходный код. На удивление там ситуация совсем иная...

@Garry Galler · 02.12.2019, 15:13

Сообщение от freeman86

На удивление там ситуация совсем иная.

То есть вы еще не осознали, что код показанный пользователю (полностью отрендеренный - динамика!) и код который присылает сервер (статика!) - это две большие разницы?
Времена, когда эти два кода полностью совпадали, закончились в начале 2000-x.

@freeman86 · 02.12.2019, 15:54 **[ТС]**

Так как я слабо связан с версткой и фронтом в целом, думал что динамика только там, где есть .js вставки.

Но все же, на последнем скрине как оказалось тег вовсе не пустой. Куда же исчезает его содержимое, после считывания библиотекой requests? requests считывает исходный код, я правильно понимаю?

@Garry Galler · 02.12.2019, 18:18

Сообщение от freeman86

requests считывает исходный код

requests считывает поток байт, который прислал сервер. Что находится в этом потоке зависит только от сервера.
Скрипты могут вообще не присутствовать в явном виде на странице. Обычно в начало html помещаются ссылки на них, по которым браузер их скачивает.

Сообщение от freeman86

динамика только там, где есть .js вставки.

js. код есть практически везде. Ну не делают сайтов без js. Только если это не статичная страничка, содержимое которой никогда не меняется. А кроме js сейчас и CSS умеет выполнять код, например, делать всякого рода динамические счетчики.

Сообщение от freeman86

Но все же, на последнем скрине как оказалось тег вовсе не пустой.

Это потому что браузер выполнил все содержащиеся в коде скрипты и отрендерил полный код страницы.

@freeman86 0 / 0 / 0 Регистрация: 20.07.2016 Сообщений: 98
		1
	Странное поведение библиотеки requests 02.12.2019, 11:24. Показов 1163. Ответов 6 Метки requests (Все метки) Доброго времени суток! Обнаружил странную особенность библиотеки requests. Заметил это случайно, когда делал для собственного образования парсер сайта avito с помощью библиотеки bs4. Ниже приведу скриншот. На первом скрине (белый фон) часть странички avito, где выделено два тега <p></p>. Библиотека requests читает эти теги странным образом, выкидывая первый открывающий тэг. Это есть на фтором скриншоте. А далее ошибка тянется в bs4 с соответствующими последствиями. Миниатюры 0

Рыжий Лис Просто Лис 5731 / 3530 / 1055 Регистрация: 17.05.2012 Сообщений: 10,359 Записей в блоге: 9
	02.12.2019, 13:17	2
	Какой html сервер отдал - такой библиотека и приняла. Возможно, браузер пофиксил неоткрытый тег. Добавлено через 57 секунд Попробуйте открыть страницу в браузере через "Исходный код страницы" - там открывающий тег скорей всего тоже будет отсутствовать. 0

@Garry Galler 5418 / 3842 / 1214 Регистрация: 28.10.2013 Сообщений: 9,554 Записей в блоге: 1
	02.12.2019, 13:24	3
	Сообщение от Рыжий Лис Возможно, браузер пофиксил неоткрытый тег. Браузеры всегда показывают исключительно исправленный идеальный HTML. Почему-то пользователи об этом даже не задумываются... Пустой тег параграфа может быть записан как <p/> Возможно, что даже одиночный закрывающий </p> не считается грубой ошибкой верстки. В HTML (в отличие от XHTML) вообще слишком много всего допускается. 0

@freeman86 0 / 0 / 0 Регистрация: 20.07.2016 Сообщений: 98
	02.12.2019, 14:26 [ТС]	4
	Последовал вашему совету и просмотрел исходный код. На удивление там ситуация совсем иная... Миниатюры 0

@Garry Galler 5418 / 3842 / 1214 Регистрация: 28.10.2013 Сообщений: 9,554 Записей в блоге: 1
	02.12.2019, 15:13	5
	Сообщение от freeman86 На удивление там ситуация совсем иная. То есть вы еще не осознали, что код показанный пользователю (полностью отрендеренный - динамика!) и код который присылает сервер (статика!) - это две большие разницы? Времена, когда эти два кода полностью совпадали, закончились в начале 2000-x. 0

@freeman86 0 / 0 / 0 Регистрация: 20.07.2016 Сообщений: 98
	02.12.2019, 15:54 [ТС]	6
	Так как я слабо связан с версткой и фронтом в целом, думал что динамика только там, где есть .js вставки. Но все же, на последнем скрине как оказалось тег <p></p> вовсе не пустой. Куда же исчезает его содержимое, после считывания библиотекой requests? requests считывает исходный код, я правильно понимаю? 0

@Garry Galler 5418 / 3842 / 1214 Регистрация: 28.10.2013 Сообщений: 9,554 Записей в блоге: 1
	02.12.2019, 18:18	7
	Сообщение от freeman86 requests считывает исходный код requests считывает поток байт, который прислал сервер. Что находится в этом потоке зависит только от сервера. Скрипты могут вообще не присутствовать в явном виде на странице. Обычно в начало html помещаются ссылки на них, по которым браузер их скачивает. Сообщение от freeman86 динамика только там, где есть .js вставки. js. код есть практически везде. Ну не делают сайтов без js. Только если это не статичная страничка, содержимое которой никогда не меняется. А кроме js сейчас и CSS умеет выполнять код, например, делать всякого рода динамические счетчики. Сообщение от freeman86 Но все же, на последнем скрине как оказалось тег <p></p> вовсе не пустой. Это потому что браузер выполнил все содержащиеся в коде скрипты и отрендерил полный код страницы. 0