Получить размер страницы html

@DUMP · Регистрация: 22.02.2015

Студворк — интернет-сервис помощи студентам

Привет всем. Нужно скачать страницу, например, cyberforum.ru. Для этого мне нужно сначала узнать размер страницы, но его я никак не могу получить. На отправленый HEAD, мне приходит пакет, в котором нет content-length. Я думаю, что нужно правильно создать запрос, но как. До этого с http не работал.

Код

C++
1
sprintf( request, "HEAD %s HTTP/1.1\r\nHost: %s\r\nConnection: close\r\n\r\n", url, host );

Убежденный · 30.06.2017, 19:15

Сообщение от DUMP

На отправленый HEAD, мне приходит пакет, в котором нет content-length

HEAD запрашивает только статусную строку HTTP и заголовки, тела страницы нет.
Пробуй вместо HEAD использовать GET. Это во-первых. А во-вторых, Content-Length
не обязан присутствовать, вместо него может быть так называемый 'chunked encoding' -
это когда тело ответа передается кусками и перед каждым куском вначале
указывается его длина, в байтах.

@DUMP · 30.06.2017, 19:46 **[ТС]**

Сообщение от Убежденный

передается кусками

Так оно и есть.
Transfer-Encoding: Chunked
Но как мне узнать, когда будет передан последний кусок данных ? Просто, если зациклить приём данных с сайта секундомера ( первый по запросу в гугле ) , то данные принимаются бесконечно: в какой-то момент принимаются одни и те же данные, что и на предыдущей итерации.

Убежденный · 30.06.2017, 20:16

Сообщение от DUMP

Но как мне узнать, когда будет передан последний кусок данных ?

После последнего куска данных будет идти 0.
См. пример в Википедии:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
HTTP/1.1 200 OK
Server: nginx/1.0.4
Date: Thu, 06 Oct 2011 16:14:01 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
X-Powered-By: PHP/5.3.6
 
23
This is the data in the first chunk
1A
and this is the second one
3
con
8
sequence
0

@vxg · 30.06.2017, 21:29

Убежденный, ... или не будет если действует соглашение о том что конец передачи = конец данных

@DUMP · 30.06.2017, 22:14 **[ТС]**

vxg, разве нет определённых стандартов, по которым всё работает ?

@vxg · 01.07.2017, 06:48

DUMP, есть, просто мне помнится что согласно этим стандартам конец данных может быть передан явно через нулевой размер порции или неявно через закрытие подключения - при этом остаётся загадкой были ли все данные реально переданы или был сбой связи

@Вованя · 04.07.2017, 16:53

DUMP, RFC http

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@vxg Модератор 3407 / 2178 / 354 Регистрация: 13.01.2012 Сообщений: 8,448
	30.06.2017, 21:29
	Убежденный, ... или не будет если действует соглашение о том что конец передачи = конец данных 0

@DUMP 76 / 50 / 26 Регистрация: 22.02.2015 Сообщений: 306
	30.06.2017, 22:14 [ТС]
	vxg, разве нет определённых стандартов, по которым всё работает ? 0

@vxg Модератор 3407 / 2178 / 354 Регистрация: 13.01.2012 Сообщений: 8,448
	01.07.2017, 06:48
	DUMP, есть, просто мне помнится что согласно этим стандартам конец данных может быть передан явно через нулевой размер порции или неявно через закрытие подключения - при этом остаётся загадкой были ли все данные реально переданы или был сбой связи 1

@Вованя 153 / 148 / 66 Регистрация: 20.02.2014 Сообщений: 556
	04.07.2017, 16:53
	DUMP, RFC http 0

Получить размер страницы html

Решение