HTTP запрос через сокеты

@DARKPALADIN · Регистрация: 19.06.2016

Студворк — интернет-сервис помощи студентам

Делаю HTTP GET-запрос к google.com

C++
1
2
3
"GET / HTTP/1.1\r\n"
        "Host: www.google.com\r\n"
        "Accept:text/html; charset=utf-8\r\n\r\n"

Ответ приходит:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Data: HTTP/1.1 200 OK
Date: Mon, 07 May 2018 20:15:09 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2018-05-07-20; expires=Wed, 06-Jun-2018 20:15:09 GMT; path=/; domain=.google.com
Set-Cookie: NID=129=D-xppUeHiWE5Q3bReT7wUiq-IpGP0ghvfW0zxEwfj63As9UxP6a0iBMD_qLsrVElqo5XGzQSZ5yQ8ZpGUloSMuqztIsdupYi7Ti593L0KoXvNu9a2pCecVtNSz3LPYKd; expires=Tue, 06-Nov-2018 20:15:09 GMT; path=/; domain=.google.com; HttpOnly
Accept-Ranges: none
Vary: Accept-Encoding
Transfer-Encoding: chunked
 
7052
//Далее html

Я так понимаю 7052 длина html в hex. Но вот везде пишут, что длина тела приходит в параметре Content-length, но его нету.
И я так понимаю для получения полного html мне надо делать два запроса? один,чтобы узнать статус подключения и длину, а другой такой же, только размер буфера будет больше?

@schdub · 08.05.2018, 01:38

https://wikipedia.org/wiki/Chu... r_encoding

@DARKPALADIN · 08.05.2018, 01:49 **[ТС]**

schdub, Понятно. А как парсить ответ HTTP от сервера? есть ли простой вариант разделения HTML от Заголовка ответа?

@schdub · 08.05.2018, 09:51

DARKPALADIN, устанавливаете разумный таймаут на чтение из сокета.
Читаете по байтно, проверяя прочитали ли мы \r\n\r\n, если да то парсим HTTP заголовки.
Проверяем заголовок Content-Length, если есть читаем как обычно.
Иначе проверяем заголовок Transfer-Encoding, если есть читаем содержимое чанками, а именно:
1) читаем побайтно пока не встретим \r\n
2) строку в буфере переводим из HEX в десятичную СС - мы имеем размер чанка
3) читаем байты чанка
4) читаем \r\n
5) если размер чанка больше 0, то шаг 1.

@DARKPALADIN · 08.05.2018, 10:18 **[ТС]**

schdub, А не много времени займет читать побайтно из сокета, может большой буфер брать (1024 байт) и уже его читать побайтно? Просто думаю долго будет каждый раз вызывать recv для 1 байта

@schdub · 08.05.2018, 13:28

DARKPALADIN, здесь под побайтно не имеется ввиду отключение алгоритма Нейгла.

Добавлено через 7 минут
Если читать большими блоками, то может так получится что после заголовков будет считан кусок 1го чанка. Эту ситуацию нужно будет обрабатывать.

Причем, сами чанки можно читать большими блоками, т.к. мы будем знать размер чанка в байтах.

@DARKPALADIN · 08.05.2018, 13:31 **[ТС]**

Сообщение от schdub

Причем, сами чанки можно читать большими блоками, т.к. мы будем знать размер чанка в байтах.

то есть размер чанка это число поcле поля заголовка Transfer-Encoding: chunked?

Сообщение от DARKPALADIN

Transfer-Encoding: chunked
7052

@schdub · 08.05.2018, 19:49

Да, но только для первого чанка. Чанки нужно читать и склеивать у себя в буфере пока не встретите чанк нулевой длинны. О формате отклика читайте по ссылке выше или в моем предыдущем сообщении.

@DARKPALADIN · 08.05.2018, 20:56 **[ТС]**

У меня нет чанков нулевой длины, recv зависает после последнего непустотого чанка.

@schdub · 08.05.2018, 23:55

DARKPALADIN, код показывайте.

@DARKPALADIN · 09.05.2018, 00:00 **[ТС]**

schdub, client.zip
Работаю под macOS, IDE CLion, стандарт c++17

@schdub · 09.05.2018, 00:12

DARKPALADIN, где парсинг заголовков? Где парсинг чанков? Перечитайте сообщение #4 - там описан весь алгоритм. Кроме того, еще раз изучите формат чанков, чтобы понимать как именно данные будут приходить от сервера.

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	08.05.2018, 01:38
	https://wikipedia.org/wiki/Chu... r_encoding 0

@DARKPALADIN 7 / 7 / 8 Регистрация: 19.06.2016 Сообщений: 134
	08.05.2018, 01:49 [ТС]
	schdub, Понятно. А как парсить ответ HTTP от сервера? есть ли простой вариант разделения HTML от Заголовка ответа? 0

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	08.05.2018, 09:51
	DARKPALADIN, устанавливаете разумный таймаут на чтение из сокета. Читаете по байтно, проверяя прочитали ли мы \r\n\r\n, если да то парсим HTTP заголовки. Проверяем заголовок Content-Length, если есть читаем как обычно. Иначе проверяем заголовок Transfer-Encoding, если есть читаем содержимое чанками, а именно: 1) читаем побайтно пока не встретим \r\n 2) строку в буфере переводим из HEX в десятичную СС - мы имеем размер чанка 3) читаем байты чанка 4) читаем \r\n 5) если размер чанка больше 0, то шаг 1. 0

@DARKPALADIN 7 / 7 / 8 Регистрация: 19.06.2016 Сообщений: 134
	08.05.2018, 10:18 [ТС]
	schdub, А не много времени займет читать побайтно из сокета, может большой буфер брать (1024 байт) и уже его читать побайтно? Просто думаю долго будет каждый раз вызывать recv для 1 байта 0

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	08.05.2018, 13:28
	DARKPALADIN, здесь под побайтно не имеется ввиду отключение алгоритма Нейгла. Добавлено через 7 минут Если читать большими блоками, то может так получится что после заголовков будет считан кусок 1го чанка. Эту ситуацию нужно будет обрабатывать. Причем, сами чанки можно читать большими блоками, т.к. мы будем знать размер чанка в байтах. 0

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	08.05.2018, 19:49
	Да, но только для первого чанка. Чанки нужно читать и склеивать у себя в буфере пока не встретите чанк нулевой длинны. О формате отклика читайте по ссылке выше или в моем предыдущем сообщении. 0

@DARKPALADIN 7 / 7 / 8 Регистрация: 19.06.2016 Сообщений: 134
	08.05.2018, 20:56 [ТС]
	У меня нет чанков нулевой длины, recv зависает после последнего непустотого чанка. 0

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	08.05.2018, 23:55
	DARKPALADIN, код показывайте. 0

@DARKPALADIN 7 / 7 / 8 Регистрация: 19.06.2016 Сообщений: 134
	09.05.2018, 00:00 [ТС]
	schdub, client.zip Работаю под macOS, IDE CLion, стандарт c++17 0

@schdub 3073 / 1411 / 425 Регистрация: 19.01.2009 Сообщений: 3,893
	09.05.2018, 00:12
	DARKPALADIN, где парсинг заголовков? Где парсинг чанков? Перечитайте сообщение #4 - там описан весь алгоритм. Кроме того, еще раз изучите формат чанков, чтобы понимать как именно данные будут приходить от сервера. 0