Потоковое чтение страницы

@Renji · Регистрация: 05.06.2014

Студворк — интернет-сервис помощи студентам

Есть некая страница https://example.com/1234. По ней катится однопроходный парсер. Так как он однопроходный, нет никакого смысла хранить уже обработанный текст. Поэтому, хотелось бы загружать страницу в режиме "скачал кусок, распарсил, выкинул". То есть, читать страницу как однопроходный поток, без предварительной загрузки всей страницы в память. Возможно ли это?
У curl нечто похожее видел - получив очередную порцию файла, он вызывает callback функцию для ее обработки. Но это не совсем то. callback не шибко удобно прикручивать к парсеру.
Через сокеты файл в принципе так и читается, но там ведь еще файл от служебной информации отделять надо. А если нужна поддержка httpS, геморрой выходит еще больший.

Может есть какая-то готовая библиотека для этого?

@Bend3r · 01.09.2015, 21:28

Ну так если парсер однопроходный, в чем проблема скачать всю страницу и пробежаться парсером.
Опишите проблему, возможно есть другие пути решения.

@Renji · 01.09.2015, 22:01 **[ТС]**

Сообщение от Bend3r

Ну так если парсер однопроходный, в чем проблема скачать всю страницу и пробежаться парсером.

Проблема в том, что последовательное чтение страницы, это и есть работа с текстовым потоком (или его велосипедным аналогом). Страница скачивается из сети через потоковый сокет. Если там поток и тут поток, нафига мне промежуточный буфер то?

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
//функция извлекает строку из кавычек
string parse_string(istream&stream)
{
    assert(stream.peek()=='"');
    string word;
    stream.get();
    while(stream.peek()!='"')
        word+=stream.get();
    stream.get();
    return word;
}
string parse_string(istream&&stream){return parse_string(stream);}
 
//вот и на кой черт мне этот переходник?
string parse_string(const string&page){return parse_string(stringstream(page));}

@Bend3r · 01.09.2015, 22:06

Просто многие библиотеки делают врапперы над всем сырым, и уже юзеры либы получают полные ответы веб сервера. Я думаю вам нужно погуглить про WinSock, и просто методом recv читать порциями данные, одним из параметров выступает буфер и его размер, вот ваша задача уменьшить до нужных порций и частями работать с текстом.
Но тут уже придется изучать структуру HTTP запросов, для их правильного составления, но я думаю не составит труда запустить сниффер и просмотреть его структуру.

@Renji · 01.09.2015, 22:49 **[ТС]**

Сообщение от Bend3r

Я думаю вам нужно погуглить про WinSock, и просто методом recv читать порциями данные

Это только в демонстрационных HTTP 1.0 примерах просто. А в реальном HTTP 1.1 вам придется еще один парсер писать.
1) В HTTP 1.0 вы вызывали recv до "пока сокет не закроется". В HTTP 1.1 он никогда не закроется (keep-alive режим). Поэтому, вы должны заранее распарсить заголовок Content-Length и прочитать из него размер страницы.
2) Вместо Content-Length может использоваться Chunked transfer encoding. Это веселый квест "раздели винегрет из принимаемого файла и служебной информации".
3) А еще поток данных может быть зашифрован (HTTPS).

Короче, если идти по пути прямой работы с сокетами, получится целая вспомогательная библиотека. А мне готовую хотелось.

Убежденный · 02.09.2015, 00:09

Renji, это подойдет ?

joyent/http-parser
https://github.com/joyent/http-parser

Я эту библиотечку всегда использую, когда надо парсить HTTP.

@Renji · 02.09.2015, 01:03 **[ТС]**

Сообщение от Убежденный

Renji, это подойдет ?

Нет, это точно не подойдет. Во-первых, опять вывод результатов через callback-функцию. Во-вторых, эта функция не имеет аргумента void*user_data. Откуда она тогда будет знать куда сохранять результаты своей работы? Я же хотел примерно такое:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
//начало загрузки страницы
http_stream stream;
init_http_stream(&stream,"https://example.com/");
char buf[1024];
int count=0;
 
//чтение страницы
while(true)
{
    int size=read_page_body(&stream,buf,1024);
    if(size<=0)
        break;
    for(int i=0;i<size;++i)
        if(buf[i]='A')
            ++count;//вот как callback функции до этого count доберется?
}

Убежденный · 02.09.2015, 09:19

Сообщение от Renji

Во-вторых, эта функция не имеет аргумента void*user_data. Откуда она тогда будет знать куда сохранять результаты своей работы?

Там в http_parser есть поле data размером sizeof (void *) специально для этих целей.

Если найдешь библиотеку поинтереснее, напиши, ок ?

@Shvonder · 02.09.2015, 14:00

Сообщение от Renji

однопроходный парсер

- это ваш, что-ли - или лирика?
Хотя, понятно, что Лирика... Вы слишком Ушлый, на самом деле - это понты.

@Avazart · 02.09.2015, 14:02

html страницы не такие уж и большие по объему что бы заморачивать об с этим.

Добавлено через 1 минуту

Сообщение от Renji

callback не шибко удобно прикручивать к парсеру.

Вероятно вы не правильно используете.

@Renji · 02.09.2015, 14:16 **[ТС]**

Сообщение от Shvonder

- это ваш, что-ли - или лирика?

Мой, мой. Правда, не для HTML, а для JSON, который тем же самым GET/POST запросом загружается. Там не на столько сложный синтаксис, чтоб десять раз по одному тексту проходить. А вот исходный текст может скушать пару мегабайт. Понятно что память сейчас гигабайтами меряем, но все равно обидно на промежуточный буфер тратиться.

PS Да, я в курсе что такие парсеры готовые есть. Способ формирования JSON по историческим причинам кривоват, надо было под него подстроиться.

@Shvonder · 02.09.2015, 15:06

Renji, тогда, мне кажется, вам будет интересно взглянуть на следующий линк, там правда нужно регистрироваться...
http://www.codeproject.com/Art... -Tokenizer

@Renji · 02.09.2015, 15:24 **[ТС]**

Сообщение от Shvonder

Renji, тогда, мне кажется, вам будет интересно взглянуть на следующий линк, там правда нужно регистрироваться...

Взглянул. Там тоже самое решение что в посте номер три - представить уже загруженный текст как поток. Только я для этого использую стандартный stringstream, а по вашей ссылке самопальный markup::instream. От пункта "сначала скачать весь текст" это не избавляет.

@Avazart · 02.09.2015, 15:37

Сообщение от Renji

Но это не совсем то. callback не шибко удобно прикручивать к парсеру.

https://www.cyberforum.ru/blog... 1.html#a_6

@Renji · 02.09.2015, 16:23 **[ТС]**

Сообщение от Avazart

https://www.cyberforum.ru/blogs/131347/blog1151.html#a_6

Это тоже callback. Хуже того, curl_easy_perform не вернет управление парсеру, пока все не скачает. Только callback дергать будет.

Выразимся иначе. Парсер работает пока не кончится исходный текст. callback функция работает пока не кончится фрагмент исходного текста. Поэтому выносить парсер в callback функцию очень неудобно. И очень нехочется использовать библиотеки операющиеся на callback архитектуру.

@Avazart · 02.09.2015, 16:37

Сообщение от Renji

, пока все не скачает.

Я уже ответил на это:

Сообщение от Avazart

html страницы не такие уж и большие по объему что бы заморачивать об с этим.

Так что ничего не мешает скачать, а потом парсить. Тем более если у вас json.
А парсить по мере скачивания бредовая идея по всем пунктам.

@Shvonder · 02.09.2015, 16:47

Renji, мне кажется, что Вам нужно с этим ознакомиться: http://www.komodia.com/sniffer

Добавлено через 4 минуты
ах-да, автор Барак, только exe выложил, видать бизнес в гору пошёл, хотя много лет прошло...
Точно говоря, есть библиотека "Komodia", где - нет ни п о й д ё т - я запарился.

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@Renji 2784 / 1937 / 570 Регистрация: 05.06.2014 Сообщений: 5,602

	Потоковое чтение страницы 01.09.2015, 03:05. Показов 2019. Ответов 16 Метки нет (Все метки) Есть некая страница https://example.com/1234. По ней катится однопроходный парсер. Так как он однопроходный, нет никакого смысла хранить уже обработанный текст. Поэтому, хотелось бы загружать страницу в режиме "скачал кусок, распарсил, выкинул". То есть, читать страницу как однопроходный поток, без предварительной загрузки всей страницы в память. Возможно ли это? У curl нечто похожее видел - получив очередную порцию файла, он вызывает callback функцию для ее обработки. Но это не совсем то. callback не шибко удобно прикручивать к парсеру. Через сокеты файл в принципе так и читается, но там ведь еще файл от служебной информации отделять надо. А если нужна поддержка httpS, геморрой выходит еще больший. Может есть какая-то готовая библиотека для этого? 0

@Bend3r 150 / 137 / 35 Регистрация: 29.07.2012 Сообщений: 709
	01.09.2015, 21:28
	Ну так если парсер однопроходный, в чем проблема скачать всю страницу и пробежаться парсером. Опишите проблему, возможно есть другие пути решения. 0

@Bend3r 150 / 137 / 35 Регистрация: 29.07.2012 Сообщений: 709
	01.09.2015, 22:06
	Просто многие библиотеки делают врапперы над всем сырым, и уже юзеры либы получают полные ответы веб сервера. Я думаю вам нужно погуглить про WinSock, и просто методом recv читать порциями данные, одним из параметров выступает буфер и его размер, вот ваша задача уменьшить до нужных порций и частями работать с текстом. Но тут уже придется изучать структуру HTTP запросов, для их правильного составления, но я думаю не составит труда запустить сниффер и просмотреть его структуру. 0

Убежденный Ушел с форума 16481 / 7444 / 1187 Регистрация: 02.05.2013 Сообщений: 11,616 Записей в блоге: 1
	02.09.2015, 00:09
	Renji, это подойдет ? joyent/http-parser https://github.com/joyent/http-parser Я эту библиотечку всегда использую, когда надо парсить HTTP. 1

@Shvonder 46 / 35 / 24 Регистрация: 16.03.2015 Сообщений: 179
	02.09.2015, 15:06
	Renji, тогда, мне кажется, вам будет интересно взглянуть на следующий линк, там правда нужно регистрироваться... http://www.codeproject.com/Art... -Tokenizer 0

@Shvonder 46 / 35 / 24 Регистрация: 16.03.2015 Сообщений: 179
	02.09.2015, 16:47
	Renji, мне кажется, что Вам нужно с этим ознакомиться: http://www.komodia.com/sniffer Добавлено через 4 минуты ах-да, автор Барак, только exe выложил, видать бизнес в гору пошёл, хотя много лет прошло... Точно говоря, есть библиотека "Komodia", где - нет ни п о й д ё т - я запарился. 0