HTTP request. Почему data вызывается несколько раз?

@rodigy · Регистрация: 24.10.2015

Студворк — интернет-сервис помощи студентам

Часть кода

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
const http = require('https');
 
let reqOptions = {
    host: 'raw.githubusercontent.com',
    protocol: 'https:',
    path: '/fontello/awesome-uni.font/master/config.yml'
};
 
let callback = function(response) {
 
    response.on('data', function (src) {
        let data = src.toString();
        fs.writeFile('./temp/font.yml', data, function (err) {
            if (err) throw err;
        });
    });
};
 
http.request(reqOptions, callback);
http.on('error', (err) => {console.log(err);});
http.end();

Событие data вызывается несколько раз и в файл пишется не все данные, а только последняя часть, почему так происходит, т.е. почему data вызывается несколько раз?

@Custos · 03.06.2018, 14:48

Потому, что response - это Stream

@rodigy · 03.06.2018, 20:32 **[ТС]**

Custos, и как правильно делать, писать через стрим?
Можно пример небольшой?

@Custos · 04.06.2018, 08:00

rodigy, fs.createWriteStream

@muxahuk1214 · 06.06.2018, 20:19

Если до сих пор не понятно почему 'data' вызывается несколько раз:

Как уже заметили в комментариях request это стрим (Stream), что значит, что он может принимать (читать) данные на протяжении какого-то времени (пусть будет 10 сек. для примера).
Суть стримов в том, что они читают (или пишут) данные не все сразу, а по частям (т.е. если у вас текст длиной в 1000 символов, стрим может (тут нужно смотреть конкретную имплементацию разных стримов) читать 100 символов за раз (как пример).
Каждый раз когда он прочитал 100 символов Стрим отправит событие 'data' с этими 100 символами.
После того, как чтение завершено (что в нашем примере произойдет через 10 сек.) Стрим отправит событие 'end' что значит что больше нечего читать.
На практике, что бы получить все 1000 символов в 1-у переменную Вам нужно будет сделать что-то типо:

JavaScript
1
2
3
4
5
6
let string = '';
stream.on('data', (chunk) = string += chunk);
stream.on('end', () => {
  console.log(string);
  // в этот момент времени мы полностью закончили читать стрим и имеем все 1000 символов в переменной string
});

В частности в Вашем случае, т.к. вы хотите сохранить данные в файл, вы можете воспользоваться стримом файловой системы, которые идёт в "комплекте" с nodejs.
Что для этого нужно:
1. создать стрим с нужным файлом (т.е. грубо говоря присоедениться к файлу)
1.1 место где создавать (скоуп) зависит от того, хотите ли вы сохранять всё в 1 файл или разные
1.1.1 т.е. если 1-н файл то открываете "соединение" вне колбэка, что бы не делать это каждый раз
1.1.2 или в нутри колбека, если файлы разные (динамические названия и т.п.)
2. воспользоваться АПИ которое предоставляет nodejs (pipe) что бы передать данные из одного стрима в другой

JavaScript
1
2
3
4
5
const fs = require('fs');
const fileWriteStream = fs.createWriteStream('./my-file.txt');
const callback = (req) => {
  req.pipe(fileWriteStream);
};

Единственный минус о котором я могу догадаться (и не знаю правда это или нет):
Если вы будете делать много запросов одновременно и все они будут паралельно выполнятся, то может произзойти ситуация, когда req1 запишет chunk в файл, затем req2 запишет и затем опять req1 запишет..
т.е. т.к. req отправляет 'data' асинхронно, то в файле могут быть перемешаны строки из разных req.

Если такое возможно (и если это так на самом деле происходит, напомню что я не тестировал), то пофиксить это можно комбинацией 2-х примеров:

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
const fs = require('fs');
const fileWriteStream = fs.createWriteStream('./my-file.txt');
fileWriteStream.on('error', console.error);
let toWrite = [];
setInterval(() => {
  if (toWrite.length === 0) return;
  toWrite.forEach(liens => {
    liens.forEach(line => {
      fileWriteStream.write(line);
    });
  });
  toWrite = [];
}, 1000);
const callback = (req) => {
  let lines = [];
  req.on('data', lines.push);
  req.on('error', (e) => lines = [e]);
  req.on('end', () => {
    toWrite.push(lines);
  });
};

(пример корявый но думаю понятно что я пытался сделать)

@rodigy · 08.06.2018, 23:44 **[ТС]**

Да ясно стало после первого ответа, но все равно всем спасибо)

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@Custos Software Engineer 332 / 335 / 55 Регистрация: 23.09.2014 Сообщений: 983
	03.06.2018, 14:48
	Потому, что response - это Stream 0

@rodigy 90 / 40 / 17 Регистрация: 24.10.2015 Сообщений: 577
	03.06.2018, 20:32 [ТС]
	Custos, и как правильно делать, писать через стрим? Можно пример небольшой? 0

@Custos Software Engineer 332 / 335 / 55 Регистрация: 23.09.2014 Сообщений: 983
	04.06.2018, 08:00
	rodigy, fs.createWriteStream 0

@rodigy 90 / 40 / 17 Регистрация: 24.10.2015 Сообщений: 577
	08.06.2018, 23:44 [ТС]
	Да ясно стало после первого ответа, но все равно всем спасибо) 0