HTTP request. Почему data вызывается несколько раз?

@rodigy · Регистрация: 24.10.2015

Студворк — интернет-сервис помощи студентам

Часть кода

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
const http = require('https');
 
let reqOptions = {
    host: 'raw.githubusercontent.com',
    protocol: 'https:',
    path: '/fontello/awesome-uni.font/master/config.yml'
};
 
let callback = function(response) {
 
    response.on('data', function (src) {
        let data = src.toString();
        fs.writeFile('./temp/font.yml', data, function (err) {
            if (err) throw err;
        });
    });
};
 
http.request(reqOptions, callback);
http.on('error', (err) => {console.log(err);});
http.end();

Событие data вызывается несколько раз и в файл пишется не все данные, а только последняя часть, почему так происходит, т.е. почему data вызывается несколько раз?

@Custos · 03.06.2018, 14:48

Потому, что response - это Stream

@rodigy · 03.06.2018, 20:32 **[ТС]**

Custos, и как правильно делать, писать через стрим?
Можно пример небольшой?

@Custos · 04.06.2018, 08:00

rodigy, fs.createWriteStream

@muxahuk1214 · 06.06.2018, 20:19

Если до сих пор не понятно почему 'data' вызывается несколько раз:

Как уже заметили в комментариях request это стрим (Stream), что значит, что он может принимать (читать) данные на протяжении какого-то времени (пусть будет 10 сек. для примера).
Суть стримов в том, что они читают (или пишут) данные не все сразу, а по частям (т.е. если у вас текст длиной в 1000 символов, стрим может (тут нужно смотреть конкретную имплементацию разных стримов) читать 100 символов за раз (как пример).
Каждый раз когда он прочитал 100 символов Стрим отправит событие 'data' с этими 100 символами.
После того, как чтение завершено (что в нашем примере произойдет через 10 сек.) Стрим отправит событие 'end' что значит что больше нечего читать.
На практике, что бы получить все 1000 символов в 1-у переменную Вам нужно будет сделать что-то типо:

JavaScript
1
2
3
4
5
6
let string = '';
stream.on('data', (chunk) = string += chunk);
stream.on('end', () => {
  console.log(string);
  // в этот момент времени мы полностью закончили читать стрим и имеем все 1000 символов в переменной string
});

В частности в Вашем случае, т.к. вы хотите сохранить данные в файл, вы можете воспользоваться стримом файловой системы, которые идёт в "комплекте" с nodejs.
Что для этого нужно:
1. создать стрим с нужным файлом (т.е. грубо говоря присоедениться к файлу)
1.1 место где создавать (скоуп) зависит от того, хотите ли вы сохранять всё в 1 файл или разные
1.1.1 т.е. если 1-н файл то открываете "соединение" вне колбэка, что бы не делать это каждый раз
1.1.2 или в нутри колбека, если файлы разные (динамические названия и т.п.)
2. воспользоваться АПИ которое предоставляет nodejs (pipe) что бы передать данные из одного стрима в другой

JavaScript
1
2
3
4
5
const fs = require('fs');
const fileWriteStream = fs.createWriteStream('./my-file.txt');
const callback = (req) => {
  req.pipe(fileWriteStream);
};

Единственный минус о котором я могу догадаться (и не знаю правда это или нет):
Если вы будете делать много запросов одновременно и все они будут паралельно выполнятся, то может произзойти ситуация, когда req1 запишет chunk в файл, затем req2 запишет и затем опять req1 запишет..
т.е. т.к. req отправляет 'data' асинхронно, то в файле могут быть перемешаны строки из разных req.

Если такое возможно (и если это так на самом деле происходит, напомню что я не тестировал), то пофиксить это можно комбинацией 2-х примеров:

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
const fs = require('fs');
const fileWriteStream = fs.createWriteStream('./my-file.txt');
fileWriteStream.on('error', console.error);
let toWrite = [];
setInterval(() => {
  if (toWrite.length === 0) return;
  toWrite.forEach(liens => {
    liens.forEach(line => {
      fileWriteStream.write(line);
    });
  });
  toWrite = [];
}, 1000);
const callback = (req) => {
  let lines = [];
  req.on('data', lines.push);
  req.on('error', (e) => lines = [e]);
  req.on('end', () => {
    toWrite.push(lines);
  });
};

(пример корявый но думаю понятно что я пытался сделать)

@rodigy · 08.06.2018, 23:44 **[ТС]**

Да ясно стало после первого ответа, но все равно всем спасибо)

Новые блоги и статьи Все статьи Все блоги /
Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .

@Custos Software Engineer 332 / 336 / 55 Регистрация: 23.09.2014 Сообщений: 997
	03.06.2018, 14:48
	Потому, что response - это Stream 0

@rodigy 90 / 40 / 17 Регистрация: 24.10.2015 Сообщений: 577
	03.06.2018, 20:32 [ТС]
	Custos, и как правильно делать, писать через стрим? Можно пример небольшой? 0

@Custos Software Engineer 332 / 336 / 55 Регистрация: 23.09.2014 Сообщений: 997
	04.06.2018, 08:00
	rodigy, fs.createWriteStream 0

@rodigy 90 / 40 / 17 Регистрация: 24.10.2015 Сообщений: 577
	08.06.2018, 23:44 [ТС]
	Да ясно стало после первого ответа, но все равно всем спасибо) 0