Форум программистов, компьютерный форум, киберфорум
Node.js
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.56/9: Рейтинг темы: голосов - 9, средняя оценка - 4.56
Bender2009

Зависают все внешние соединения к сайтам

18.01.2014, 16:34. Показов 1828. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
На текущий момент мы имеем проблему, node.js скрипт, запускает сервер и ждет клиентов.
На запрос клиента, парсит сразу несколько сайтов (от 5 - 100) и одает в ответ отсортированные результаты.
При нагрузке от 50 обращенй в секунду, через 5-10 секунд после запуска начинают зависать все внешние соединения к сайтам которые нужно парсить, соединения обрываются по таймауту (получаем Error: socket hang up), но это ничего не дает любые новые так же зависают.

На самом сервере все возможные лимиты увеличины, проблема в самом node.js скрипте.

FreeBSD 9.2
Node.js 0.10.22

Пример скрипта в аттаче
JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
var http = require("http");
var https = require("https");
var _async = require('async');
 
 
function getPage(options, onResult) {
 
    var prot = options.port == 443 ? https : http;
 
    var req = prot.request(options, function (res) {
 
        res.setEncoding('utf8');
 
        var output = '';
 
        res.on('data', function (chunk) {
            output += chunk;
        });
 
        res.on('end', function () {
            onResult(null, res, output);
 
        });
    });
 
 
    req.on('error', function (err) {
        onResult(err, null, null);
    });
 
    if (options.timeout) {
        req.on('socket', function (socket) {
            socket.setTimeout(options.timeout);
            socket.on('timeout', function () {
                req.abort();
            });
        });
    }
 
 
    req.end();
}
 
 
function startServer(cfg, cb) {
 
    http.globalAgent.maxSockets = cfg.maxSockets;
 
    var server = http.createServer();
 
 
    server.listen(cfg.port, cfg.hostname);
 
//  server.on('listening', function(){
//      console.log("Start server(" + cfg.name +")", 'Listen [hostname:', cfg.hostname, "port:", cfg.port + "]");
//  });
//
//
    server.on('connection', function (socket) {
        socket.setNoDelay(); // Îòêëþ÷àåì àëãîðèòì Íàãëà.
    });
//
//
    server.on('clientError', function (exception) {
        console.log('Server: clientError', exception);
 
    });
 
 
    server.on('request', function (request, response) {
 
//        var body = '';
//        request.setEncoding('utf8');
//        request.on('readable', function () {
//            body+= this.read();
//        })
//        ;
//        request.on('end', function () {
//            console.log('ended');
//            console.log('Body: ' + body);
//        });
//        request.resume();
 
 
//        response.on('close', function () {
////            console.log('Server: close connect ')
//        });
 
//        if (cfg.timeout) {
//            request.socket.setTimeout(cfg.timeout); // 2 * 1000
//            request.socket.once('timeout', function () {
//                console.log('Server: timeout destroy');
//                request.socket.destroy();
//            });
//        }
 
 
        cb(request, response);
    });
 
 
    server.on('error', function (err) {
        console.error('Server:', err);
    });
 
}
 
 
//
function endXml(response, err, data) {
 
//res.header('Last-Modified', 'no-cache, must-revalidate');
 
    var xml = buildXml(err, data);
    // xml.length
    var length = (typeof xml == "string") ? Buffer.byteLength(xml, 'utf8') : 0;
//    console.log(length, xml.length);
 
    // no cache
    response.writeHead(200, {
        'Content-Type': "text/xml",
        'Expires': 'Thu, 19 Feb 1998 13:24:18 GMT',
        'Content-Length': length,
        'Cache-Control': 'no-cache, private, no-store, must-revalidate, max-stale=0, post-check=0, pre-check=0',
        'Pragma': 'no-cache' //,
//        'Connection': 'close',
    });
 
    response.end(xml); //endT
}
 
 
// ôîðìèðîâàíèå xml îòâåòà äëÿ êëèåíòà
function buildXml(err, data) {
 
    var diffFeed = stat.feedFinish - stat.feedStart;
    var diffRequests = stat.requestFinish - stat.requestStart;
 
    var buf = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>";
    buf += "<data>";
    buf += "<server ver=\"" + _config.ver + "\" r1=\"" + stat.requestStart + "\"  r2=\"" + stat.requestFinish + "\" r3=\"" + diffRequests + "\" f1=\"" + stat.feedStart + "\"  f2=\"" + stat.feedFinish + "\" f3=\"" + diffFeed + "\" fps=\"" + fps + "\" start=\"" + startTime + "\" />";
    buf += "<result>" + data + "</result>";
    buf += "</data>";
    return buf;
}
 
 
setInterval(function () {
    fps = fps_;
    fps_ = 0;
}, 1000);
 
 
 
// ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
// START
// for test: "node parser2.js 8080 production"
 
 
_config = {
 
    ver: '1.0',
    env: (process.argv.length > 3 && process.argv[3] == 'production') ? 'production' : 'development',
 
    server: {
        hostname: '0.0.0.0', // 0.0.0.0 / null/ ñëóøàòü óêàçàííûé àéïè, åñëè íå óêàçàíî ïðèíèìàòü êîííåêòû ñ ëþáîãî
        port: (process.argv.length > 1 && process.argv[2]) ? process.argv[2] : 8080,
        nagl: false,
        maxSockets: 60000, // for getPage
        timeout: 1000 * 4
    },
 
    // by default
    request: {
        timeout: 1000 * 3,
        agent: false
    },
 
    // sites for parsing
    providers: [
        {
            host: 'xml.intecppc.com',
            path: '/feed.php?aid=2000253&said=100&ip=66.55.44.33&q=******&ref=http://qwerty.com/&ua=Chrome&n=',
            port: 80
        },
        {
            host: '37.220.19.92',
            path: '/tester/xml.xml',
            port: 80
        },
        {
            host: 'stackoverflow.com',
            path: '/questions',
            port: 80
        },
        {
            host: 'www.google.com',
            path: '/',
            port: 80
        },
        {
            host: 'whoer.net',
            path: '/?test',
            port: 80
        },
        {
            host: 'example.com',
            path: '/?test',
            port: 80
        }
    ]
 
};
 
//console.log(_config);
 
 
var fps_ = 0;
var fps = 0;
var requestErrors = 0;
var startTime = new Date().toString();
 
 
var stat = {
    requestStart: 0, // ñêîëüêî çàïðîñîâ
    requestFinish: 0, // ñêîëüêî èç íèõ âåðíóëè ññûëêè
 
    feedStart: 0, // ñêîëüêî çàïðîñîâ xml ó ôèäîâ
    feedFinish: 0  // ñêîëüêî óñïåøíûõ
};
 
 
console.log('Parser ver', _config.ver);
console.log("Environment: " + _config.env);
console.log('Providers:', _config.providers.length);
console.log('Start server on ', _config.server.port, 'port');
 
 
startServer(_config.server, function (request, response) {
 
    fps_++;
    stat.requestStart++;
 
    var serverRequestUrl = request.url;
//    console.log(serverRequestUrl);
 
    // prepare array for requests
    var tmp = [];
    _config.providers.forEach(function (provider) {
 
        tmp.push(function (callback) {
 
            var opt = provider;
            opt.timeout = _config.request.timeout;
            opt.agent = _config.request.agent;
            opt.method = "GET";
 
            getPage(opt, function (error, resp, body) {
                var ok = null;
                if (!error) {
                    ok = {provider: provider, data: body.toString()};
                } else {
                    console.log(++requestErrors, '' + error, opt.host + opt.path);
                }
 
                callback(null, ok);
            });
 
        });
 
    });
 
 
    // start requests to providers
    _async.parallel(tmp, function (err, results) {
 
//        console.log(err, results);
 
        var providersData = [];
        for (var i = 0; i < results.length; i++) {
 
            stat.feedStart++;
 
            if (results[i] !== null && typeof results[i] == 'object') {
                providersData.push(results[i]);
                stat.feedFinish++;
            }
        }
 
 
        stat.requestFinish++;
//                    console.log('results',providersData);
        endXml(response, null, providersData.length);
        return;
 
 
    });
 
});
Вложения
Тип файла: txt server.js.txt (7.3 Кб, 10 просмотров)
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
18.01.2014, 16:34
Ответы с готовыми решениями:

Сложные внешние и внутренние соединения
Привет всем! Помогите разобраться со связями в таблицах. Есть 10+ таблиц. Главная таблица &quot;Лицевые счета&quot; A1 Через первичный...

СМА VESTEL VILMA 400T, Внешние соединения
Привет коллеги! Хотел бы уточнить, на разъём Х4 соединяется насос, а на Х10 прессостат-прав я или нет?

не работают сервисы Google, нет доступа к сайтам антивирусов и еще неоторым сайтам
не работают сервисы Гугл: Гмайл, Переводчик, карты и т.п., хотя сам аккаунт доступен, и поиск в гугле работает Также нет доступа к сайтам...

1
53 / 53 / 10
Регистрация: 25.09.2011
Сообщений: 264
13.02.2014, 18:34
Bender2009, маловероятно, но всё же: канал достаточно широкий, чтобы скачивать 5-100 страниц по 50 раз в секунду?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
13.02.2014, 18:34
Помогаю со студенческими работами здесь

Зависают все игры на нормальном железе
у меня зависают игры... система... 2,6 ггерц... оперативка 504( видюха 128(((( подскажите пожалуйста в чем проблема и что делать( даже не...

Зависают все игры на новом компьютере
зимой купили компьютер и почти сразу же он начал виснуть во время игр.(всех кроме контры)))) видеокарта GeForce GTS250 512mb ОЗУ 2гб...

Зависают все игры на nvidia geforce GT220
Здравствуйте.Сначало было нормально всё я играл потом вдруг начали появлятся на экране помехи всякие и тд.Я понял что сгорела видюха и...

Зависают все игры после непродолжительного геймплея
Уже неделю зависают все игры. дрова обновил, на вирусы проверил. все равно тормозят. сама система нормально работает. в редких случаях...

Все игры зависают после 2-3 минут геймплея
Помогите пожалуйста.у мня почти каждая игра зависает через 2-3 минут.драйвера обновил ! Windows xp sp 3...помогите пожалуйста че мне делать...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Символьное дифференцирование
igorrr37 13.02.2026
/ * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru