Форум программистов, компьютерный форум, киберфорум
LostCoast
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  

Мониторинг NGINX сервера с помощью Lua

Запись от LostCoast размещена 28.06.2015 в 18:56
Показов 7279 Комментарии 0
Метки lua, monitoring, nginx

Всем привет. В данной статье я расскажу как легко и просто можно организовать сбор данных с веб сервера NGINX при помощи модуля Lua. Статья подразумевает, что читатель знаком с NGINX и Lua.

Начнем. Для начала создадим конфигурационный файл для NGINX, в котором будет создан мини-сервер для получения данных.

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#специальная переменная (хэш-таблица), которая будет общей для всех воркеров nginx
lua_shared_dict requests_counter 20m;
#добавляем обработчик, который будет срабатывать на каждом обработанном запросе (фаза логирования)
log_by_lua_file '/path/to/lua/counter.lua'; 
 
server {
    listen       127.0.0.1:8890;
 
    server_name ams.local;
 
    #простой вывод содержимого по принципу ключ-значение 
    location /monitor {
        content_by_lua '
            local keys = ngx.shared.requests_counter:get_keys(100000)
            for _, ip in pairs(keys) do
                ngx.say(ip .. ";" .. ngx.shared.requests_counter:get(ip))
            end
        ';
    }
}
После этого, создадим файл "/path/to/lua/counter.lua" и напишем в нем следующее:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
-- ссылка на таблицу
local requests = ngx.shared.requests_limit; 
 
local function monitor()
    -- ключ для таблицы - имя сервера, к которому было обращение
    local key = ngx.var.server_name;    
    -- ответ сервера
    local status = ngx.var.status;
    -- ссылка на таблицу
    local list = ngx.shared.requests_counter;
    -- список "плохих" ответов
    local banned_statuses = { ['444'] = true, ['408'] = true, ['449'] = true, ['400'] = true };
 
    local keys = {
        ["a"] = key .. ";all", 
        ["be"] = key .. ";backend", 
        ["bn"] = key .. ";banned",
        ["ajax"] = key .. ";ajax", 
        ["bs"] = key .. ";bytes"
    };
 
    -- для каждого ключа делаем проверку, если он не существует, дабавляем его
    for _, _key in pairs(keys) do
        local temp_val = list:get(keys[_key]);
 
        if temp_val == nil then
            list:add(_key, 0);
        end
 
        -- я сделал ограничение на максимальное число, так как не знаю, что будет, когда превысится лимит. Может кто подскажет? Будет ли это значение 0 или каким-то специальным?
        if temp_val and temp_val >= 70368744177664 then --math.pow(2, 46) value
            list:set(_key, 0);
        end
    end
 
    list:incr(keys.a, 1);
  
    -- если есть ответ от бэкенд сервера
    if ngx.var.upstream_status ~= nil then
        list:incr(keys.be, 1);
    end
 
    -- если ответ в списке "плохих"
    if banned_statuses[status] then
        list:incr(keys.bn, 1);
    end
   
    -- если есть заголовок к запросе
    if ngx.header['X-Requested-With'] ~= nil then
        list:incr(keys.ajax, 1);
    end
 
    -- если в ответе есть данные
    if ngx.var.body_bytes_sent ~= nil then
        list:incr(keys.bs, ngx.var.body_bytes_sent);
    end
end
 
monitor();
Теперь можно перезагрузить nginx сервер и собирать с него данные, например с помощью CURL: curl http://127.0.0.1:8890/monitor

Нажмите на изображение для увеличения
Название: dc0d82ee80.jpg
Просмотров: 897
Размер:	34.3 Кб
ID:	3206

Код, написанный на Lua, собирает следующую статистику для каждого заведенного сервера: общее кол-во обращений, кол-во запросов, отправленных до бэкенд сервера, кол-во ajax запросов, кол-во "забаненных" или "ошибочных" запросов, и кол-во отданных байт, т.е. считаем трафик.

Эти данные выводятся в удобно формате для парсинга. Так что, написав простой парсер, можно собирать эти данные в БД и строить по ним графики.

Спасибо за прочтение!

З.Ы. Я также пишу в своем личном блоге статьи на английском (пока только начал, строго не судите ). Кому интересно вот ссылка. Там я буду продолжать выкладывать свои интересные наработки.

З.Ы.Ы. Также я выкладываю на github обновления.
Метки lua, monitoring, nginx
Размещено в Без категории
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Всего комментариев 0
Комментарии
 
Новые блоги и статьи
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
Фото: Daniel Greenwood
kumehtar 13.11.2025
Расскажи мне о Мире, бродяга
kumehtar 12.11.2025
— Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru