Форум программистов, компьютерный форум, киберфорум
LostCoast
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  

Мониторинг NGINX сервера с помощью Lua

Запись от LostCoast размещена 28.06.2015 в 18:56
Показов 7471 Комментарии 0
Метки lua, monitoring, nginx

Всем привет. В данной статье я расскажу как легко и просто можно организовать сбор данных с веб сервера NGINX при помощи модуля Lua. Статья подразумевает, что читатель знаком с NGINX и Lua.

Начнем. Для начала создадим конфигурационный файл для NGINX, в котором будет создан мини-сервер для получения данных.

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#специальная переменная (хэш-таблица), которая будет общей для всех воркеров nginx
lua_shared_dict requests_counter 20m;
#добавляем обработчик, который будет срабатывать на каждом обработанном запросе (фаза логирования)
log_by_lua_file '/path/to/lua/counter.lua'; 
 
server {
    listen       127.0.0.1:8890;
 
    server_name ams.local;
 
    #простой вывод содержимого по принципу ключ-значение 
    location /monitor {
        content_by_lua '
            local keys = ngx.shared.requests_counter:get_keys(100000)
            for _, ip in pairs(keys) do
                ngx.say(ip .. ";" .. ngx.shared.requests_counter:get(ip))
            end
        ';
    }
}
После этого, создадим файл "/path/to/lua/counter.lua" и напишем в нем следующее:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
-- ссылка на таблицу
local requests = ngx.shared.requests_limit; 
 
local function monitor()
    -- ключ для таблицы - имя сервера, к которому было обращение
    local key = ngx.var.server_name;    
    -- ответ сервера
    local status = ngx.var.status;
    -- ссылка на таблицу
    local list = ngx.shared.requests_counter;
    -- список "плохих" ответов
    local banned_statuses = { ['444'] = true, ['408'] = true, ['449'] = true, ['400'] = true };
 
    local keys = {
        ["a"] = key .. ";all", 
        ["be"] = key .. ";backend", 
        ["bn"] = key .. ";banned",
        ["ajax"] = key .. ";ajax", 
        ["bs"] = key .. ";bytes"
    };
 
    -- для каждого ключа делаем проверку, если он не существует, дабавляем его
    for _, _key in pairs(keys) do
        local temp_val = list:get(keys[_key]);
 
        if temp_val == nil then
            list:add(_key, 0);
        end
 
        -- я сделал ограничение на максимальное число, так как не знаю, что будет, когда превысится лимит. Может кто подскажет? Будет ли это значение 0 или каким-то специальным?
        if temp_val and temp_val >= 70368744177664 then --math.pow(2, 46) value
            list:set(_key, 0);
        end
    end
 
    list:incr(keys.a, 1);
  
    -- если есть ответ от бэкенд сервера
    if ngx.var.upstream_status ~= nil then
        list:incr(keys.be, 1);
    end
 
    -- если ответ в списке "плохих"
    if banned_statuses[status] then
        list:incr(keys.bn, 1);
    end
   
    -- если есть заголовок к запросе
    if ngx.header['X-Requested-With'] ~= nil then
        list:incr(keys.ajax, 1);
    end
 
    -- если в ответе есть данные
    if ngx.var.body_bytes_sent ~= nil then
        list:incr(keys.bs, ngx.var.body_bytes_sent);
    end
end
 
monitor();
Теперь можно перезагрузить nginx сервер и собирать с него данные, например с помощью CURL: curl http://127.0.0.1:8890/monitor

Нажмите на изображение для увеличения
Название: dc0d82ee80.jpg
Просмотров: 984
Размер:	34.3 Кб
ID:	3206

Код, написанный на Lua, собирает следующую статистику для каждого заведенного сервера: общее кол-во обращений, кол-во запросов, отправленных до бэкенд сервера, кол-во ajax запросов, кол-во "забаненных" или "ошибочных" запросов, и кол-во отданных байт, т.е. считаем трафик.

Эти данные выводятся в удобно формате для парсинга. Так что, написав простой парсер, можно собирать эти данные в БД и строить по ним графики.

Спасибо за прочтение!

З.Ы. Я также пишу в своем личном блоге статьи на английском (пока только начал, строго не судите ). Кому интересно вот ссылка. Там я буду продолжать выкладывать свои интересные наработки.

З.Ы.Ы. Также я выкладываю на github обновления.
Метки lua, monitoring, nginx
Размещено в Без категории
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Всего комментариев 0
Комментарии
 
Новые блоги и статьи
[golang] Двоичная куча, min-heap
alhaos 20.05.2026
Двоичная куча Двоичная куча — структура данных, которая всегда держит самый важный элемент наготове. Представьте очередь к хилеру в игре, и очередь из игроков в приоритете те у кого меньше. . .
[golang] Breadth-First Search
alhaos 19.05.2026
BFS (Breadth-First Search) — это базовый алгоритм обхода графа в ширину, который поуровнево исследует все связанные вершины. Он начинает с выбранной точки и проверяет всех соседей, прежде чем. . .
[golang] Алгоритм «Хак Госпера»
alhaos 17.05.2026
Алгоритм «Хак Госпера» Хак Госпера (Gosper's Hack) — алгоритм нахождения следующего по величине числа с тем же количеством установленных бит. Придуман Биллом Госпером в 1970-х, опубликован в. . .
Рисование бинарного древа до 6-го колена на js, svg.
russiannick 17.05.2026
<svg width="335" height="240" viewBox="0 0 335 240" fill="#e5e1bb"> <style> <!]> </ style> <g id="bush"> </ g> </ svg> function fn(){ let rost;/ / высота древа let xx=165,yy=210,w=256;
FSharp: interface of module
DevAlt 16.05.2026
Интерфейс модуля F# позволяет управлять доступностью членов, содержащихся в реализации модуля. По-умолчанию все члены модуля доступны: module Foo let x = 10 let boo () = printfn "boo" . . .
Хитросплетение родственных связей пантеона греческих богов.
russiannick 14.05.2026
Однооконник, позволяющий узреть и изучить отдельных героев древней Греции. <!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible". . .
[golang] Угол между стрелками часов
alhaos 12.05.2026
По заданным значениям часа и минуты необходимо определить значение меньшего угла между стрелками аналогового циферблата часов. import "math" func angleClock(hour int, minutes int) float64 { . . .
Debian 13: Установка Lazarus QT5
ВитГо 09.05.2026
Эта инструкция моя компиляция инструкций volvo https:/ / www. cyberforum. ru/ blogs/ 203668/ 10753. html и его же старой инструкции по установке Lazarus с gtk2. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru