Поиск ботов, по нескольким условиям

@Duke_Nukem147 · Регистрация: 08.07.2015

Студворк — интернет-сервис помощи студентам

Добрый день, есть лог-файл, в нем я должен найти ботов. Боты, это те пользователи, что делают вход, смену пароля и выход из системы в течении одной секунду, т.е. в одно и тоже время.

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Mon, 22 Aug 2016 13:15:39 +0200|178.57.66.225|fxsciaqulmlk| - |user logged in| -
Mon, 22 Aug 2016 13:15:39 +0200|178.57.66.225|fxsciaqulmlk| - |user changed password| -
Mon, 22 Aug 2016 13:15:39 +0200|178.57.66.225|fxsciaqulmlk| - |user logged off| -
Mon, 22 Aug 2016 13:15:42 +0200|178.57.66.225|faaaaaa11111| - |user logged in| -
Mon, 22 Aug 2016 13:15:49 +0200|178.57.66.215|terdsfsdfsdf| - |user logged in| -
Mon, 22 Aug 2016 13:15:49 +0200|178.57.66.215|terdsfsdfsdf| - |user changed password| -
Mon, 22 Aug 2016 13:15:49 +0200|178.57.66.215|terdsfsdfsdf| - |user logged off| -
Mon, 22 Aug 2016 13:15:59 +0200|178.57.66.205|erdsfsdfsdf| - |user logged in| -
Mon, 22 Aug 2016 13:15:59 +0200|178.57.66.205|erdsfsdfsdf| - |user logged in| -
Mon, 22 Aug 2016 13:15:59 +0200|178.57.66.205|erdsfsdfsdf| - |user changed password| -
Mon, 22 Aug 2016 13:15:59 +0200|178.57.66.205|erdsfsdfsdf| - |user logged off| -
Mon, 22 Aug 2016 13:17:50 +0200|178.57.66.205|abcbbabab| - |user logged in| -
Mon, 22 Aug 2016 13:17:50 +0200|178.57.66.205|abcbbabab| - |user changed password| -
Mon, 22 Aug 2016 13:17:50 +0200|178.57.66.205|abcbbabab| - |user changed profile| -
Mon, 22 Aug 2016 13:17:50 +0200|178.57.66.205|abcbbabab| - |user logged off| -
Mon, 22 Aug 2016 13:19:19 +0200|178.56.66.225|fxsciulmla| - |user logged in| -
Mon, 22 Aug 2016 13:19:19 +0200|178.56.66.225|fxsciulmla| - |user changed password| -
Mon, 22 Aug 2016 13:19:19 +0200|178.56.66.225|fxsciulmla| - |user logged off| -
Mon, 22 Aug 2016 13:20:42 +0200|178.57.67.225|faaaa0a1111| - |user logged in| -

Еще, мне нужно обязательно выделить для каждого пользователя только три операции:
user logged in, user changed password, user logged off.

С вышеуказанного лога, по первому пользователю могу сказать, что он бот:
одинаковое время выполнения входа, смены пароля и выхода из системы - 13:15:39

Показываю тело скрипта, что это делает:

Bash
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
#объявляю файлы
log_file=/root/log2
log_after=/root/after_log
temp_file=/root/temp
temp_file2=/root/temp2
uniq_file=/root/uniq
uniq_file2=/root/uniq2
result_uniq=/root/result_uniq
 
#чищу их
cat /dev/null > $log_after
cat /dev/null > $temp_file
cat /dev/null > $temp_file2
cat /dev/null > $uniq_file
cat /dev/null > $uniq_file2
cat /dev/null > $result_uniq
 
#вывожу только операции входа в систему, смены пароля и выхода в новый лог
grep "changed password\|logged in\|logged off" $log_file > $log_after
#вывожу имя пользователя и айпишник в отдельный файл
cat $log_after | awk '{print $6}' | awk -F "|" '{print $2,$3}' >  $temp_file
#вывожу время в отдельный файл
cat $log_after | awk '{print $5}' > $temp_file2
#считаю уникальные значения по пользователям
uniq -c $temp_file | awk '{print $1}' > $uniq_file
#считаю уникальные значения по времени
uniq -c $temp_file2 | awk '{print $1}' > $uniq_file2
 
#сравниваю два файла с уникальными значениями, если
#значения с одинаковым временем и одинаковым именем
#пользователя совпадает, мы получим пустой файл
awk 'FNR==NR{a[$1]++;next}!a[$1]' $uniq_file  $uniq_file2  > $result_uniq
 
if [ -s $result_uniq ] && [ -f $result_uniq ]; then
 echo "File is not  empty"
 echo "Differences:"
 cat $result_uniq
 echo "Need to think"
 exit 0
else
 echo "File is empty"
 echo "We can use one file from uniq"
fi
 
#если мы получаем пустой файл, то мы можем использовать любой из
#темповских файлов для отображения, кто бот, если количество уникальных 
#значений больше двух, значит это бот
uniq -c $temp_file | awk '{ if ($1 > 2)  print "The bot is user",$3,"with ip",$2 }'

По сути получаем такой вывод:

Bash
1
2
3
4
5
6
7
File is empty
We can use one file from uniq
The bot is user fxsciaqulmlk with ip 178.57.66.225
The bot is user terdsfsdfsdf with ip 178.57.66.215
The bot is user erdsfsdfsdf with ip 178.57.66.205
The bot is user abcbbabab with ip 178.57.66.205
The bot is user fxsciulmla with ip 178.56.66.225

Но это по сути ерунда, хотелось бы, если у Вас есть другие, более корректные идеи по решению этого задания, хотелось бы их услышать. Спасибо, за внимание.

@Marinero · 07.02.2017, 13:04

Bash
1
2
3
4
5
6
7
8
9
10
11
sed '
    :1
    $! N
    /\([^|]\+|\).*\n\1/s/\n/ /
    t1
    /logged in.*changed password.*logged off/! D
    s/[^|]\+|\([^|]\+\)|\([^|]\+\)|[^\n]*/The  user \2 with ip \1 is BOT/
    P
    D
    ' log.file |
sort -u

volodin661 · 07.02.2017, 20:00

Bash
1
2
3
4
5
6
7
8
perl -ne'
    ($key,$value) = split/[ ][-]/;
 
    push @{ $x{$key} }, $value;
 
    END { print @$aref > 1 ? "$key!!!БОТ!!!\n" : "" while ($key,$aref) = each %x } 
        ' log.file |
sort -u

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .