Как обогнать grep?

@Pavlin27 · Регистрация: 24.09.2016

Студворк — интернет-сервис помощи студентам

Пока учусь только, исходник grep разобрать не по силам.

В общем, возникла идея написать программу, которая бы осуществляла поиск строк с ключевой фразой быстрее grep. Базируется она на том, что grep утилита универсальная и о структуре файла ей заранее ничего не известно, в отличие от подобной программы.
В качестве подопытного был взят лог dchp сервера. Поиск осуществляется по mac.

Для простоты сначала решил найти конкретную строчку.

C++
1
2
3
4
char str[305];
while(f.getline(str, 305)){
    if ((str[60] == '7') && (str[61] == 'b') && (str[63] == 'e') ...)
        printf ("%s\n", str);

grep оказался в 2-3 раза быстрее такого кода

попробовал, тоже самое через fgets, тоже самое - grep быстрее

попробовал через read из fcntl.h - также.

В итоге склоняюсь, к тому, что grep или другими механизмами файл читает, или задействует многоядерность процессора, или на данной машине какие-то ограничения на пользовательские программы (не знаю возможно ли такое).

Подскажите, пожалуйста, куда копать.

OxEED0 · 15.11.2017, 13:22

Сообщение от karat39

и память не закеширована?

Кеширование не зависит от того, как ты данные загрузил в память, mmap'ом, или read'ом.

@Pavlin27 · 18.11.2017, 01:51 **[ТС]**

Пока таким образом:

Кликните здесь для просмотра всего текста

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#include <stdio.h>
 
int main()
{
        FILE *f = fopen("log", "r");
        if (!f)
        {
                printf ("file not open\n");
                return -1;
        }
        long int str[30000];
        int cc = 0;
        while(cc = fread(str, 8, 30000, f))
        {
                int i = 0;
                while (i++ < cc )
                {
                        if ((i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ));
                }
        }
        fclose(f);
        return 0;

удалось пробежаться по файлу быстрее грепа на 30 мс (180 против 210)
Осталось теперь сформировать 8 сравнений с подстрокой длиной в 8 байт.

Правда будет засада, если компилятор преобразовал if ((i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc ) && (i < cc )); в if (i < cc );
В ином случае форы в 30 мс надеюсь хватить.

Завтра - послезавтра постараюсь проверить.

Кстати, 30 мс сэкономил, используя while (i++ < cc ) вместо for (in i = 0; i < 30000; i++)

@Pavlin27 · 20.11.2017, 21:53 **[ТС]**

Компилятор судя по всему вообще данное сравнение проигнорировал. Как только добавляешь реальные инструкции к данному сравнению, время значительно увеличивается.

Файл, на котором тестирую, 200 с лишним МБ. Так вот, если скомпилировать программу содержащую только 200 млн итераций, то она уже уступает grep по времени.

Добавлено через 4 часа 3 минуты
Чуть глаза не вытекли от чтения исходника grep, но решение нашел:

Кликните здесь для просмотра всего текста

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#include <string.h>
#include <stdio.h>
 
void print_string(char *p)
{
        char * k = p;
        int l = 0;
        while( k[--l] != '\n'){}
        while( k[++l] != '\n')
        {
                printf ("%c", k[l]);
        }
        printf ("\n");
        }
 
int main()
{
        FILE *f = fopen("log", "r");
 
        if (!f)
        {
                printf ("file not open\n");
                return -1;
        }
 
        char str[262144];
        int cc = 0;
        const char *c = "b8:70:f4:a4:05:94";
        while(cc = fread(str, 1, 262144, f))
        {
                char *p1 = str;
                char *p2 = &str[cc - 1];
                char *p3 = 0;
                *p2 = '\n';
 
                while (p2 > p1++)
                {
                        p3 = p1;
                        p1 = (char*)memchr(p1, '\n', 305);
                        p3 = (char*)memchr(p3, 'b', p1-p3);
                        if(p3)
                        {
                                if(memcmp(c, p3, 17) == 0)
                                        print_string(p3);
                        }
 
                }
        }
 
        fclose(f);
 
        return 0;
 
}

memchr ищет нужные символы быстрее, чем прохождение по буферу в цикле и сравнение каждого байта с заданным.

В таком виде время одинаковое получается, но думаю можно его улучшить будет

@Pavlin27 · 25.11.2017, 00:43 **[ТС]**

Пытался понять за счет чего memchr настолько быстрее обход осуществляет. Судя по той информации, что удалось найти, она на ассемблере написана. Т.к. те исходники, что удалось найти значительно уступают. Поздние версии, кстати, используют обход по лонг интам.

Новые блоги и статьи Все статьи Все блоги /
Оказывается, Unreal Engine позволяет качество на порядки выше, чем было в Lineedge Etyuhibosecyu 05.07.2026 Жаль, конечно, что я не узнал об этом, пока Lineedge существовала, а то бы Noname2331 написал, что волки превращаются в пиксельную кашу, а я бы его попросил скачать какую-нибудь бриллиантовую или Pro. . .	Doom для терминала без стрельбы и монстров. 3D Raycasting на ascii. dcc0 05.07.2026 Попросил нейронную сеть deepai. org написать рейкастинг 3D с библиотекой ncurses для Linux. Чтобы можно было ходить на стрелочки. Чтобы стены были отрисованы символами. Справилась. Первый вариант. . .	Установка статуса документа по условию Maks 05.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "НарядПутевка" разработанного в КА2. Задача: в табличной части "Материалы" документа при записи автоматически устанавливать статус. . .	Сезонность и суточность закисления почв anaschu 04.07.2026 200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет. Но обычно это 50 лет и более. Наверное, закисление почвы происходит сезонно в средней. . .
В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .	интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .	Сам себя обучал rest api anaschu 02.07.2026 Педагогический лайфхак: Почему чистый REST API для ученика намного круче, чем готовые библиотеки Когда мы отказались от капризного JAR-файла AnyLogic и переписали код на стандартный HttpClient,. . .

@Pavlin27 1 / 1 / 2 Регистрация: 24.09.2016 Сообщений: 15
	25.11.2017, 00:43 [ТС]
	Пытался понять за счет чего memchr настолько быстрее обход осуществляет. Судя по той информации, что удалось найти, она на ассемблере написана. Т.к. те исходники, что удалось найти значительно уступают. Поздние версии, кстати, используют обход по лонг интам. 0

Опции темы