Аватар для blackeangel
19 / 10 / 1
Регистрация: 22.07.2015
Сообщений: 908

Ускорить работу

22.03.2023, 20:04. Показов 1411. Ответов 26
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет.
Написал программу, но скорость работы не радует, от слова совсем. Подскажите, как сделать шустрее. Пока что без разделения на потоки.
Вот код
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
//standart C++17
#include <iostream>
#include <fstream>
#include <filesystem>
#include <string>
#include <vector>
#include <regex>
#include <algorithm>
 
using namespace std;
 
std::string &replace(string &str, const string &from, const string &to)
{
    if (!from.empty())
    {
        size_t start_pos = str.find(from);
        if (start_pos != string::npos)
        {
            str.replace(start_pos, from.length(), to);
        }
    }
    return str;
}
 
std::string &replaceAll(string &str, const string &from, const string &to)
{
    if (!from.empty())
    {
        size_t start_pos = 0;
        while ((start_pos = str.find(from, start_pos)) != string::npos)
        {
            str.replace(start_pos, from.length(), to);
            start_pos += to.length();
        }
    }
    return str;
}
 
vector<string> recursive_dir(vector<string> path)
{
    vector<string> folder_files;
    for (int i = 0; i < path.size(); i++)
    {
        for (const auto &p : std::filesystem::recursive_directory_iterator(path.at(i)))
        {
            folder_files.push_back(p.path().string());
        }
    }
    return folder_files;
}
 
vector<string> list_dir(const std::filesystem::path &path)
{
    std::vector<std::string> names;
    for (const auto &entry : std::filesystem::directory_iterator(path))
    {
        if (is_directory(entry.path()))
        {
            names.push_back(entry.path().stem().string());
        }
    }
 
    return names;
}
 
vector<string> readlines(string file)
{
    vector<string> lines;
    ifstream open_file(file, ios::in);
    if (!open_file.is_open())
    {
        cout << file << " not found" << endl;
        exit(2);
    }
    for (std::string line; std::getline(open_file, line);)
        lines.push_back(line);
    open_file.close();
    return lines;
}
 
int main(int argc, char *argv[])
{
    if (argc != 3)
    {
        cout << "Usage:" << endl;
        cout << "util <folder> <file_list>" << endl;
        exit(1);
    }
 
    //argv to string -->
    vector<string> allArgs;
    if (argc > 1)
    {
        for (int i = 1; i < argc; ++i)
        {
            allArgs.push_back(argv[i]);
        }
    }
    //argv to string <---
    string config_path;
    string config_file;
    string name_img_path;
    vector<string> name_img;
    string gaapslist_file(allArgs.at(1));
    vector<string> gaapslist = readlines(gaapslist_file);
    vector<string> del_list;
 
    //analize root dir -->
    vector<string> root_dir_list = list_dir(allArgs.at(0));
    for (size_t i = root_dir_list.size(); i--;)
    {
        if (root_dir_list.at(i) == "config")
        {
            config_path = allArgs.at(0) + "/" + root_dir_list.at(i);
            root_dir_list.erase(root_dir_list.begin() + i);
        }
    }
    if (config_path == "")
    {
        cout << "Config file not found! Will be configurated from files..." << endl;
        for(int i =0; i < root_dir_list.size(); i++)
        {
           root_dir_list.at(i) = allArgs.at(0) + "/" + root_dir_list.at(i); 
        }
        name_img = recursive_dir(root_dir_list);
    }
    else
    {
        for (int i = 0; i < root_dir_list.size(); i++)
        {
            config_file = config_path + "/" + root_dir_list.at(i) + "/" + root_dir_list.at(i) + "_fs_config";
            vector<string> tmp= readlines(config_file);
            name_img.insert(name_img.end(), tmp.begin(), tmp.end());
        }
    }
    //analize root dir <--
    vector<string> name_img_clone = name_img;
    regex reg(" \\d{1,4} \\d{1,4} \\d{1,4}( .*)?");
    for (int i = 0; i < name_img_clone.size(); i++)
    {
        name_img_clone.at(i) = regex_replace(name_img_clone.at(i), reg, "");
    }
 
    for (int i = 0; i < name_img_clone.size(); i++)
    {
        for (int j = 0; j < gaapslist.size(); j++)
        {
            regex regtmp;
            try
            {
                regex r(gaapslist.at(j));
                regtmp = std::move(r);
            }
            catch (const std::regex_error &e)
            {
                std::cout << "Bad Regular Expression: " << "\"" << gaapslist.at(j) << "\", " << e.what() << '\n';
                if (e.code() == std::regex_constants::error_brack)
                {
                    std::cout << "The code was error_brack\n";
                }
                exit(-1);
            }
            smatch sm;
            if (regex_search(name_img_clone.at(i), sm, regtmp))
            {
                del_list.push_back(name_img_clone.at(i));
                break;
            }
        }
    }
    std::copy(del_list.begin(), del_list.end(), std::ostream_iterator<string>(cout, "\n"));
    cout << "\nAre you sure you want to delete these files/folders? Yes or No" << endl;
    string answer;
    cin >> answer;
    if (answer == "y" || answer == "yes" || answer == "Y" || answer == "Yes") {
        for (int i = 0; i < del_list.size(); i++) {
            string path = allArgs.at(0) + "/" + name_img_clone.at(i);
            if (std::filesystem::exists(path)) {
                //std::filesystem::remove_all(del_list.at(i));
                cout << "Deleted: " << del_list.at(i) << endl;
            }
        }
        if (config_path != "") {
            for(int i=0; i<root_dir_list.size(); i++) {
                config_file = config_path + "/" + root_dir_list.at(i) + "/" + root_dir_list.at(i) + "_fs_config";
                vector<string> tmp= readlines(config_file);
                for(int j=0; j<tmp.size(); j++){
                    tmp.at(j) = regex_replace(tmp.at(j), reg, "");
                    for(int k=0; k<del_list.size(); k++) {
                        if(tmp.at(j) == del_list.at(k)){
                            tmp.at(j) = "";
                        }
                    }
                }
                //delete empty elements from vector -->
                auto isEmptyOrBlank = [](const std::string &s) {
                    return s.find_first_not_of("") == std::string::npos;
                };
                tmp.erase(std::remove_if(tmp.begin(), tmp.end(), isEmptyOrBlank), tmp.end());
                //delete empty elements from vector <--
 
                //write vector to file -->
                std::fstream config(config_file, ios::out);
                std::copy(tmp.begin(), tmp.end(), std::ostream_iterator<string>(config, "\n"));
                //write vector to file <--
            }
        }
    }
    else
    {
        exit(0);
    }
    return 0;
}
Собственно, что задумано:
Входные параметры: папка и файл с регулярными выражениями. Сканируется корневая папка( которая входная), если в ней есть папка с именем config, то тогда открываем её и берём за основу с работой файл с именем имя следующей папки. И читаем это содержимое. Потом циклом крутим содержимое файла с регулярными выражениями и содержимое того файла. Если совпало, то кладём в вектор, чтобы потом спросить у пользователя удалять их или нет. Если удалять, то необходимо их удалить и удалить записи в файле, который лежит в папке config.
Если папки config нет, то делаем рекурсивный поиск всех файлов и папок,делаем аналогичный список, прочтеному файлу, и так же проверяем его, так же спрашиваем удалить или нет. Если удалить, то просто удаляем, ниоткуда больше исключать не надо.
Так вот кручение 2х векторов занимает что то много времени, аж до 2х минут.
0
Лучшие ответы (1)
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
22.03.2023, 20:04
Ответы с готовыми решениями:

Ускорить работу функций
Здравствуйте. Не подскажете как можно ускорить работу функций в цикле? А то линия получается прерывистой, когда быстро водишь мышкой. ...

Ускорить работу программы
Лексикографический порядок чисел (Время: 1 сек. Память: 16 Мб Сложность: 31%) Натуральные числа от 1 до N упорядочены...

Как ускорить работу?
Прога ещё не доработана, сейчас интересует именно графический режим, когда нажимается клавиша 1-4 один из 4-х квадратов должен...

26
фрилансер
 Аватар для Алексей1153
6482 / 5708 / 1132
Регистрация: 11.10.2019
Сообщений: 15,222
23.03.2023, 11:54
Студворк — интернет-сервис помощи студентам
NEED-A-JOB, blackeangel, к слову, регулярка - это обычно довольно медленно. Для частного случая можно расстараться и сделать ручную реализацию, если упор делается именно на скорость

Добавлено через 1 минуту
но для начала можно флажок optimize опробовать (объект регвыра надо будет создать вне циклов, конструктор будет медленный)
1
118 / 86 / 35
Регистрация: 07.11.2022
Сообщений: 355
23.03.2023, 12:04
Цитата Сообщение от NEED-A-JOB Посмотреть сообщение
регулярки штука небыстрая . по возможности, нужно от них избавляться

Не по теме:

Алексей1153, с++ и регулярка для меня вообще несовместимые вещи )
такую задачу консольными утилитами порешал бы .

0
фрилансер
 Аватар для Алексей1153
6482 / 5708 / 1132
Регистрация: 11.10.2019
Сообщений: 15,222
23.03.2023, 12:08
NEED-A-JOB, а что так? Очень удобная и стандартная вещь. Когда скорость не особо важнА, регексп просто сияет ( разбор данных с модема, разбор логов). Но когда упор на скорость (а это не так уж часто требуется, да и случаи обычно частные), то вручную, это да
1
 Аватар для blackeangel
19 / 10 / 1
Регистрация: 22.07.2015
Сообщений: 908
23.03.2023, 14:23  [ТС]
NEED-A-JOB, то что тут происходит - дело понятное. Это регулярка по выявлению в строке что то типа
Code
1
2000 2000 2000 и тут какой то текст
Если есть в строке, такое конечно. Ну и дальше заменяем на ничего, чтобы получился просто путь до файла/папки. На этот момент обращать внимания не стоит, он работает правильно и достаточно шустро, в меру своих возможностей.

Нужно знать что за файлы и какие регулярки.
Не обязательно, тк от регулярок решил отказаться в пользу скорости - аля string::find.
Лучше сделать минимальный пример программы , где можно понять в чем проблема.
А что тут создавать? Скомпилить программу, засунуть в архив, и папку и текстовый файл с вымышленными строками?
Так скомпилить - вроде могут все, код весь тут на форуме, создать текстовый файл и прописать него 3-4 слова. И потом это все натравить на собранную программу(путь к любой папке, с любыми файлами и путь к текстовому файлу со строками) вроде не так сложно, сделать даже не закрывая VS или другой ide.

Добавлено через 9 минут
NEED-A-JOB, bash + find + grep

Добавлено через 2 часа 2 минуты
NEED-A-JOB, Спасибо за отказ в регулярках для скорости. За правки в коде. Вопрос о не работе string::find снят. Всё заработало
Проблема оказалась там, где её не ждали - файл с которого читали подстроки оказался в непонятной кодировке, а не utf-8, как предполагалось изначально.

Добавлено через 1 минуту
Алексей1153, флажок попробовал, профита сильного не получилось, всё равно более 111769 ms, без регулярок - 8 сек
1
фрилансер
 Аватар для Алексей1153
6482 / 5708 / 1132
Регистрация: 11.10.2019
Сообщений: 15,222
23.03.2023, 14:24
blackeangel, я сразу сказал, что регулярки - тормоз
0
 Аватар для blackeangel
19 / 10 / 1
Регистрация: 22.07.2015
Сообщений: 908
23.03.2023, 14:27  [ТС]
Алексей1153, но они такие удобные, особенно когда надо найти неизвестно что, но известно, что примерно вот так,а может вот, а может вот и вот так и вот и вот эдак )
0
фрилансер
 Аватар для Алексей1153
6482 / 5708 / 1132
Регистрация: 11.10.2019
Сообщений: 15,222
23.03.2023, 14:29
blackeangel, они потому и удобные, что гибкие. Гибкость == потеря скорости. Если нужно искать что-то специализированное быстро (и где гибкость не нужна), то делается "ручной" парсер
2
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
23.03.2023, 14:29
Помогаю со студенческими работами здесь

Как ускорить работу с файлами?
Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит...

Задача про рюкзак - ускорить работу программы
Вообщем есть алгоритм, который работает правильно за O(N*W), поэтому при больших значениях будет очень долго считать, нужно изменить так,...

Подскажите пожалуйста как ускорить работу программы!
Есть задача :&quot;Во входном файле (вы можете читать данные из файла input.txt) записан текст. Словом считается последовательность непробельных...

Можно ли как нибудь ускорить работу цикла for?
Подскажите пожалуйста - можно ли как нибудь ускорить работу цикла for? Заранее сильно благодарен!

Как ускорить работу (поиск вхождений подстроки)?
//подсчет kf int NumberKF(string &amp;P, vector&lt;string&gt; &amp; F, const int f){ int kf =0; for(size_t i = 0; i &lt; f; ++i){ //обход по...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
27
Ответ Создать тему
Опции темы

Новые блоги и статьи
FSharp: interface of module
DevAlt 16.05.2026
Интерфейс модуля F# позволяет управлять доступностью членов, содержащихся в реализации модуля. По-умолчанию все члены модуля доступны: module Foo let x = 10 let boo () = printfn "boo" . . .
Хитросплетение родственных связей пантеона греческих богов.
russiannick 14.05.2026
Однооконник, позволяющий узреть и изучить отдельных героев древней Греции. <!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible". . .
[golang] Угол между стрелками часов
alhaos 12.05.2026
По заданным значениям часа и минуты необходимо определить значение меньшего угла между стрелками аналогового циферблата часов. import "math" func angleClock(hour int, minutes int) float64 { . . .
Debian 13: Установка Lazarus QT5
ВитГо 09.05.2026
Эта инструкция моя компиляция инструкций volvo https:/ / www. cyberforum. ru/ blogs/ 203668/ 10753. html и его же старой инструкции по установке Lazarus с gtk2. . .
Нейросеть на алгоритме "эстафета хвоста" как перспектива.
Hrethgir 06.05.2026
На десерт, когда запущу сервер. Статья тут https:/ / habr. com/ ru/ articles/ 1030914/ . Автор я сам, нейросеть только помогает в вопросах которые мне не известны - не знаю людей которые знали-бы. . .
Асинхронный приём данных из COM-порта
Argus19 01.05.2026
Асинхронный приём данных из COM-порта Купил на aliexpress термопринтер QR701. Он оказался странным. Поключил к Arduino Nano. Был очень удивлён. Наотрез отказывается печатать русские буквы. Чтобы. . .
попытка написать игровой сервер на C++
pyirrlicht 29.04.2026
попытка написать игровой сервер на плюсах с открытым бесконечным миром. возможно получится прикрутить интерпретатор питон для кастомизации игровой логики. что есть на текущий момент:. . .
Контроль уникальности выбранного документа-основания при изменении реквизита
Maks 28.04.2026
Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРемонтСпецтехники", разработанного в КА2. Задача: уведомлять пользователя, если указанная заявка (документ-основание). . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru