Форум программистов, компьютерный форум, киберфорум
Наши страницы
С++ для начинающих
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.80/5: Рейтинг темы: голосов - 5, средняя оценка - 4.80
Степан_888
1 / 1 / 1
Регистрация: 07.04.2016
Сообщений: 237
1

Мониторинг изменений файлов каталога

16.02.2018, 07:56. Просмотров 933. Ответов 12
Метки нет (Все метки)

Доброго времени суток коллеги. Подскажите, есть у кого может исходники подобной программы (Мониторинг изменений файлов каталога)? Мыслей вообще никаких, а написать необходимо. Или статьи какие нибудь? Буду очень признателен за любую информацию.
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
16.02.2018, 07:56
Ответы с готовыми решениями:

Написать программу, которая обеспечивает:начальное формирование каталога файлов;вывод каталога файлов;удаление файлов...
Уважаемые хакеры!Прошу вашей помощи!Я в СИ не особо шарю.((( А на днях уже сдавать.Очень...

Мониторинг каталога на предмет изменения содержимого
Нужно написать функция (или подпрограмму) которая мониторит каталог. Если какой либо файл в...

Отслеживание изменений файлов на компьютере
Здравствуйте. Прошу помощи, задача написать программу отката, т.е. как функция восстановления...

Вывод файлов из каталога
Пытался написать программу для вывода файлов и удаление одного из них. Нашел структуру...

Вывести список файлов каталога
Задача чуть другая, но напишите такой пример пожалуйста.

12
Croessmah
++Ͻ
15723 / 8874 / 1702
Регистрация: 27.09.2012
Сообщений: 21,835
Записей в блоге: 2
Завершенные тесты: 2
16.02.2018, 08:53 2
Хабрахабр: Слежение за изменениями в директории: как это делается в разных ОС
0
igorrr37
2036 / 1601 / 799
Регистрация: 21.12.2010
Сообщений: 2,751
Записей в блоге: 10
16.02.2018, 23:15 3
При первом запуске прога сканирует каталог и заносит в БД характеристики файлов (путь к файлу, его размер, дату последнего редактирования). При последующих запусках опять сканирует и сверяет с БД, и если есть изменения - сообщает
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
#include <iostream>
#include <filesystem>
#include <fstream>
#include <chrono>
#include <ctime>
#include <iomanip>
#include <cstdlib>
#include <string>
#include <type_traits>
#include <vector>
#include <regex>
#include <sstream>
#include <algorithm>
#include <clocale>
namespace fs = std::experimental::filesystem;
using fSizeType = decltype(fs::file_size(std::declval<fs::path>()));
 
// запись файла БД
struct entry
{
    std::string path; // путь к файлу (поддиректории)
    fSizeType fSize = 0; // размер файла
    time_t lwt = 0; // время последнего редактирования файла 
    bool operator==(entry const& rhs) const
    {
        return path == rhs.path && fSize == rhs.fSize && lwt == rhs.lwt;
    }
};
 
int main()
{
    setlocale(LC_CTYPE, "rus");
    std::string timeFormat = "%Y-%m-%d %T";
    fs::path dirPath("c:/newFolder"); // директория для мониторинга
    fs::path dbPath("db.txt"); // файл БД
    //fs::remove(dbPath);
    if (!fs::exists(dbPath)) // если файл БД не сущ-вует, то он создаётся
    {
        std::ofstream ofs(dbPath);
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                ofs << std::setw(50) << std::left << ib->path();
                if (fs::is_regular_file(ib->path()))
                {
                    time_t secNow = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                    ofs << '*' << std::setw(12) << std::left << fs::file_size(ib->path()) << '*' << std::put_time(std::localtime(&secNow), timeFormat.c_str());
                }
            }
            ofs << '\n';
        }
 
        ofs.clear();
        ofs.close();
    }
    else // если файл БД сущ-вует, то проверяем наличие изменений
    {
        // парсим записи файла БД
        std::ifstream ifs(dbPath);
        if (!ifs.is_open())
        {
            std::cerr << "DB file not opened\n";
            exit(1);
        }
        std::vector<entry> vec;
        std::string str;
        std::regex regFile("(.+?) *?\\*(\\d+?) *?\\*(.+)"), regDir("(.+?) *?");
        std::smatch res;
        while (std::getline(ifs, str))
        {
            vec.emplace_back(entry());
            if (std::regex_match(str, res, regFile))
            {
                vec.back().path = res[1];
                vec.back().fSize = std::stoull(res[2]);
                std::tm t = {};
                std::istringstream(res[3]) >> std::get_time(&t, timeFormat.c_str());
                vec.back().lwt = std::mktime(&t);
            }
            else if (std::regex_match(str, res, regDir))
            {
                vec.back().path = res[1];
            }
        }
 
        // сравниваем записи файла БД с тем что есть в директории 
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                entry tmp = {ib->path().string(), 0, 0};
                if (fs::is_regular_file(ib->path()))
                {
                    tmp.fSize = fs::file_size(ib->path());
                    tmp.lwt = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                }
                auto it = std::find(vec.begin(), vec.end(), tmp);
                if (vec.end() == it)
                {
                    std::cout << "Modified: " << ib->path() << '\n';
                }
                else
                {
                    vec.erase(it);
                }
            }
        }
        for (auto const& val : vec)
        {
            std::cout << "Modified: " << val.path << '\n';
        }
    }
}
1
Степан_888
1 / 1 / 1
Регистрация: 07.04.2016
Сообщений: 237
20.02.2018, 08:34  [ТС] 4
igorrr37, Спасибо Ругается на 15 строчку. Компилирую в Dev-C++
0
20.02.2018, 08:34
igorrr37
2036 / 1601 / 799
Регистрация: 21.12.2010
Сообщений: 2,751
Записей в блоге: 10
20.02.2018, 08:52 5
Степан_888, я этот код писал в VS2017, ну, то есть компилятор должен поддерживать с++17 стандарт. Накрайняк можно под библиотеку boost переделать - там тоже есть filesystem и regex. А вообще это задание походу на winapi делать надо по-хорошему
0
Croessmah
++Ͻ
15723 / 8874 / 1702
Регистрация: 27.09.2012
Сообщений: 21,835
Записей в блоге: 2
Завершенные тесты: 2
20.02.2018, 08:55 6
нафиг
0
igorrr37
2036 / 1601 / 799
Регистрация: 21.12.2010
Сообщений: 2,751
Записей в блоге: 10
20.02.2018, 09:13 7
возможно, такое прокатит namespace fs = std::filesystem;
0
DaemonX
0 / 0 / 0
Регистрация: 05.04.2019
Сообщений: 19
05.04.2019, 01:04 8
Цитата Сообщение от igorrr37 Посмотреть сообщение
При первом запуске прога сканирует каталог и заносит в БД характеристики файлов (путь к файлу, его размер, дату последнего редактирования). При последующих запусках опять сканирует и сверяет с БД, и если есть изменения - сообщает
Подскажите как изменить сортировку при записи в файл .txt базы данных.
В данной программе вывод сортирует по имени файлов. Возможно ли изменить на сортировку по дате изменения файла?
По данным этих функций << std:ut_time(std::localtime(&secNow), timeFormat.c_str());
0
igorrr37
2036 / 1601 / 799
Регистрация: 21.12.2010
Сообщений: 2,751
Записей в блоге: 10
05.04.2019, 23:50 9
Изменил формат файла базы данных на .csv. Можно открыть русским экселем и отсортировать по любым столбцам.
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
#include <iostream>
#include <filesystem>
#include <fstream>
#include <chrono>
#include <ctime>
#include <iomanip>
#include <cstdlib>
#include <string>
#include <type_traits>
#include <vector>
#include <regex>
#include <sstream>
#include <algorithm>
#include <clocale>
namespace fs = std::experimental::filesystem;
using fSizeType = decltype(fs::file_size(fs::path{}));
 
// запись файла БД
struct entry
{
    std::string path; // путь к файлу (поддиректории)
    fSizeType fSize{}; // размер файла
    time_t lwt{}; // время последнего редактирования файла 
};
 
int main()
{
    setlocale(LC_CTYPE, "rus");
    std::string timeFormat = "%d %m %Y; %T";
    fs::path dirPath("c:/Новая папка"); // директория для мониторинга
    fs::path dbPath("db.csv"); // файл БД
    //fs::remove(dbPath);
    if (!fs::exists(dbPath)) // если файл БД не сущ-вует, то он создаётся
    {
        std::ofstream ofs(dbPath);
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                ofs << std::setw(80) << std::left << ib->path();
                if (fs::is_regular_file(ib->path()))
                {
                    ofs << ';' << std::setw(12) << std::left << fs::file_size(ib->path());
                }
                else
                {
                    ofs << ';' << std::setw(12) << std::left << 0;
                }
                time_t seclwt = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                ofs << ';' << std::put_time(std::localtime(&seclwt), timeFormat.c_str());
            }
            ofs << '\n';
        }
 
        ofs.clear();
        ofs.close();
    }
    else // если файл БД сущ-вует, то проверяем наличие изменений
    {
        // парсим записи файла БД
        std::ifstream ifs(dbPath);
        if (!ifs.is_open())
        {
            std::cerr << "DB file not opened\n";
            exit(1);
        }
        std::vector<entry> vec;
        std::string str;
        std::regex rgx("(.+?) *?;(\\d+?) *?;(.+)");
        std::smatch res;
        while (std::getline(ifs, str))
        {
            vec.emplace_back(entry());
            if (std::regex_match(str, res, rgx))
            {
                vec.back().path = res[1];
                vec.back().fSize = std::stoull(res[2]);
                std::tm t{};
                std::istringstream(res[3]) >> std::get_time(&t, timeFormat.c_str());
                vec.back().lwt = std::mktime(&t);
            }
        }
 
        // сравниваем записи файла БД с тем что есть в директории 
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                entry tmp = { ib->path().string(), 0, 0 };
                if (fs::is_regular_file(ib->path()))
                {
                    tmp.fSize = fs::file_size(ib->path());
                }
                tmp.lwt = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                auto it = std::find_if(vec.begin(), vec.end(), [&tmp](auto const& ent) {return tmp.path == ent.path; });
                if (vec.end() == it)
                {
                    std::cout << "Modified: " << ib->path() << '\n';
                }
                else
                {
                    if (tmp.fSize != it->fSize || tmp.lwt != it->lwt)
                    {
                        std::cout << "Modified: " << ib->path() << '\n';
                    }
                    vec.erase(it);
                }
            }
        }
        for (auto const& val : vec)
        {
            std::cout << "Modified: " << val.path << '\n';
        }
    }
}
2
DaemonX
0 / 0 / 0
Регистрация: 05.04.2019
Сообщений: 19
06.04.2019, 11:58 10
igorrr37, Спасибо Игорь за оперативный ответ!

Возможно я ввел Вас в заблуждение или не корректно задал вопрос.
Алгоритм вашего кода я использовал в написании своей программы. Беда в том что не обратил внимание на маленькую деталь, что сортировка по имени файла.

Попробую объяснить глубже суть проблемы. Не пинайте ногами в С++ новичок.
Суть моего проекта заключается:
- Отсортировать появление новых файлов в db.txt (это Ваше творение);
- Я создал еще одну db2.txt, отсортировал туда к примеру только фалы с интересующим меня расширением .txt
Кликните здесь для просмотра всего текста
std::string fileType = { ib->path().extension().string() };
auto it = std::find(vec.begin(), vec.end(), tmp);
if (fileType != ".txt") {
continue;
}

- В дальнейшем стандартная работа с последней строкой db2.txt, взять строку, открыть файл по данному пути и выполнить любые манипуляции с данным файлом. Например мне требуется мониторинг файла онлайн.

Понимаете Игорь в чем печалька то, все я уже написал все работает на расширении .txt, как бы связываться с .csv пока нет необходимости... А беда в том что при записи в db.txt, db2.txt изначально записывается сортировка по имени фала а не по дате последнего изменения.
Кликните здесь для просмотра всего текста
Так отрабатываем:
c:\Новая папка\30985713.txt 336380 05 04 2019 14:48:55
c:\Новая папка\30985762.txt 143590 05 04 2019 13:39:33
c:\Новая папка\30985767.txt 315798 05 04 2019 14:52:23
c:\Новая папка\30985768.txt 75284 05 04 2019 01:39:43

А требуется:
c:\Новая папка\30985768.txt 75284 05 04 2019 01:39:43
c:\Новая папка\30985762.txt 143590 05 04 2019 13:39:33
c:\Новая папка\30985713.txt 336380 05 04 2019 14:48:55
c:\Новая папка\30985767.txt 315798 05 04 2019 14:52:23

И естественно моя программа берет файл 30985768.txt для обработки который был создан аж 12 часов назад, а не последней созданный 30985767.txt.
Вот такая невнимательность перечеркнула потраченное время. Хотя это не беда учимся на своих ошибках.
Помогите подобрать элегантное решение для записи изначально в базу по времени.
Пробовал std::sort() воткнуть в Ваш код, но что то пока не получается прикрутить, знаний пока маловато.
Буду признателен если помножите!!! Спасибо.
0
igorrr37
2036 / 1601 / 799
Регистрация: 21.12.2010
Сообщений: 2,751
Записей в блоге: 10
06.04.2019, 15:03 11
добавил сортировку
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
#include <iostream>
#include <filesystem>
#include <fstream>
#include <chrono>
#include <ctime>
#include <iomanip>
#include <cstdlib>
#include <string>
#include <type_traits>
#include <vector>
#include <regex>
#include <map>
#include <sstream>
#include <algorithm>
#include <clocale>
namespace fs = std::experimental::filesystem;
using fSizeType = decltype(fs::file_size(fs::path{}));
 
// запись файла БД
struct entry
{
    std::string path; // путь к файлу (поддиректории)
    fSizeType fSize{}; // размер файла
    time_t lwt{}; // время последнего редактирования файла 
};
 
int main()
{
    setlocale(LC_CTYPE, "rus");
    std::string timeFormat = "%d %m %Y; %T";
    fs::path dirPath("c:/Новая папка"); // директория для мониторинга
    fs::path dbPath("db.txt"); // файл БД
    //fs::remove(dbPath);
    if (!fs::exists(dbPath)) // если файл БД не сущ-вует, то он создаётся
    {
        std::ofstream ofs{ dbPath };
        std::stringstream ss; 
        std::multimap<time_t, std::string> mmp; // сортировка записей в файле бд по дате последнего изменения
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                ss << std::setw(80) << std::left << ib->path();
                if (fs::is_regular_file(ib->path()))
                {
                    ss << ';' << std::setw(12) << std::left << fs::file_size(ib->path());
                }
                else
                {
                    ss << ';' << std::setw(12) << std::left << 0;
                }
                time_t seclwt = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                ss << ';' << std::put_time(std::localtime(&seclwt), timeFormat.c_str());
                mmp.insert({ seclwt, ss.str() });
                ss.clear();
                ss.str("");
            }
        }
        for (auto const& pr : mmp) // скидываем отсортированные записи в файл бд
        {
            ofs << pr.second << std::endl;
        }
        ofs.clear();
        ofs.close();
    }
    else // если файл БД сущ-вует, то проверяем наличие изменений
    {
        // парсим записи файла БД
        std::ifstream ifs(dbPath);
        if (!ifs.is_open())
        {
            std::cerr << "DB file not opened\n";
            exit(1);
        }
        std::vector<entry> vec;
        std::string str;
        std::regex rgx("(.+?) *?;(\\d+?) *?;(.+)");
        std::smatch res;
        while (std::getline(ifs, str))
        {
            vec.emplace_back(entry());
            if (std::regex_match(str, res, rgx))
            {
                vec.back().path = res[1];
                vec.back().fSize = std::stoull(res[2]);
                std::tm t{};
                std::istringstream(res[3]) >> std::get_time(&t, timeFormat.c_str());
                vec.back().lwt = std::mktime(&t);
            }
        }
 
        // сравниваем записи файла БД с тем что есть в директории 
        for (fs::recursive_directory_iterator ib(dirPath), ie; ib != ie; ++ib)
        {
            if (fs::is_directory(ib->path()) || fs::is_regular_file(ib->path()))
            {
                entry tmp = { ib->path().string(), 0, 0 };
                if (fs::is_regular_file(ib->path()))
                {
                    tmp.fSize = fs::file_size(ib->path());
                }
                tmp.lwt = std::chrono::system_clock::to_time_t(fs::last_write_time(ib->path()));
                auto it = std::find_if(vec.begin(), vec.end(), [&tmp](auto const& ent) {return tmp.path == ent.path; });
                if (vec.end() == it)
                {
                    std::cout << "Modified: " << ib->path() << '\n';
                }
                else
                {
                    if (tmp.fSize != it->fSize || tmp.lwt != it->lwt)
                    {
                        std::cout << "Modified: " << ib->path() << '\n';
                    }
                    vec.erase(it);
                }
            }
        }
        for (auto const& val : vec)
        {
            std::cout << "Modified: " << val.path << '\n';
        }
    }
}
2
DaemonX
0 / 0 / 0
Регистрация: 05.04.2019
Сообщений: 19
07.04.2019, 13:44 12
igorrr37, Еще раз обращаюсь к Вам Игорь.

Уже весь на нервах, сколько потратил Вашего времени а результата не добился. Да походу юзером так и суждено наверно жить.
Какое там программирование уже какой месяц простенькую программку не могу состряпать. Да что там элементарно задачу не могу объяснить. Извините за срыв но попробую еще раз.

Да db.txt пишется красиво сортируется по времени. НО опять НО....

Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
std::string fileType = { ib->path().extension().string() };
                auto it = std::find_if(vec.begin(), vec.end(), [&tmp](auto const& ent) {return tmp.path == ent.path; });
                if (fileType != ".txt") {
                    continue;
                }
                if (vec.end() == it)
                {   
                    std::cout << "Modified: " << ib->path() << '\n';
 
                        // Запись в файл /db2.txt/  при появление новых .txt
                    
                    std::ofstream ofst{ dbPath2, std::ofstream::app }; 
                    ofst << ib->path() << endl;
                    ofst.close();


Новые данные при сравнении которые я записываю в db2.txt, ib->path() - так и остались не отсортированы по времени. Пример вывода данных я показывал выше. Все также и осталось.
Меня даже не интересует размер файла я бы все это вырезал. Даже в сравнении - как tmp.fSize. Но раз оно там есть пускай будет, может кому то и нужно будет для решения. У всех разные задачи.
Это ведь все таки мониторинг файлов папке... И требуется мгновенно отреагировать по дате изменения.

Уже голова кругом, вот домучаю програмулину, да в отпуск надо идти.. А то голова взорвется...
0
eva2326
436 / 229 / 54
Регистрация: 17.05.2015
Сообщений: 683
07.04.2019, 18:38 13
Технология "порт завершения"

Преимущества:

- Эффективность (asynс. Асинхронность)
Процессу пользователя не нужно самому постоянно контролировать изменения в файловой системе.
Он может спокойно спать все время, и не напрягать процессор.
Как только изменения произойдут, ОС сама разбудит процесс и уведомит его об изменениях.

- Простота (callback, событийно-управляемая модель).
Все технические сложности по отслеживанию изменений берет на себя ОС.
Программисту нужно лишь написать функции,
в которых он пропишет реакцию на те, или иные изменения.

- Масштабируемость (list of paths, список путей которые нужно отследивать).
Можно отслеживать изменения только отдельного файла или списка файлов.
Можно отслеживать изменения только отдельного каталога или списка каталогов.
Можно отслеживать изменения хоть всего диска сразу (или нескольких).

- Гибкость (list of events, список событий которые интересуют пользователя)
Есть возможность подписываться только на какие то конкретные изменения в файловой системе.
Например: изменение содержимого файлов (или каталогов).
Или на добавление/удаление файлов (или каталогов)
Или на переименование файлов (или каталогов)
И тп.

Можно подписаться хоть на все события сразу.
Количество различных событий полностью покрывают весь спектр задач,
связанных с мониторингом файловой системы.
1
Миниатюры
Мониторинг изменений файлов каталога  
07.04.2019, 18:38
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
07.04.2019, 18:38

Получить список файлов каталога в txt файл
Есть код: WIN32_FIND_DATA FindFileData; HANDLE hf; hf = FindFirstFile(L&quot;C:\\*&quot;,...

Открытие файлов из каталога и сохранение их в каталог определенного размера
Есть сама программа обработки ОДИНОЧНОГО файла, выполненная на куде. Хотелось бы поставить на...

Запуск и последующее удаление всех исполняемых файлов из каталога
Здравствуйте. Прошу помочь написать программу, которая бы запускала все исполняемые файлы (.exe,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
13
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru