Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
.NET 4.x

Файлы, сеть, многопоточность: оптимизация кода

28.09.2015, 23:28. Показов 1147. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Оговорюсь сразу, использую .NET 4.0. Это в случае будущих рекомендаций в пользу async-await =)
Добрый вечер/день/утро или что у вас там)
Изначальная постановка задачи - имеется несколько однотипных приложений, функция которых одна - записывать файлы определенного формата заранее известной длины (например, 10 минут приложение пишет файл, постоянно его увеличивая, по прошествии этого времени оно закрывает файл и открывает новый). По завершению записи очередного файла оно отправляется моему приложению TCP сообщение с именем файла, которое оно только что закончила писать. Размер этого файла может составлять более полутора гигабайт. Задача моего приложения - раз в 10-15 секунд переписывать очередную порцию того, что накатало то приложение, на сетевой диск и по получению TCP сообщения о завершении - удостовериться в том, что файлы совпадают по содержимому.
Я написал класс для решения этой проблемы и вот его ключевой метод для перекидывания:
Кликните здесь для просмотра всего текста
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
private void ArrayCopyFile()
        {
            //http://stackoverflow.com/questions/1246899/file-copy-vs-manual-filestream-write-for-copying-file
            //http://stackoverflow.com/questions/995320/file-writeallbytes-causes-error-insufficient-system-resources-exist-to-complete#995320
            const int bufferSize = 1024*1024;
            var headerBytes = new byte[_headerManager.HeaderSize()];
            FileStream src = new FileStream(SrcFile, FileMode.Open, FileAccess.Read, FileShare.ReadWrite);
            FileStream dst = new FileStream(DstFile, FileMode.OpenOrCreate, FileAccess.Write, FileShare.ReadWrite);
            try
            {
                // выясним, увеличился ли исходный файл
                if (src.Length > _currPos)
                {
                    // чтение заголовка файла
                    src.Read(headerBytes, 0, headerBytes.Length);
                }
                else 
                {
                    Trace("Исходный файл '{0}' не изменился со времени последней синхронизации",
                        SrcFile);
                    return;
                }
                if (!CheckDstDirectory())
                {                    
                    return;
                }
                if (_currPos > 0)
                {
                    // записываем заголовок
                    dst.Write(headerBytes, 0, headerBytes.Length);
                    // резервируем место
                    dst.SetLength(src.Length);
                    // устанавливаем позицию на такую же, как у исходного файла ДО считывания очередной порции байт
                    dst.Seek(_currPos, SeekOrigin.Begin);
                }
                src.Position = _currPos;
                int bytesRead;
                byte[] bytes = new byte[bufferSize];
                while ((bytesRead = src.Read(bytes, 0, bufferSize)) > 0)
                {
                    dst.Write(bytes, 0, bytesRead);
                    _currPos += bytesRead;
                }
            }
            finally
            {
                src.Dispose();
                dst.Dispose();
            }
        }

Для каждого объекта этого класса создается свой объект System.Threading.Timer с интервалом 10 секунд.
Для проверки идентичности использую такой метод:
Кликните здесь для просмотра всего текста
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
public static bool CompareFiles(string filePath1, string filePath2)
        {
            long fileLength;
            if((fileLength = new FileInfo(filePath1).Length) != new FileInfo(filePath2).Length)
                return false;
            bool filesAreEquals = true;
            const int size = 1024*1024; //0x1000000;
            int countIteration = (int)Math.Ceiling(fileLength / (double)size);
            Parallel.For(0, countIteration, x =>
            {
                if(!filesAreEquals) return;
                var start = x * size;
                if (start >= fileLength) return;
                int realSize = (int) (x == countIteration - 1 ? fileLength - start : size);
                using (FileStream file = File.OpenRead(filePath1))
                using (FileStream file2 = File.OpenRead(filePath2))
                {
                    var buffer = new byte[realSize];
                    var buffer2 = new byte[realSize];
                    file.Position = start;
                    file2.Position = start;
                    int count = file.Read(buffer, 0, realSize);
                    file2.Read(buffer2, 0, realSize);
                    for (int i = 0; i < count; i++)
                        if (buffer[i] != buffer2[i])
                        {
                            filesAreEquals = false;
                            return;
                        }
                }
            });
            return filesAreEquals;
        }

После приемки TCP сообщения оно помещается в очередь:
Кликните здесь для просмотра всего текста
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
class QueueTasks<T> : IDisposable
    {
        private readonly Queue<T> _tasks = new Queue<T>();
        readonly object _syncObj = new object();
        private readonly AutoResetEvent _autoResetEvent = new AutoResetEvent(false);
        private readonly ManualResetEvent _exitEvent = new ManualResetEvent(false);
        private bool _isRunning;
 
        public bool IsRunning
        {
            get { return _isRunning; }
            private set
            {
                _isRunning = value;
                if(!_isRunning) OnQueueTasksStopped();
            }
        }
 
        public delegate void QueueTasksStoppedEventHandler(object sender);
        public event QueueTasksStoppedEventHandler QueueTasksStopped;
        protected virtual void OnQueueTasksStopped()
        {
            var handler = QueueTasksStopped;
            if (handler != null) handler(this);
        }
 
        public delegate void TaskReceivedEventHandler(object sender, T eventArgs);
        public event TaskReceivedEventHandler TaskReceived;
        protected virtual void OnTaskReceived(T eventArgs)
        {
            var handler = TaskReceived;
            if (handler != null) handler(this, eventArgs);
        }
        
        public void Stop()
        {
            _exitEvent.Set();
            _autoResetEvent.Set();
        }
 
        public void Start()
        {
            if(IsRunning) throw new InvalidOperationException("Очередь задач уже работает");
            IsRunning = true;
            _autoResetEvent.WaitOne();
            _exitEvent.WaitOne();
            new Thread(Work) { Name = "Очередь задач" }.Start();
        }
 
        public void Add(T data)
        {
            SafeAdd(data);
        }
 
        void SafeAdd(T data)
        {
            lock (_syncObj) _tasks.Enqueue(data);
            _autoResetEvent.Set();
        }
 
        T SafeRemove()
        {
            lock (_syncObj)
                if (_tasks.Count > 0)
                    return _tasks.Dequeue();
            return default(T);
        }
 
        void Work()
        {
            while (!_exitEvent.WaitOne(0, false))
            {
                _autoResetEvent.WaitOne();
                while (_tasks.Count != 0)
                    OnTaskReceived(SafeRemove());
            }
            IsRunning = true;
        }
 
        public void Dispose()
        {
            Stop();
        }
    }

На событии из этой очереди я анализирую список текущих обрабатываемых файлов, если нахожу объект класса с именем файла, который совпадает с сообщением, я останавливаю внутренний таймер для него, проверяю, увеличился ли исходный файл, и если да, докопирую оставшееся.
Теперь, после всей этой возможно неинтересной лабуды, возможно уже решавшейся и не раз, задаю вопрос:
Если файлов больше 100, то в очереди начинают копиться сообщения о завершении/начале записи файлов. Серверная машина, на которой этот софт запускается, имеет 8 ядер чистого интела и 32 гб оперативной памяти. Пиковая загрузка процессора не выше 80%, оперативная память - занято около 2-3 гигабайт. Загрузка на сетевом адаптере - не более 55% от гигабитной сети. Сетевой диск - SSD. В каком месте мое приложение, перекидывающее файлы, можно и нужно оптимизировать?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
28.09.2015, 23:28
Ответы с готовыми решениями:

Оптимизация методом Ньютона (нахождение точки минимума). Оптимизация кода
MATLAB только начал осваивать. Попытался реализовать нахождение точки минимума методом Ньютона для функции 2*X12 - X1*X2 + 3*X22 -...

Оптимизация вывода графики (многопоточность)
Добрый день, уважаемые программисты. Написал я небольшой PlotXY:UserControl в WPF и захотелось, вдруг, мне сделать его шустреньким...

Qt. Многопоточность, асинхронность, сеть, сигналы, слоты
Доброго времени суток, друзья. Помогите пожалуйста разобраться со следующими косяками: Суть: есть класс, в котором делается POST...

5
TheGreatCornholio
 Аватар для Woldemar89
1255 / 733 / 285
Регистрация: 30.07.2015
Сообщений: 2,408
05.10.2015, 16:14
Цитата Сообщение от jumperAlex Посмотреть сообщение
В каком месте мое приложение, перекидывающее файлы, можно и нужно оптимизировать?
В месте проверки на идентичность - использовать хеш мб? Или она вообще не нужна.
Вместо файлов БД заюзать?
0
 Аватар для агерон
447 / 300 / 65
Регистрация: 12.10.2009
Сообщений: 1,162
09.10.2015, 02:16
как вариант разбивка файла на части 1-5 мб с проверкой хеша + SVN + сборка файлов на новом месте

Добавлено через 1 минуту
трафик как минимум снизиться в разы если идет простое дописывание

Добавлено через 49 секунд
а еще лучше заюзать rsync
0
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
13.10.2015, 22:03  [ТС]
агерон, оптимизировал проверку файлов. как ни странно, быстрее всего получилось сравнивать последовательно по блокам (подсмотрел с помощью ProcessExplorer'a, как сравнивает файлы Total Commander).
О том и речь, идет простое дописывание с текущей позиции до конца файла.

А вот
Цитата Сообщение от агерон Посмотреть сообщение
+ SVN +
- Subversion имеется в виду?и если да, то как он может тут помочь, файлы бинарные и большие.

Про rsync сейчас почитаю

Добавлено через 10 минут
агерон, почитал. Штука конечно полезная, НО... при каждом сеансе синхронизации мне нужно вычитывать заголовок файла и данные из этого заголовка заносить в БД. Насколько я понял, не удастся отслеживать деятельность rsync, или?
0
 Аватар для агерон
447 / 300 / 65
Регистрация: 12.10.2009
Сообщений: 1,162
13.10.2015, 22:53
1) разбей задачу на 2 этапа пересылки заголовков и пересылка основного тела
2) на сервак пересылай только интересующую тебя информацию (заголовки) думаю они всяко меньше основного тела файла
3) теперь по телу файлов,
3.1) нафига его вообще мутузить туда сюда? оставь его там где оно и лежит просто обращайся к телу файла тогда когда это будет необходимо, например если нужно будет пользователю 1,5 Гб выдай ему ссылку на тот комп где это тело лежит
3.2) или заведи отдельное общее хранилище ни как не связанное с сервером и в фоновом режиме делай синхронизацию rsync или ему подобной утилитой, и самое главное в этом варианте т. к. ты УЖЕ передал заголовки на сервер то скорость синхронизации тебя не особо колышит пусть синхронизируется хоть неделю
0
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
18.10.2015, 18:40  [ТС]
агерон, по поводу 3.1 - все конечно правильно, но данная задача предполагает отдельную хранилку под данные, со своим резервированием. Чтобы все файлы были доступны 24/7 в любой момент времени.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
18.10.2015, 18:40
Помогаю со студенческими работами здесь

Оптимизация кода. Замер времени выполнения части кода.
Доброе утро. Есть желание посмотреть сколько времени занимает выполнение какого-то блока кода/отдельной функции или процедуры/программы...

Многопоточность - разобрать работу кода
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using...

Многопоточность (по Шилдту) - разобрать строку кода
Здравствуйте! У меня вопрос: в чем смысл строки кода if(currentName != Thrd.Name) в методе Run() класса MyThread? Через конструктор класса...

Почему многопоточность не ускоряет выполнение кода
В массиве string содержится строки длиной в сотни знаков, каждая строка обрабатывается отдельным потоком, каждый поток запускает новый...

Типы оптимизация: черная оптимизация, серая оптимизация и белая оптимизация
Много много лет назад, на заре становления профессии &quot;оптимизатора&quot; в какой то умной книжке был создан миф. Это миф о цветовой индефикации...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
Оттенки серого
Argus19 18.03.2026
Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru