Генерация сигнатуры файла. Потеря памяти

@Strizhonok · Регистрация: 01.11.2015

Студворк — интернет-сервис помощи студентам

Нужно написать программу, которая будет генерировать сигнатуру. Файл делим на заданные блоки и их хэшируем ( hash-функции SHA256), и вместе с номером блока выводим в консоль. Нужно чтобы программа могла обработать файлы, размер которых больше озу. При работе с потоками допускается использовать только стандартные классы и библиотеки из .Net 3.5 (исключая ThreadPool, BackgroundWorker, TPL).

Проблема заключается в том что периодически вылетает программа при этом пишет что очередь пуста. Понимаю что косяк скорее с событиями, но не могли бы вы подсказать как можно было бы реализовать это.
И ещё проблема с огромными затратами памяти, как реализовать чтобы по экономичнее вышло и не вылетало если размер файла больше озу

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
namespace Signature
{
    class GenericSignature
    {
        int _numProcs;
        long _blockSize;
        long _blockCount;
        long _fileSize;
        string _path;
 
        Queue<byte[]> _queueBlockFile;
 
        private EventWaitHandle _eventBlockRead;
 
        public GenericSignature(string path, int size)
        {
            _blockSize = size;
            _path = path;
            _blockCount = 0;
 
            _queueBlockFile = new Queue<byte[]>();
            _eventBlockRead = new EventWaitHandle(false, EventResetMode.AutoReset);
        }
 
        public void signatureCreate()
        {
            try
            {
                _numProcs = Environment.ProcessorCount;
 
                ThreadStart read = new ThreadStart(readFile);
                ThreadStart hash = new ThreadStart(hashCreate);
 
                Thread readThread = new Thread(read);
                Thread hashThread = new Thread(hash);
 
                readThread.Start();
                hashThread.Start();
 
                readThread.Join();
                hashThread.Join();
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                Console.WriteLine(e.StackTrace);
            }
        }
 
        private void readFile()
        {
            byte[] portion;
 
            try
            {
                using (FileStream sourceStream = new FileStream(_path, FileMode.Open))
                {
                    _fileSize = sourceStream.Length;
                    _blockCount = sourceStream.Length / _blockSize;
                    
                    for (int i = 0; i <= _blockCount; i++)
                    {
                        if (i == _blockCount)
                            portion = new byte[_fileSize - _blockSize * i];
                        else
                            portion = new byte[_blockSize];
                        
                        sourceStream.Read(portion, 0, portion.Length);
 
                        Monitor.Enter(_queueBlockFile);
                        _queueBlockFile.Enqueue(portion);
                        Monitor.Exit(_queueBlockFile);
 
                        _eventBlockRead.Set();
                    }
                }
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                Console.WriteLine(e.StackTrace);
            }
        }
 
        private void hashCreate()
        {
            //try
            //{
                byte[] portion;
                SHA256 sha = SHA256Managed.Create(); 
                byte[] hash;
                _eventBlockRead.WaitOne();
 
                for (int i = 0; i <= _blockCount; i++)
                {
                    Monitor.Enter(_queueBlockFile);
 
                    while (_queueBlockFile.Count == 0)
                    {
                        Thread.Sleep(10);
                    }
                    portion = _queueBlockFile.Dequeue();
                    Monitor.Exit(_queueBlockFile);
 
                    if (portion == null)
                    {
                        _eventBlockRead.WaitOne();
                    }
                    else
                    {
                        hash = sha.ComputeHash(portion);
 
                        Console.WriteLine("блок {0}", i, BitConverter.ToString(hash));
                    }
                }
            /*}
            catch (Exception e)
            {
                Console.WriteLine(e);
                Console.WriteLine(e.StackTrace);
            }*/
        }
    }
 
    class Program
    {
        static void Main(string[] args)
        {
            string inPath = @"E://batalon.mkv";//сделать ввод из консоли!!!
            int sizeBlock = 100000;
 
            GenericSignature sig = new GenericSignature(inPath, sizeBlock);
            sig.signatureCreate();
        }
    }
}

@Vort_ · 16.07.2016, 20:11

1. Я тут не вижу вылетов, но вижу deadlock. Если алгоритм зайдёт сюда: while (_queueBlockFile.Count == 0), то он отсюда уже не выйдет.
2. Если всё равно используется Sleep в цикле, то зачем тут нужны события? Ниже будет мой вариант без событий.
3. Чтобы не использовать лишнюю память, её надо просто не занимать без нужды. Если в очереди уже много блоков, то стоит подождать.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
        private void readFile()
        {
            byte[] portion;
 
            try
            {
                using (FileStream sourceStream = new FileStream(_path, FileMode.Open))
                {
                    _fileSize = sourceStream.Length;
                    _blockCount = sourceStream.Length / _blockSize;
 
                    for (int i = 0; i <= _blockCount; i++)
                    {
                        if (i == _blockCount)
                            portion = new byte[_fileSize - _blockSize * i];
                        else
                            portion = new byte[_blockSize];
 
                        sourceStream.Read(portion, 0, portion.Length);
 
                        bool full;
                        do
                        {
                            Monitor.Enter(_queueBlockFile);
                            full = _queueBlockFile.Count >= 16;
                            Monitor.Exit(_queueBlockFile);
                            if (full)
                                Thread.Sleep(10);
                        } while (full);
                        Monitor.Enter(_queueBlockFile);
                        _queueBlockFile.Enqueue(portion);
                        Monitor.Exit(_queueBlockFile);
                    }
                }
            }
            catch (Exception e)
            {
                Console.WriteLine(e);
                Console.WriteLine(e.StackTrace);
            }
        }
 
        private void hashCreate()
        {
            SHA256 sha = SHA256Managed.Create();
            for (int i = 0; i <= _blockCount; i++)
            {
                bool empty;
                do
                {
                    Monitor.Enter(_queueBlockFile);
                    empty = _queueBlockFile.Count == 0;
                    Monitor.Exit(_queueBlockFile);
                    if (empty)
                        Thread.Sleep(10);
                } while (empty);
                Monitor.Enter(_queueBlockFile);
                byte[] portion = _queueBlockFile.Dequeue();
                Monitor.Exit(_queueBlockFile);
                byte[] hash = sha.ComputeHash(portion);
                Console.WriteLine("блок {0}: {1}", i, BitConverter.ToString(hash));
            }
        }

upd. Для нескольких потоков хеширования такой вариант не подойдёт - прийдётся придумать что-то получше.

Добавлено через 43 минуты
Можно ещё взять SizeQueue<T> вот отсюда: Creating a blocking Queue<T> in .NET?.
Тогда достаточно будет лишь вызывать Enqueue и Dequeue когда надо.
Если очередь переполнена (при записи) или пуста (при чтении) - поток будет ждать.

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .