Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.55/11: Рейтинг темы: голосов - 11, средняя оценка - 4.55
0 / 0 / 0
Регистрация: 24.10.2015
Сообщений: 16

Многопоточная запись byte[] в файл

27.01.2017, 23:46. Показов 2394. Ответов 4

Студворк — интернет-сервис помощи студентам
Добрый день, столкнулся с проблемой, массив байт имеет очень большой размер и пишется в файл в данном формате:
C#
1
2
3
for(int i = 0; i<t.Length; i++){
r.Write(t[i]+",");
}
В однопоточном режиме все происходит неприлично долго, возможно ли как-то допустим в 100 потоков писать массив в файл при этом сохранив последовательность элементов массива?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.01.2017, 23:46
Ответы с готовыми решениями:

Многопоточная запись в файл
Вечер добрый, форумчане! Есть два потока, с разной периодичностью записывающий данные в один файл. Синхронизация осуществляется через...

Запись звука в byte[] с помощью NAudio
Вот код который пишет в файл звук, Ребят как записать звук только в переменную byte И если можно то как оптимизировать доступ к ней ...

Как поместить файл в byte[]?
Привет, как мне засунуть в byte файл быстрее всего? Я пока написал так, но это ужастно, и наверное работает очень медленно ...

4
Эксперт .NET
 Аватар для Usaga
14314 / 9399 / 1355
Регистрация: 21.01.2016
Сообщений: 35,450
28.01.2017, 07:05
Лучший ответ Сообщение было отмечено NaViSlon как решение

Решение

NaViSlon, простой тест показывает, что твою задачу (если я её правильно понял) можно ускорить в пять раз (на моём ноуте) просто применив немного фантазии:

Кликните здесь для просмотра всего текста

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
using System;
using System.IO;
using System.Diagnostics;
 
namespace FileWriteExperiment
{
    class Program
    {
        private const string SOURCE_FILE = @"c:\Users\Usaga\Downloads\jre-8u112-windows-x64.exe";
        private const string DEST1_FILE = @"d:\downloads\jre-8u112-windows-x64_1.txt";
        private const string DEST2_FILE = @"d:\downloads\jre-8u112-windows-x64_2.txt";
 
        private static string[] HEX_STRING_TABLE;
 
        static byte[] GetFile()
        {
            return File.ReadAllBytes(SOURCE_FILE);
        }
 
        static void WriteFileDumb(byte[] fileData)
        {
            using (var writer = File.CreateText(DEST1_FILE)) {
                for (int i = 0; i < fileData.Length; i++) {
                    writer.Write(fileData[i] + ",");
                }
            }
        }
 
        static void WriteFileSmarter(byte[] fileData)
        {
            using (var writer = File.CreateText(DEST2_FILE)) {
                for (int i = 0; i < fileData.Length; i++) {
                    writer.Write(HEX_STRING_TABLE[fileData[i]]);
                }
            }
        }
 
        static void BuildHexTable()
        {
            HEX_STRING_TABLE = new string[byte.MaxValue + 1];
 
            for(int i = 0; i < (byte.MaxValue + 1); i++ ) {
                HEX_STRING_TABLE[i] = i + ",";
            }
        }
 
        static void Main(string[] args)
        {
            BuildHexTable();
 
            Console.WriteLine("Reading source file...");
            var data = GetFile();
            Console.WriteLine("Writing first file...");
 
            Stopwatch sw = new Stopwatch();
            sw.Start();
            WriteFileDumb(data);
            sw.Stop();
 
            Console.WriteLine($"Dump method took {sw.ElapsedMilliseconds} milliseconds");
            Console.WriteLine("Writing second file...");
 
            sw.Reset();
            sw.Start();
 
            WriteFileSmarter(data);
            sw.Stop();
 
            Console.WriteLine($"Smarter method took {sw.ElapsedMilliseconds} milliseconds");
 
            Console.WriteLine("done");
            Console.ReadKey();
        }
    }
}


А если прямо отвечать на твой вопрос, то да: хоть и можно создать файл и задать ему размер (FileStream.SetLength()), поделить массив на части (не обязательно в буквальном смысле) и писать в файл параллельно, но это будет намного медленее, так как накопитель - устройство однопоточное. Может на SSD это и даст прирост, да и то, если не жестить "сотней потоков", но я очень очень сомневаюсь в разумности такого подхода. В общем это сделать можно, но получится только хуже.
1
 Аватар для IamRain
4694 / 2702 / 734
Регистрация: 02.08.2011
Сообщений: 7,234
28.01.2017, 07:56
Можно решить проблему не на программном уровне, а аппаратно - объединить два диска в RAID-0 (Stripped Volume).
На работе одно время была задача - ускорить доступ к рабочим виртуальным машинам с SP не изменяя состава hardware.
При объединении двух SSD в Stripped Volume скорость чтения и скорость записи уменьшилась в 1.7 - 1.8 раза.
Причем это было заметно даже при работе.
Правда тут есть потенциальная проблема - при выходе из строя одного из дисков потеряются все данные.
0
Эксперт .NET
 Аватар для Usaga
14314 / 9399 / 1355
Регистрация: 21.01.2016
Сообщений: 35,450
28.01.2017, 07:58
IamRain, ну, в вашем случае вы врядли имели возможность иначе решить вопрос. Тут же явно имеет место неоптимальный код, который можно улучшать-заулучшаться.
0
0 / 0 / 0
Регистрация: 24.10.2015
Сообщений: 16
28.01.2017, 12:42  [ТС]
раньше файл в 2 мб писался примерно час, с вашей реализацией файл в 20мб пишется секунд 10, снимаю перед вами шляпу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.01.2017, 12:42
Помогаю со студенческими работами здесь

преобразование ref byte в byte[] или в IntPtr без использования неуправляемого кода
есть COM интерфейс с методом: virtual /* */ HRESULT STDMETHODCALLTYPE OnReceivePacket( /* */ long dwSize, ...

Как перевести byte[] или переменную типа IntPtr к типу byte[] (ассемблерные инструкции)?
Наткнулась на проблему, нужно перевести тип IntPtr в массив ассемблерной инструкции. Вот пример кода, который нужно справить: ...

Пердача byte[] COM-функции, ожидающей ref byte
Привет, наше приложение в C# использует несколько COM-интерфейсов. В одном из них есть метод, которому передается ref byte : ...

wav byte[] в flac byte[]
Ситуация такая: С микрофона каждую 0.1 сек идет byte где то по 3к значений. Если я пишу его в файл то получается как бы wav файл....

"Вшить" в файл имя файла. Или как из string перевести в byte[]
Здравствуйте. Считываю файл, получаю массив байтов. Сохраняю его имя, расширение, хеш в переменные. Делаю различные операции с массивом...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему
Новые блоги и статьи
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru