|
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
|
||||||||||||||||
.NET 4.x Файлы, сеть, многопоточность: оптимизация кода28.09.2015, 23:28. Показов 1147. Ответов 5
Метки нет (Все метки)
Оговорюсь сразу, использую .NET 4.0. Это в случае будущих рекомендаций в пользу async-await =)
Добрый вечер/день/утро или что у вас там) Изначальная постановка задачи - имеется несколько однотипных приложений, функция которых одна - записывать файлы определенного формата заранее известной длины (например, 10 минут приложение пишет файл, постоянно его увеличивая, по прошествии этого времени оно закрывает файл и открывает новый). По завершению записи очередного файла оно отправляется моему приложению TCP сообщение с именем файла, которое оно только что закончила писать. Размер этого файла может составлять более полутора гигабайт. Задача моего приложения - раз в 10-15 секунд переписывать очередную порцию того, что накатало то приложение, на сетевой диск и по получению TCP сообщения о завершении - удостовериться в том, что файлы совпадают по содержимому. Я написал класс для решения этой проблемы и вот его ключевой метод для перекидывания: Кликните здесь для просмотра всего текста
Для каждого объекта этого класса создается свой объект System.Threading.Timer с интервалом 10 секунд. Для проверки идентичности использую такой метод: Кликните здесь для просмотра всего текста
После приемки TCP сообщения оно помещается в очередь: Кликните здесь для просмотра всего текста
На событии из этой очереди я анализирую список текущих обрабатываемых файлов, если нахожу объект класса с именем файла, который совпадает с сообщением, я останавливаю внутренний таймер для него, проверяю, увеличился ли исходный файл, и если да, докопирую оставшееся. Теперь, после всей этой возможно неинтересной лабуды, возможно уже решавшейся и не раз, задаю вопрос: Если файлов больше 100, то в очереди начинают копиться сообщения о завершении/начале записи файлов. Серверная машина, на которой этот софт запускается, имеет 8 ядер чистого интела и 32 гб оперативной памяти. Пиковая загрузка процессора не выше 80%, оперативная память - занято около 2-3 гигабайт. Загрузка на сетевом адаптере - не более 55% от гигабитной сети. Сетевой диск - SSD. В каком месте мое приложение, перекидывающее файлы, можно и нужно оптимизировать?
0
|
||||||||||||||||
| 28.09.2015, 23:28 | |
|
Ответы с готовыми решениями:
5
Оптимизация методом Ньютона (нахождение точки минимума). Оптимизация кода Оптимизация вывода графики (многопоточность)
|
|
TheGreatCornholio
1255 / 733 / 285
Регистрация: 30.07.2015
Сообщений: 2,408
|
||
| 05.10.2015, 16:14 | ||
|
Вместо файлов БД заюзать?
0
|
||
|
447 / 300 / 65
Регистрация: 12.10.2009
Сообщений: 1,162
|
|
| 09.10.2015, 02:16 | |
|
как вариант разбивка файла на части 1-5 мб с проверкой хеша + SVN + сборка файлов на новом месте
Добавлено через 1 минуту трафик как минимум снизиться в разы если идет простое дописывание Добавлено через 49 секунд а еще лучше заюзать rsync
0
|
|
|
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
|
||
| 13.10.2015, 22:03 [ТС] | ||
|
агерон, оптимизировал проверку файлов. как ни странно, быстрее всего получилось сравнивать последовательно по блокам (подсмотрел с помощью ProcessExplorer'a, как сравнивает файлы Total Commander).
О том и речь, идет простое дописывание с текущей позиции до конца файла. А вот Про rsync сейчас почитаю Добавлено через 10 минут агерон, почитал. Штука конечно полезная, НО... при каждом сеансе синхронизации мне нужно вычитывать заголовок файла и данные из этого заголовка заносить в БД. Насколько я понял, не удастся отслеживать деятельность rsync, или?
0
|
||
|
447 / 300 / 65
Регистрация: 12.10.2009
Сообщений: 1,162
|
|
| 13.10.2015, 22:53 | |
|
1) разбей задачу на 2 этапа пересылки заголовков и пересылка основного тела
2) на сервак пересылай только интересующую тебя информацию (заголовки) думаю они всяко меньше основного тела файла 3) теперь по телу файлов, 3.1) нафига его вообще мутузить туда сюда? оставь его там где оно и лежит просто обращайся к телу файла тогда когда это будет необходимо, например если нужно будет пользователю 1,5 Гб выдай ему ссылку на тот комп где это тело лежит 3.2) или заведи отдельное общее хранилище ни как не связанное с сервером и в фоновом режиме делай синхронизацию rsync или ему подобной утилитой, и самое главное в этом варианте т. к. ты УЖЕ передал заголовки на сервер то скорость синхронизации тебя не особо колышит пусть синхронизируется хоть неделю
0
|
|
|
74 / 26 / 19
Регистрация: 13.10.2014
Сообщений: 89
|
|
| 18.10.2015, 18:40 [ТС] | |
|
агерон, по поводу 3.1 - все конечно правильно, но данная задача предполагает отдельную хранилку под данные, со своим резервированием. Чтобы все файлы были доступны 24/7 в любой момент времени.
0
|
|
| 18.10.2015, 18:40 | |
|
Помогаю со студенческими работами здесь
6
Оптимизация кода. Замер времени выполнения части кода. Многопоточность - разобрать работу кода Многопоточность (по Шилдту) - разобрать строку кода Почему многопоточность не ускоряет выполнение кода Типы оптимизация: черная оптимизация, серая оптимизация и белая оптимизация Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
|
Оттенки серого
Argus19 18.03.2026
Оттенки серого
Нашёл в интернете 3 прекрасных модуля:
Модуль класса открытия диалога открытия/ сохранения файла на Win32 API;
Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
|
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога
Финальные проекты на Си и на C++:
finish-rectangles-sdl3-c. zip
finish-rectangles-sdl3-cpp. zip
|
Символические и жёсткие ссылки в Linux.
algri14 15.03.2026
Существует два типа ссылок — символические и жёсткие.
Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
|
|
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ФедосеевПавел 14.03.2026
Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора
ВВЕДЕНИЕ
Выполняя задание на управление насосной группой заполнения резервуара,. . .
|
делаю науч статью по влиянию грибов на сукцессию
anaschu 13.03.2026
прикрепляю статью
|
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога
Финальные проекты на Си и на C++:
hello-sdl3-c. zip
hello-sdl3-cpp. zip
Результат:
|
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога
MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
|