Многопоточная заливка файлов на сервер

@andyj · Регистрация: 16.03.2017

Студворк — интернет-сервис помощи студентам

Добрый день, подскажите подход/технологию плииз.

Задача: Сделать веб сервер для массовой заливки (upload) фалов (zip - 0.5-5Мб) от клиентов.
В секунду в "час пик" могут МНОГИЕ "ломануться". И не знаю как однопоточная нода на это сриагирует, а имитировать подобную нагрузку до запуска нечем!

Просто заливка и "складывание в папочку"! Обработка не нужна!

Кстати... Чем обычно сетевую нагрузку имитируют для тестов?

@Custos · 25.01.2018, 01:20

andyj, нода отлично справляется с нагрузками. Если, конечно, нормально писать код.

@andyj · 26.01.2018, 03:12 **[ТС]**

Сообщение от Custos

Если, конечно, нормально писать код

вопрос и заключается в том что значит "правильно написать код"???

кто занимается upload? "ядро ноды"(движок http/express) или моя программа на ноде?
заливка происходит "в фоне"(а потом вызывает колбэк) или "пока не зальет не передаст фокус моей программе" (не "отпустит" ее)?

еще раз:
10 "заливающих". Каждая заливка длится (допустим) минуту! все запустили заливку почти ОДНОВРЕМЕННО!
Как это выглядит для ноды?
Обработаем первого - пустим второго?
Пустили сигнал "предлагается заливка - согласиться?", получили подтверждение, и работаем дальше (обрабатываем остальных), а после окончания дали мне колбэк на долю секунды для складывания файла куда нужно?

...и еще (много нагуглил, но пока только начал тесты - большинство не работающие):
могу ли я отказаться от приема (например если авторизацию не прошел) или его зальют, скажут мне куда, а я уже могу лишь решать скопировать результат в нужную папку или оставить "во временных"?
есть ли возможность замедлить скорость заливки? введя лимиты на скорость?
...есть для подобного надежные/проверенные методики?

@Custos · 27.01.2018, 03:19

Сообщение от andyj

10 "заливающих". Каждая заливка длится (допустим) минуту! все запустили заливку почти ОДНОВРЕМЕННО!
Как это выглядит для ноды?

Все запросы без проблем могут обрабатываться одновременно.

Сообщение от andyj

могу ли я отказаться от приема

Да

Сообщение от andyj

есть ли возможность замедлить скорость заливки? введя лимиты на скорость?

Да

Сообщение от andyj

есть для подобного надежные/проверенные методики?

Универсальных методик, которые бы подходили для всего и сразу - нет.
Решения подбираются под конкретную задачу исходя из собственного опыта, или опыта других разработчиков.

Добавлено через 56 секунд
andyj, советую почитать о стримах.

@j2FunOnly · 27.01.2018, 09:46

Сообщение от Custos

Сообщение от andyj
есть ли возможность замедлить скорость заливки? введя лимиты на скорость?

Да

Можете подробнее раскрыть ответ на данный вопрос?

@Custos · 31.01.2018, 00:35

Сообщение от j2FunOnly

Можете подробнее раскрыть ответ на данный вопрос?

Способов много. Один из самых простых - прячем ноду за nginx (что, собственно, и советуется всегда делать), и устанавливаем для него желаемое значение $limit_rate.
Таким образом весь "удар" на себя принимает nginx.

@andyj · 31.01.2018, 12:29 **[ТС]**

Сообщение от Custos

Способов много. Один из самых простых - прячем ноду за nginx (что, собственно, и советуется всегда делать), и устанавливаем для него желаемое значение $limit_rate.
Таким образом весь "удар" на себя принимает nginx.

На сколько я понимаю, это не дает скорости "управляемость"! Например авторизированный (или оплативший услугу) заливает свои файлы на скорости до 10Мб/с, а гость на той-же странице не выше 100кб/с...
Есть для подобного стандартные/НАДЕЖНЫЕ решения? Встречал парочку, но то файл битый приходил, то увеличивался в 5 раз...

@Custos · 31.01.2018, 12:42

andyj, выше был предоставлен ответ, отталкиваясь от которого легко реализовать то, что Вы хотели.
Или Вы ждете, что Вам на блюдечке принесут готовую реализацию?

@andyj · 31.01.2018, 12:54 **[ТС]**

Сообщение от Custos

Или Вы ждете, что Вам на блюдечке принесут готовую реализацию?

Было бы здорово!

нашел кучу компонент, но либо не работают, либо дают лишь "часть решения"...
Вроде частая задача! на стековере куча подобных вопросов...

@Custos · 31.01.2018, 12:59

Сообщение от andyj

Было бы здорово!

Не вопрос.

Комментарий модератора

Правила форума

4.6 Обсуждение вопросов - только в теме на форуме. Приглашения к обсуждению еще где-либо (в том числе и с помощью системы личных сообщений) запрещены, за исключением коммерческих разделов.
5.9 Запрещено отсылать пользователей из тематических разделов в разделы фриланса, а также рекламировать свои услуги или просить/требовать оплату за помощь, кроме разделов для платных услуг.

@andyj · 31.01.2018, 13:04 **[ТС]**

Сообщение от Custos

Не вопрос

я думал что это скромный метод/функция на десяток строк, а не "проект" на который надо делать заказ...

Не по теме:

p.s. сколько бы подобный модуль стоил КАЧЕСТВЕННО/надежно сделанный(а на школьником-индусом)

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@andyj 274 / 178 / 30 Регистрация: 16.03.2017 Сообщений: 1,631

	Многопоточная заливка файлов на сервер 22.01.2018, 01:45. Показов 2178. Ответов 10 Метки нет (Все метки) Добрый день, подскажите подход/технологию плииз. Задача: Сделать веб сервер для массовой заливки (upload) фалов (zip - 0.5-5Мб) от клиентов. В секунду в "час пик" могут МНОГИЕ "ломануться". И не знаю как однопоточная нода на это сриагирует, а имитировать подобную нагрузку до запуска нечем! Просто заливка и "складывание в папочку"! Обработка не нужна! Кстати... Чем обычно сетевую нагрузку имитируют для тестов? 0

@Custos Software Engineer 332 / 335 / 55 Регистрация: 23.09.2014 Сообщений: 990
	25.01.2018, 01:20
	andyj, нода отлично справляется с нагрузками. Если, конечно, нормально писать код. 0

@Custos Software Engineer 332 / 335 / 55 Регистрация: 23.09.2014 Сообщений: 990
	31.01.2018, 12:42
	andyj, выше был предоставлен ответ, отталкиваясь от которого легко реализовать то, что Вы хотели. Или Вы ждете, что Вам на блюдечке принесут готовую реализацию? 0

Многопоточная заливка файлов на сервер

Решение