Прогресс загрузки файлов в базу данных (Entity Framework +PostgreSQL)

@werymag · Регистрация: 20.05.2015

Студворк — интернет-сервис помощи студентам

Храню файлы (до 10 мб) в базе данных в виде бинарного массива (понимаю, что правильно хранить на вебсервере со ссылками, но пока не хочется заморачиваться)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  
 
 public class ItemTb
    { 
        ...
        public virtual ICollection<FilesDB> Files { get; set; } = new List<FilesDB>();
        ...
    }    
    
    
    public class FilesTb
    {
        ...
        public byte[] File { get; set; }
        ...
    }

И возник вопрос, как отображать прогресс отправки файлов. Есть ли какая-то хитрость, которая позволит это сделать.
Просто в некоторых местах интернет может быть плохим или нестабильным и хотелось бы понимать, как идет прогресс отправки файла.

Пока из мыслей только разбивать файлы на части и отправлять их частями на сервер. Но выглядит как-то костыльно.

@werymag · 24.01.2023, 11:37 **[ТС]**

Сообщение от Andrey-MSK

А в пакете с арендой СУБД нету разве FTP/HTTP сервера?

Всё своё, родное

(IP и сервер)

Сообщение от Рядовой

Ну я бы это сделал на asp net core

Спасибо, подумаю над этим.

Сообщение от HF

Куда заливать последовательно? В БД?

Ну а куда же.

Сообщение от HF

Чего тут я не так понял? Парень хочет в БД заливать файл последовательно, за 10 заходов

Не хочу, просто описал как пример того как костыльно можно получить прогресс отправки файла в БД.

В целом ответ я получил:
Получить текущий прогресс отправки данных в БД в лоб нельзя, надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.
Осталось выбрать сторонний инструмент для отправки и скачивания файлов.

@Usaga · 24.01.2023, 13:04

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

@werymag · 24.01.2023, 13:12 **[ТС]**

Сообщение от Usaga

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

Методом Insert бинарного массива (используя EF) из клиента на локальной машине.
Или вы про буфер/оперативную память/транзакцию сервера? Тут не силен как это реализовано внутри сервера PostgreSQL.

@Usaga · 24.01.2023, 13:22

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

@nicolas2008 · 24.01.2023, 13:26

жесть ...

@werymag · 24.01.2023, 13:29 **[ТС]**

Сообщение от Usaga

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

Да. Это не веб приложение, если что.
Какие ещё вы предложите варианты?

@Usaga · 24.01.2023, 13:36

werymag, чтобы поддерживать корректную клиент-серверную архитектуру, веб-приложение писать не обязательно. У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

И он здесь нужен. Во-первых, вы базу выставили в сеть. А это дыра в безопасности. Во-вторых, вы потеряли контроль над происходящим. И уже столкнулись с тем, что такой контроль вам нужен.

Сообщение от werymag

надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.

Вот эти сторонние сервисы и должны были быть вашим серверным приложением. Теперь вам придётся пилить такой сервер)

@Andrey-MSK · 24.01.2023, 13:44

Сообщение от werymag

Да.

Прямое соединение с СУБД делают только в корпоративных (внутренних) сетях, где доступ к сети происходит через сервер авторизации предприятия. Во всех других случаях СУБД прячут от мира.

@Usaga · 24.01.2023, 13:45

Andrey-MSK, в корпоративных сетях тоже прячут.

@Andrey-MSK · 24.01.2023, 13:47

Сообщение от Usaga

в корпоративных сетях тоже прячут.

Если в сеть нельзя попасть снаружи, то смысл прятать. Хотя всякое бывает

@Usaga · 24.01.2023, 13:53

Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов.

@werymag · 24.01.2023, 14:06 **[ТС]**

Сообщение от Usaga

А это дыра в безопасности.

Да и хрен с ним пока. Там не будет конфиденциальных данных, из опасностей там только падение сервера.
Да и не уверен, что серверное приложение написанное без должного опыта (коего у меня пока нет), будет надежнее системы аутентификации встроенной в PostgreSQL.

Но буду разбираться. Есть ли готовые решения?

Сообщение от Usaga

У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

Почитаю, что там.
Хотелось бы что-то что можно запихать в докер вместе с PostgreSQL.

Добавлено через 31 секунду

Сообщение от Usaga

правах доступа клиентов.

А роли в БД для этого использовать - плохой тон?

@nicolas2008 · 24.01.2023, 14:39

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

@Usaga · 24.01.2023, 14:41

werymag, да, плохой тон. В основном из-за никакущей гибкости.

@werymag · 24.01.2023, 17:53 **[ТС]**

Сообщение от nicolas2008

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

На текущий момент я над этим думаю, пока с голым PostgreSQL думаю сделать так:
1. Через строку с пользователем/ролью с назначенными правами подключаюсь к БД.
2. Создаю видимость аутентификации конкретного пользователя (проверить - есть ли такой пользователь и совпадает ли хеш его пароля в моей, доступной для текущей роли только для чтения таблице Users ).

В данном случае безопасность особой роли не играет, пароли нужны чисто что бы левый человек не зашел и не испортил все данные.
То есть если у клиента есть доступ определённого уровня, то технически он имеет доступ ко всем данным этого уровня.

Очевидно, что это неправильно, но что ещё можно сделать не создавая своё серверное приложение? На текущем этапе мне хотелось бы отложить эту часть.

Добавлено через 2 часа 33 минуты
О сервер восстал). И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

@Рядовой · 24.01.2023, 19:33

Сообщение от werymag

И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

Ваш ef переезжает на серверное приложение, которое и будет писать в бд. А библиотеку классов можете сделать общей для клиента и сервера

@Usaga · 25.01.2023, 08:55

Сообщение от Рядовой

А библиотеку классов можете сделать общей для клиента и сервера

Только Христа ради, не делайте общие классы сущностей EF'а. Заведите отдельные DTO для обмена между клиентом и сервером. Если серверное приложение будет сделано на базе WebAPI (HTTP), то можно подтянуть в него Swagger, который позволит сгенерировать клиент по метаданным сервера и даже не шарить никакие библиотеки классов DTO. Но это опционально.

@werymag · 01.02.2023, 11:26 **[ТС]**

Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите.

(Речь о клиенте, не о сервере)
Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository.
Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей.
Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции?

Оптимально ли? Правилен ли такой подход?

Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера.

Добавлено через 4 минуты
Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается...

@Andrey-MSK · 01.02.2023, 11:44

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции

Dependency Injection есть для сервисов. Но смотрите, контекст EF будет жрать память при интенсивной работе...

@IamRain · 01.02.2023, 13:12

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции?

Вы сейчас не о том думаете. Чтобы отображать прогресс, можно слать файл по веб-сокету, обратно по сокету слать условные каждые 5% прогресса.
По-завершению закачки EF, на стороне сервера делает вставку перенесенных данных и после SaveChanges() отправляет финальный ProgressReport в 100%. Примерно так.

Добавлено через 9 минут
Можно и кастомные бинарные протоколы на голых сокетах использовать (вывод прогресса, возможность докачки при обрыве связи), но судя по характеру вопроса, это вам реализовывать сильно дольше. Поэтому вебсокеты/SignalR - само то.

Новые блоги и статьи Все статьи Все блоги /
Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .
Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .

@Usaga 14784 / 9558 / 1366 Регистрация: 21.01.2016 Сообщений: 36,044
	24.01.2023, 13:04
	werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают? 0

@Usaga 14784 / 9558 / 1366 Регистрация: 21.01.2016 Сообщений: 36,044
	24.01.2023, 13:22
	werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются? 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 13:26
	жесть ... 0

@Usaga 14784 / 9558 / 1366 Регистрация: 21.01.2016 Сообщений: 36,044
	24.01.2023, 13:45
	Andrey-MSK, в корпоративных сетях тоже прячут. 0

@Usaga 14784 / 9558 / 1366 Регистрация: 21.01.2016 Сообщений: 36,044
	24.01.2023, 13:53
	Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов. 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 14:39
	werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя? 0

@Usaga 14784 / 9558 / 1366 Регистрация: 21.01.2016 Сообщений: 36,044
	24.01.2023, 14:41
	werymag, да, плохой тон. В основном из-за никакущей гибкости. 1

@werymag 27 / 12 / 1 Регистрация: 20.05.2015 Сообщений: 217
	01.02.2023, 11:26 [ТС]
	Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите. (Речь о клиенте, не о сервере) Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository. Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей. Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции? Оптимально ли? Правилен ли такой подход? Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера. Добавлено через 4 минуты Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается... 0