Прогресс загрузки файлов в базу данных (Entity Framework +PostgreSQL)

@werymag · Регистрация: 20.05.2015

Студворк — интернет-сервис помощи студентам

Храню файлы (до 10 мб) в базе данных в виде бинарного массива (понимаю, что правильно хранить на вебсервере со ссылками, но пока не хочется заморачиваться)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  
 
 public class ItemTb
    { 
        ...
        public virtual ICollection<FilesDB> Files { get; set; } = new List<FilesDB>();
        ...
    }    
    
    
    public class FilesTb
    {
        ...
        public byte[] File { get; set; }
        ...
    }

И возник вопрос, как отображать прогресс отправки файлов. Есть ли какая-то хитрость, которая позволит это сделать.
Просто в некоторых местах интернет может быть плохим или нестабильным и хотелось бы понимать, как идет прогресс отправки файла.

Пока из мыслей только разбивать файлы на части и отправлять их частями на сервер. Но выглядит как-то костыльно.

@werymag · 24.01.2023, 11:37 **[ТС]**

Сообщение от Andrey-MSK

А в пакете с арендой СУБД нету разве FTP/HTTP сервера?

Всё своё, родное

(IP и сервер)

Сообщение от Рядовой

Ну я бы это сделал на asp net core

Спасибо, подумаю над этим.

Сообщение от HF

Куда заливать последовательно? В БД?

Ну а куда же.

Сообщение от HF

Чего тут я не так понял? Парень хочет в БД заливать файл последовательно, за 10 заходов

Не хочу, просто описал как пример того как костыльно можно получить прогресс отправки файла в БД.

В целом ответ я получил:
Получить текущий прогресс отправки данных в БД в лоб нельзя, надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.
Осталось выбрать сторонний инструмент для отправки и скачивания файлов.

@Usaga · 24.01.2023, 13:04

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

@werymag · 24.01.2023, 13:12 **[ТС]**

Сообщение от Usaga

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

Методом Insert бинарного массива (используя EF) из клиента на локальной машине.
Или вы про буфер/оперативную память/транзакцию сервера? Тут не силен как это реализовано внутри сервера PostgreSQL.

@Usaga · 24.01.2023, 13:22

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

@nicolas2008 · 24.01.2023, 13:26

жесть ...

@werymag · 24.01.2023, 13:29 **[ТС]**

Сообщение от Usaga

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

Да. Это не веб приложение, если что.
Какие ещё вы предложите варианты?

@Usaga · 24.01.2023, 13:36

werymag, чтобы поддерживать корректную клиент-серверную архитектуру, веб-приложение писать не обязательно. У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

И он здесь нужен. Во-первых, вы базу выставили в сеть. А это дыра в безопасности. Во-вторых, вы потеряли контроль над происходящим. И уже столкнулись с тем, что такой контроль вам нужен.

Сообщение от werymag

надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.

Вот эти сторонние сервисы и должны были быть вашим серверным приложением. Теперь вам придётся пилить такой сервер)

@Andrey-MSK · 24.01.2023, 13:44

Сообщение от werymag

Да.

Прямое соединение с СУБД делают только в корпоративных (внутренних) сетях, где доступ к сети происходит через сервер авторизации предприятия. Во всех других случаях СУБД прячут от мира.

@Usaga · 24.01.2023, 13:45

Andrey-MSK, в корпоративных сетях тоже прячут.

@Andrey-MSK · 24.01.2023, 13:47

Сообщение от Usaga

в корпоративных сетях тоже прячут.

Если в сеть нельзя попасть снаружи, то смысл прятать. Хотя всякое бывает

@Usaga · 24.01.2023, 13:53

Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов.

@werymag · 24.01.2023, 14:06 **[ТС]**

Сообщение от Usaga

А это дыра в безопасности.

Да и хрен с ним пока. Там не будет конфиденциальных данных, из опасностей там только падение сервера.
Да и не уверен, что серверное приложение написанное без должного опыта (коего у меня пока нет), будет надежнее системы аутентификации встроенной в PostgreSQL.

Но буду разбираться. Есть ли готовые решения?

Сообщение от Usaga

У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

Почитаю, что там.
Хотелось бы что-то что можно запихать в докер вместе с PostgreSQL.

Добавлено через 31 секунду

Сообщение от Usaga

правах доступа клиентов.

А роли в БД для этого использовать - плохой тон?

@nicolas2008 · 24.01.2023, 14:39

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

@Usaga · 24.01.2023, 14:41

werymag, да, плохой тон. В основном из-за никакущей гибкости.

@werymag · 24.01.2023, 17:53 **[ТС]**

Сообщение от nicolas2008

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

На текущий момент я над этим думаю, пока с голым PostgreSQL думаю сделать так:
1. Через строку с пользователем/ролью с назначенными правами подключаюсь к БД.
2. Создаю видимость аутентификации конкретного пользователя (проверить - есть ли такой пользователь и совпадает ли хеш его пароля в моей, доступной для текущей роли только для чтения таблице Users ).

В данном случае безопасность особой роли не играет, пароли нужны чисто что бы левый человек не зашел и не испортил все данные.
То есть если у клиента есть доступ определённого уровня, то технически он имеет доступ ко всем данным этого уровня.

Очевидно, что это неправильно, но что ещё можно сделать не создавая своё серверное приложение? На текущем этапе мне хотелось бы отложить эту часть.

Добавлено через 2 часа 33 минуты
О сервер восстал). И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

@Рядовой · 24.01.2023, 19:33

Сообщение от werymag

И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

Ваш ef переезжает на серверное приложение, которое и будет писать в бд. А библиотеку классов можете сделать общей для клиента и сервера

@Usaga · 25.01.2023, 08:55

Сообщение от Рядовой

А библиотеку классов можете сделать общей для клиента и сервера

Только Христа ради, не делайте общие классы сущностей EF'а. Заведите отдельные DTO для обмена между клиентом и сервером. Если серверное приложение будет сделано на базе WebAPI (HTTP), то можно подтянуть в него Swagger, который позволит сгенерировать клиент по метаданным сервера и даже не шарить никакие библиотеки классов DTO. Но это опционально.

@werymag · 01.02.2023, 11:26 **[ТС]**

Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите.

(Речь о клиенте, не о сервере)
Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository.
Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей.
Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции?

Оптимально ли? Правилен ли такой подход?

Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера.

Добавлено через 4 минуты
Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается...

@Andrey-MSK · 01.02.2023, 11:44

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции

Dependency Injection есть для сервисов. Но смотрите, контекст EF будет жрать память при интенсивной работе...

@IamRain · 01.02.2023, 13:12

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции?

Вы сейчас не о том думаете. Чтобы отображать прогресс, можно слать файл по веб-сокету, обратно по сокету слать условные каждые 5% прогресса.
По-завершению закачки EF, на стороне сервера делает вставку перенесенных данных и после SaveChanges() отправляет финальный ProgressReport в 100%. Примерно так.

Добавлено через 9 минут
Можно и кастомные бинарные протоколы на голых сокетах использовать (вывод прогресса, возможность докачки при обрыве связи), но судя по характеру вопроса, это вам реализовывать сильно дольше. Поэтому вебсокеты/SignalR - само то.

Новые блоги и статьи Все статьи Все блоги /
Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .

@Usaga 14313 / 9393 / 1355 Регистрация: 21.01.2016 Сообщений: 35,427
	24.01.2023, 13:04
	werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают? 0

@Usaga 14313 / 9393 / 1355 Регистрация: 21.01.2016 Сообщений: 35,427
	24.01.2023, 13:22
	werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются? 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 13:26
	жесть ... 0

@Usaga 14313 / 9393 / 1355 Регистрация: 21.01.2016 Сообщений: 35,427
	24.01.2023, 13:45
	Andrey-MSK, в корпоративных сетях тоже прячут. 0

@Usaga 14313 / 9393 / 1355 Регистрация: 21.01.2016 Сообщений: 35,427
	24.01.2023, 13:53
	Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов. 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 14:39
	werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя? 0

@Usaga 14313 / 9393 / 1355 Регистрация: 21.01.2016 Сообщений: 35,427
	24.01.2023, 14:41
	werymag, да, плохой тон. В основном из-за никакущей гибкости. 1

@werymag 26 / 11 / 1 Регистрация: 20.05.2015 Сообщений: 216
	01.02.2023, 11:26 [ТС]
	Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите. (Речь о клиенте, не о сервере) Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository. Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей. Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции? Оптимально ли? Правилен ли такой подход? Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера. Добавлено через 4 минуты Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается... 0