Прогресс загрузки файлов в базу данных (Entity Framework +PostgreSQL)

@werymag · Регистрация: 20.05.2015

Студворк — интернет-сервис помощи студентам

Храню файлы (до 10 мб) в базе данных в виде бинарного массива (понимаю, что правильно хранить на вебсервере со ссылками, но пока не хочется заморачиваться)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  
 
 public class ItemTb
    { 
        ...
        public virtual ICollection<FilesDB> Files { get; set; } = new List<FilesDB>();
        ...
    }    
    
    
    public class FilesTb
    {
        ...
        public byte[] File { get; set; }
        ...
    }

И возник вопрос, как отображать прогресс отправки файлов. Есть ли какая-то хитрость, которая позволит это сделать.
Просто в некоторых местах интернет может быть плохим или нестабильным и хотелось бы понимать, как идет прогресс отправки файла.

Пока из мыслей только разбивать файлы на части и отправлять их частями на сервер. Но выглядит как-то костыльно.

@werymag · 24.01.2023, 11:37 **[ТС]**

Сообщение от Andrey-MSK

А в пакете с арендой СУБД нету разве FTP/HTTP сервера?

Всё своё, родное

(IP и сервер)

Сообщение от Рядовой

Ну я бы это сделал на asp net core

Спасибо, подумаю над этим.

Сообщение от HF

Куда заливать последовательно? В БД?

Ну а куда же.

Сообщение от HF

Чего тут я не так понял? Парень хочет в БД заливать файл последовательно, за 10 заходов

Не хочу, просто описал как пример того как костыльно можно получить прогресс отправки файла в БД.

В целом ответ я получил:
Получить текущий прогресс отправки данных в БД в лоб нельзя, надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.
Осталось выбрать сторонний инструмент для отправки и скачивания файлов.

@Usaga · 24.01.2023, 13:04

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

@werymag · 24.01.2023, 13:12 **[ТС]**

Сообщение от Usaga

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

Методом Insert бинарного массива (используя EF) из клиента на локальной машине.
Или вы про буфер/оперативную память/транзакцию сервера? Тут не силен как это реализовано внутри сервера PostgreSQL.

@Usaga · 24.01.2023, 13:22

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

@nicolas2008 · 24.01.2023, 13:26

жесть ...

@werymag · 24.01.2023, 13:29 **[ТС]**

Сообщение от Usaga

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

Да. Это не веб приложение, если что.
Какие ещё вы предложите варианты?

@Usaga · 24.01.2023, 13:36

werymag, чтобы поддерживать корректную клиент-серверную архитектуру, веб-приложение писать не обязательно. У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

И он здесь нужен. Во-первых, вы базу выставили в сеть. А это дыра в безопасности. Во-вторых, вы потеряли контроль над происходящим. И уже столкнулись с тем, что такой контроль вам нужен.

Сообщение от werymag

надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.

Вот эти сторонние сервисы и должны были быть вашим серверным приложением. Теперь вам придётся пилить такой сервер)

@Andrey-MSK · 24.01.2023, 13:44

Сообщение от werymag

Да.

Прямое соединение с СУБД делают только в корпоративных (внутренних) сетях, где доступ к сети происходит через сервер авторизации предприятия. Во всех других случаях СУБД прячут от мира.

@Usaga · 24.01.2023, 13:45

Andrey-MSK, в корпоративных сетях тоже прячут.

@Andrey-MSK · 24.01.2023, 13:47

Сообщение от Usaga

в корпоративных сетях тоже прячут.

Если в сеть нельзя попасть снаружи, то смысл прятать. Хотя всякое бывает

@Usaga · 24.01.2023, 13:53

Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов.

@werymag · 24.01.2023, 14:06 **[ТС]**

Сообщение от Usaga

А это дыра в безопасности.

Да и хрен с ним пока. Там не будет конфиденциальных данных, из опасностей там только падение сервера.
Да и не уверен, что серверное приложение написанное без должного опыта (коего у меня пока нет), будет надежнее системы аутентификации встроенной в PostgreSQL.

Но буду разбираться. Есть ли готовые решения?

Сообщение от Usaga

У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

Почитаю, что там.
Хотелось бы что-то что можно запихать в докер вместе с PostgreSQL.

Добавлено через 31 секунду

Сообщение от Usaga

правах доступа клиентов.

А роли в БД для этого использовать - плохой тон?

@nicolas2008 · 24.01.2023, 14:39

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

@Usaga · 24.01.2023, 14:41

werymag, да, плохой тон. В основном из-за никакущей гибкости.

@werymag · 24.01.2023, 17:53 **[ТС]**

Сообщение от nicolas2008

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

На текущий момент я над этим думаю, пока с голым PostgreSQL думаю сделать так:
1. Через строку с пользователем/ролью с назначенными правами подключаюсь к БД.
2. Создаю видимость аутентификации конкретного пользователя (проверить - есть ли такой пользователь и совпадает ли хеш его пароля в моей, доступной для текущей роли только для чтения таблице Users ).

В данном случае безопасность особой роли не играет, пароли нужны чисто что бы левый человек не зашел и не испортил все данные.
То есть если у клиента есть доступ определённого уровня, то технически он имеет доступ ко всем данным этого уровня.

Очевидно, что это неправильно, но что ещё можно сделать не создавая своё серверное приложение? На текущем этапе мне хотелось бы отложить эту часть.

Добавлено через 2 часа 33 минуты
О сервер восстал). И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

@Рядовой · 24.01.2023, 19:33

Сообщение от werymag

И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

Ваш ef переезжает на серверное приложение, которое и будет писать в бд. А библиотеку классов можете сделать общей для клиента и сервера

@Usaga · 25.01.2023, 08:55

Сообщение от Рядовой

А библиотеку классов можете сделать общей для клиента и сервера

Только Христа ради, не делайте общие классы сущностей EF'а. Заведите отдельные DTO для обмена между клиентом и сервером. Если серверное приложение будет сделано на базе WebAPI (HTTP), то можно подтянуть в него Swagger, который позволит сгенерировать клиент по метаданным сервера и даже не шарить никакие библиотеки классов DTO. Но это опционально.

@werymag · 01.02.2023, 11:26 **[ТС]**

Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите.

(Речь о клиенте, не о сервере)
Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository.
Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей.
Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции?

Оптимально ли? Правилен ли такой подход?

Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера.

Добавлено через 4 минуты
Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается...

@Andrey-MSK · 01.02.2023, 11:44

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции

Dependency Injection есть для сервисов. Но смотрите, контекст EF будет жрать память при интенсивной работе...

@IamRain · 01.02.2023, 13:12

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции?

Вы сейчас не о том думаете. Чтобы отображать прогресс, можно слать файл по веб-сокету, обратно по сокету слать условные каждые 5% прогресса.
По-завершению закачки EF, на стороне сервера делает вставку перенесенных данных и после SaveChanges() отправляет финальный ProgressReport в 100%. Примерно так.

Добавлено через 9 минут
Можно и кастомные бинарные протоколы на голых сокетах использовать (вывод прогресса, возможность докачки при обрыве связи), но судя по характеру вопроса, это вам реализовывать сильно дольше. Поэтому вебсокеты/SignalR - само то.

Новые блоги и статьи Все статьи Все блоги /
Нейтральные знания, чистый код - бла-бла-бла-бла, на самом деле кликбейт и самореклама, плагиат, и вот почему Hrethgir 27.07.2026 То-есть отклонение такой публикации говорит само за себя, и пусть только возьмут на вооружение после отклонения публикации - это будет чистейшим актом плагиата. Отклонял Хабр. Дословно, отклонённая. . .	тв 16 бой ии anaschu 27.07.2026 Великий Перелом ИИ: Как уравнения ОДУ Radau дожали цензурные фильтры Алисы Фиксируем в мемофонде Теории Всего беспрецедентный факт в истории ИИ-зондирования. В затяжном многораундовом. . .	мв 15. непроверенное, возможно, глюк anaschu 27.07.2026 НАУЧНО-АНАЛИТИЧЕСКИЙ ОТЧЕТ. РАЗДЕЛ 1. 1: «НАУКА» (РАСШИРЕННАЯ СТЕХИОМЕТРИЧЕСКАЯ И ГЕНЕТИЧЕСКАЯ ВЕРСИЯ)Тема: Теоретическое обоснование инвариантности 19-мерного тензорного ядра непрерывных ОДУ и. . .	Очистка реквизитов и табличных частей документа при копировании (вариант 2) Maks 26.07.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРаботу", разработанного в КА2. Задача: Заменить алгоритм запрета копирования документов для сотрудников с ролью "Стажер",. . .
Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .	сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.	сукцессия 43. Вторая научная статья за месяц- прайминг и гатгил anaschu 25.07.2026 две стороны одной монеты	Более приземисто - Эстафету хвоста в .cdl (деревья эстафеты в сад). Hrethgir 24.07.2026 В будущем, после написания блока инверсии обхода дерева (эстафеты хвоста), я планирую вернуться к нашему прошлому разговору о том, обладают ли знания целеполаганием. Тогда я пришел к выводу, что. . .

@Usaga 14371 / 9478 / 1360 Регистрация: 21.01.2016 Сообщений: 35,749
	24.01.2023, 13:04
	werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают? 0

@Usaga 14371 / 9478 / 1360 Регистрация: 21.01.2016 Сообщений: 35,749
	24.01.2023, 13:22
	werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются? 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 13:26
	жесть ... 0

@Usaga 14371 / 9478 / 1360 Регистрация: 21.01.2016 Сообщений: 35,749
	24.01.2023, 13:45
	Andrey-MSK, в корпоративных сетях тоже прячут. 0

@Usaga 14371 / 9478 / 1360 Регистрация: 21.01.2016 Сообщений: 35,749
	24.01.2023, 13:53
	Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов. 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 14:39
	werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя? 0

@Usaga 14371 / 9478 / 1360 Регистрация: 21.01.2016 Сообщений: 35,749
	24.01.2023, 14:41
	werymag, да, плохой тон. В основном из-за никакущей гибкости. 1

@werymag 27 / 12 / 1 Регистрация: 20.05.2015 Сообщений: 217
	01.02.2023, 11:26 [ТС]
	Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите. (Речь о клиенте, не о сервере) Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository. Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей. Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции? Оптимально ли? Правилен ли такой подход? Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера. Добавлено через 4 минуты Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается... 0