Прогресс загрузки файлов в базу данных (Entity Framework +PostgreSQL)

@werymag · Регистрация: 20.05.2015

Студворк — интернет-сервис помощи студентам

Храню файлы (до 10 мб) в базе данных в виде бинарного массива (понимаю, что правильно хранить на вебсервере со ссылками, но пока не хочется заморачиваться)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
  
 
 public class ItemTb
    { 
        ...
        public virtual ICollection<FilesDB> Files { get; set; } = new List<FilesDB>();
        ...
    }    
    
    
    public class FilesTb
    {
        ...
        public byte[] File { get; set; }
        ...
    }

И возник вопрос, как отображать прогресс отправки файлов. Есть ли какая-то хитрость, которая позволит это сделать.
Просто в некоторых местах интернет может быть плохим или нестабильным и хотелось бы понимать, как идет прогресс отправки файла.

Пока из мыслей только разбивать файлы на части и отправлять их частями на сервер. Но выглядит как-то костыльно.

@werymag · 24.01.2023, 11:37 **[ТС]**

Сообщение от Andrey-MSK

А в пакете с арендой СУБД нету разве FTP/HTTP сервера?

Всё своё, родное

(IP и сервер)

Сообщение от Рядовой

Ну я бы это сделал на asp net core

Спасибо, подумаю над этим.

Сообщение от HF

Куда заливать последовательно? В БД?

Ну а куда же.

Сообщение от HF

Чего тут я не так понял? Парень хочет в БД заливать файл последовательно, за 10 заходов

Не хочу, просто описал как пример того как костыльно можно получить прогресс отправки файла в БД.

В целом ответ я получил:
Получить текущий прогресс отправки данных в БД в лоб нельзя, надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.
Осталось выбрать сторонний инструмент для отправки и скачивания файлов.

@Usaga · 24.01.2023, 13:04

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

@werymag · 24.01.2023, 13:12 **[ТС]**

Сообщение от Usaga

werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают?

Методом Insert бинарного массива (используя EF) из клиента на локальной машине.
Или вы про буфер/оперативную память/транзакцию сервера? Тут не силен как это реализовано внутри сервера PostgreSQL.

@Usaga · 24.01.2023, 13:22

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

@nicolas2008 · 24.01.2023, 13:26

жесть ...

@werymag · 24.01.2023, 13:29 **[ТС]**

Сообщение от Usaga

werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются?

Да. Это не веб приложение, если что.
Какие ещё вы предложите варианты?

@Usaga · 24.01.2023, 13:36

werymag, чтобы поддерживать корректную клиент-серверную архитектуру, веб-приложение писать не обязательно. У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

И он здесь нужен. Во-первых, вы базу выставили в сеть. А это дыра в безопасности. Во-вторых, вы потеряли контроль над происходящим. И уже столкнулись с тем, что такой контроль вам нужен.

Сообщение от werymag

надо использовать сторонние сервисы с последующей передачей файла или получением ссылки.

Вот эти сторонние сервисы и должны были быть вашим серверным приложением. Теперь вам придётся пилить такой сервер)

@Andrey-MSK · 24.01.2023, 13:44

Сообщение от werymag

Да.

Прямое соединение с СУБД делают только в корпоративных (внутренних) сетях, где доступ к сети происходит через сервер авторизации предприятия. Во всех других случаях СУБД прячут от мира.

@Usaga · 24.01.2023, 13:45

Andrey-MSK, в корпоративных сетях тоже прячут.

@Andrey-MSK · 24.01.2023, 13:47

Сообщение от Usaga

в корпоративных сетях тоже прячут.

Если в сеть нельзя попасть снаружи, то смысл прятать. Хотя всякое бывает

@Usaga · 24.01.2023, 13:53

Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов.

@werymag · 24.01.2023, 14:06 **[ТС]**

Сообщение от Usaga

А это дыра в безопасности.

Да и хрен с ним пока. Там не будет конфиденциальных данных, из опасностей там только падение сервера.
Да и не уверен, что серверное приложение написанное без должного опыта (коего у меня пока нет), будет надежнее системы аутентификации встроенной в PostgreSQL.

Но буду разбираться. Есть ли готовые решения?

Сообщение от Usaga

У вас мог быть сервер любой природы (WebAPI, gRPC, WCF, etc...).

Почитаю, что там.
Хотелось бы что-то что можно запихать в докер вместе с PostgreSQL.

Добавлено через 31 секунду

Сообщение от Usaga

правах доступа клиентов.

А роли в БД для этого использовать - плохой тон?

@nicolas2008 · 24.01.2023, 14:39

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

@Usaga · 24.01.2023, 14:41

werymag, да, плохой тон. В основном из-за никакущей гибкости.

@werymag · 24.01.2023, 17:53 **[ТС]**

Сообщение от nicolas2008

werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя?

На текущий момент я над этим думаю, пока с голым PostgreSQL думаю сделать так:
1. Через строку с пользователем/ролью с назначенными правами подключаюсь к БД.
2. Создаю видимость аутентификации конкретного пользователя (проверить - есть ли такой пользователь и совпадает ли хеш его пароля в моей, доступной для текущей роли только для чтения таблице Users ).

В данном случае безопасность особой роли не играет, пароли нужны чисто что бы левый человек не зашел и не испортил все данные.
То есть если у клиента есть доступ определённого уровня, то технически он имеет доступ ко всем данным этого уровня.

Очевидно, что это неправильно, но что ещё можно сделать не создавая своё серверное приложение? На текущем этапе мне хотелось бы отложить эту часть.

Добавлено через 2 часа 33 минуты
О сервер восстал). И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

@Рядовой · 24.01.2023, 19:33

Сообщение от werymag

И ещё вопрос, получается при использовании бекенд сервера я не смогу использовать EF? Если так, то это крайне грустно, так как он радикально упрощал работу.

Ваш ef переезжает на серверное приложение, которое и будет писать в бд. А библиотеку классов можете сделать общей для клиента и сервера

@Usaga · 25.01.2023, 08:55

Сообщение от Рядовой

А библиотеку классов можете сделать общей для клиента и сервера

Только Христа ради, не делайте общие классы сущностей EF'а. Заведите отдельные DTO для обмена между клиентом и сервером. Если серверное приложение будет сделано на базе WebAPI (HTTP), то можно подтянуть в него Swagger, который позволит сгенерировать клиент по метаданным сервера и даже не шарить никакие библиотеки классов DTO. Но это опционально.

@werymag · 01.02.2023, 11:26 **[ТС]**

Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите.

(Речь о клиенте, не о сервере)
Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository.
Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей.
Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции?

Оптимально ли? Правилен ли такой подход?

Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера.

Добавлено через 4 минуты
Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается...

@Andrey-MSK · 01.02.2023, 11:44

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции

Dependency Injection есть для сервисов. Но смотрите, контекст EF будет жрать память при интенсивной работе...

@IamRain · 01.02.2023, 13:12

Сообщение от werymag

что я должен создавать объект Unit of Work для каждой операции?

Вы сейчас не о том думаете. Чтобы отображать прогресс, можно слать файл по веб-сокету, обратно по сокету слать условные каждые 5% прогресса.
По-завершению закачки EF, на стороне сервера делает вставку перенесенных данных и после SaveChanges() отправляет финальный ProgressReport в 100%. Примерно так.

Добавлено через 9 минут
Можно и кастомные бинарные протоколы на голых сокетах использовать (вывод прогресса, возможность докачки при обрыве связи), но судя по характеру вопроса, это вам реализовывать сильно дольше. Поэтому вебсокеты/SignalR - само то.

Новые блоги и статьи Все статьи Все блоги /
[golang] Алгоритм «Хак Госпера» alhaos 17.05.2026 Алгоритм «Хак Госпера» Хак Госпера (Gosper's Hack) — алгоритм нахождения следующего по величине числа с тем же количеством установленных бит. Придуман Биллом Госпером в 1970-х, опубликован в. . .	Рисование бинарного древа до 6-го колена на js, svg. russiannick 17.05.2026 <svg width="335" height="240" viewBox="0 0 335 240" fill="#e5e1bb"> <style> <!]> </ style> <g id="bush"> </ g> </ svg> function fn(){ let rost;/ / высота древа let xx=165,yy=210,w=256;	FSharp: interface of module DevAlt 16.05.2026 Интерфейс модуля F# позволяет управлять доступностью членов, содержащихся в реализации модуля. По-умолчанию все члены модуля доступны: module Foo let x = 10 let boo () = printfn "boo" . . .	Хитросплетение родственных связей пантеона греческих богов. russiannick 14.05.2026 Однооконник, позволяющий узреть и изучить отдельных героев древней Греции. <!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible". . .
[golang] Угол между стрелками часов alhaos 12.05.2026 По заданным значениям часа и минуты необходимо определить значение меньшего угла между стрелками аналогового циферблата часов. import "math" func angleClock(hour int, minutes int) float64 { . . .	Debian 13: Установка Lazarus QT5 ВитГо 09.05.2026 Эта инструкция моя компиляция инструкций volvo https:/ / www. cyberforum. ru/ blogs/ 203668/ 10753. html и его же старой инструкции по установке Lazarus с gtk2. . .	Нейросеть на алгоритме "эстафета хвоста" как перспектива. Hrethgir 06.05.2026 На десерт, когда запущу сервер. Статья тут https:/ / habr. com/ ru/ articles/ 1030914/ . Автор я сам, нейросеть только помогает в вопросах которые мне не известны - не знаю людей которые знали-бы. . .	Асинхронный приём данных из COM-порта Argus19 01.05.2026 Асинхронный приём данных из COM-порта Купил на aliexpress термопринтер QR701. Он оказался странным. Поключил к Arduino Nano. Был очень удивлён. Наотрез отказывается печатать русские буквы. Чтобы. . .

@Usaga 14336 / 9429 / 1358 Регистрация: 21.01.2016 Сообщений: 35,553
	24.01.2023, 13:04
	werymag, какой ещё "сторонний сервис"? У вас на сервер файлы как попадают? 0

@Usaga 14336 / 9429 / 1358 Регистрация: 21.01.2016 Сообщений: 35,553
	24.01.2023, 13:22
	werymag, т.е. у вас клиенты напрямую к серверу СУБД обращаются? 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 13:26
	жесть ... 0

@Usaga 14336 / 9429 / 1358 Регистрация: 21.01.2016 Сообщений: 35,553
	24.01.2023, 13:45
	Andrey-MSK, в корпоративных сетях тоже прячут. 0

@Usaga 14336 / 9429 / 1358 Регистрация: 21.01.2016 Сообщений: 35,553
	24.01.2023, 13:53
	Andrey-MSK, смысл в централизованной, инкапсулированной бизнес-логике и правах доступа клиентов. 0

@nicolas2008 1152 / 860 / 263 Регистрация: 30.04.2009 Сообщений: 3,603
	24.01.2023, 14:39
	werymag, у вас прям строка подключения каждый раз строится с указанием логина и пароля конкретного пользователя? 0

@Usaga 14336 / 9429 / 1358 Регистрация: 21.01.2016 Сообщений: 35,553
	24.01.2023, 14:41
	werymag, да, плохой тон. В основном из-за никакущей гибкости. 1

@werymag 26 / 11 / 1 Регистрация: 20.05.2015 Сообщений: 216
	01.02.2023, 11:26 [ТС]
	Раз все умные уже тут и вопрос в продолжении темы (дабы не множить сущности). Подскажите. (Речь о клиенте, не о сервере) Допустим я хочу связать клиентское приложение с контролами WebApi через патернн Repository. Если у меня несколько десятков сильно разных таблиц, получается, что для каждого из них я вынужден делать свой репозиторий? По идее можно собрать их используя паттерн Unit of Work, но всё равно как-то громоздко получается. Часть из них будут реализованы через обобщения, но всё равно будет много сущностей. Так же видел утверждение, что контекст подключения должен существовать одну бизнес операцию, то есть получается - что я должен создавать объект Unit of Work для каждой операции? Оптимально ли? Правилен ли такой подход? Тут нюанс ещё в том, что мне надо использовать ещё и локальную БД на клиенте, для сохранения данных с сервера. Добавлено через 4 минуты Ну и в целом, конечно, мозг ломает, у меня между действием "нажать на кнопку в приложении" и "запросить данные в БД" чуть ли не десяток абстракций вырисовывается... 0