Чтение больших файлов из blob

@Narrash82 · Регистрация: 20.06.2020

Студворк — интернет-сервис помощи студентам

Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
procedure TForm1.Button1Click(Sender: TObject);
var RequestS,urlS:string;
 
begin
   ADOQuery1.Active := false;
   ADOQuery1.SQL.Clear;
   RequestS:= 'SELECT * FROM ['+BaseName.Text+'].[dbo].[(spxml_blobs)] where url = '+ SBResName.Text;
   ADOQuery1.SQL.Add(RequestS);
   ADOQuery1.Active := true;
   if ADOQuery1.RecordCount >0 then
   begin
      ADOQuery1.First;
      urlS:=ADOQuery1.FieldByName('url').AsString;
      urlS:= StringReplace(UrlS, '/','\',[rfReplaceAll, rfIgnoreCase]);
      (ADOQuery1.FieldByName('data') as TBlobField).SaveToFile(ExtractFileName(urlS));
   end;
   ADOQuery1.Active := false;
end;

Если в поле data лежит файл больше 200 метров - ругается, что память переполнена.

Delphi
1
2
MS: TStream;
MS := Adoquery1.CreateBlobStream(adoquery1.FieldByName('data'),bmRead);

Аналогично ругается на переполненную память.

Как сохранить блоб в файл?
В базе хранятся видео. Файлы могут быть больше гига.
Зачем, почему и т.д. - Не я это придумал. Есть свершившийся факт - файлы лежат там, и надо забрать.

@krapotkin · 20.06.2020, 08:07

в целом порядок действий вроде соблюден
если он дает ошибку, то полагаю, придется лезть в исходник и выяснять, не пытается ли существующий код все засосать разом в память, и можно ли заменить его на TFileStream например

@Пытливый · 20.06.2020, 11:17

Неправильно делаете. Вы должны из spxml_blobs получить выборку номеров идентификаторов, а не все блобы, а уже потом из выборки, по одному идентификатору за раз, забирать блоб и его обрабатывать.

Добавлено через 14 минут
И кстати какая версия MSSQL? Если не ошибаюсь в MSSQL есть специальный инструментарий для работы с блоб-данными не как с полем, а как с файлом, т.е. его можно открыть и читать небольшими блоками как обычный файл.

@Narrash82 · 20.06.2020, 20:28 **[ТС]**

Delphi
1
(ADOQuery1.FieldByName('data') as TBlobField).SaveToFile(ExtractFileName(urlS));

Если я понимаю правильно (а тесты показывают, что так и есть), показывают, что эта строчка забирает из результатов запроса содержимое блоб-поля из текущей записи а не все блобы разом. Вас могло смутить отсутствие перебора результатов запроса, но в данном конкретном случае перебирать и не нужно. url -ключевое поле, т.е. на запрос

SQL
1
SELECT * FROM [my_table] WHERE url = '....'

я могу получить максимум 1 запись, либо получить ответ, что записей с таким урлом нет.

В процессе отладки - Ошибка переполнения памяти вылетает при любой попытке прочитать блоб-поле, если в нём больше 200 метров. В том числе - при попытке узнать размер поля.

версия скуля - MSSQL std 13.
Я правильно понимаю, что можно запросом прочитать произвольную часть поля в буфер и вы предлагаете читать часть поля, записывать в файл, потом читать следующую часть поля и дописывать файл?
По идее такой вариант подойдёт, но
1. я не знаю, каким запросом можно прочитать часть поля.
2. посчитать размер поля - тоже проблема. дельфой - ошибка про память, скулём - не знаю как.. хотя может гугл подскажет.

@krapotkin · 20.06.2020, 20:46

я же предложил план действий
исходники в наличии
как и показано в первом посте
у класса TBlobField есть метод SaveToFile, который вызывает SaveToStream который вызывает Dataset.CreateBlobStream
и вы можете пойти и отладчиком посмотреть, что же реально происходит
явно же не вы выкачиваете весь блоб в память, а движок
a движков нынче гораздо больше чем один старинный ADO

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@krapotkin 6847 / 4674 / 1463 Регистрация: 14.04.2014 Сообщений: 20,659 Записей в блоге: 21
	20.06.2020, 08:07
	в целом порядок действий вроде соблюден если он дает ошибку, то полагаю, придется лезть в исходник и выяснять, не пытается ли существующий код все засосать разом в память, и можно ли заменить его на TFileStream например 0

@Пытливый 3763 / 2267 / 705 Регистрация: 29.05.2013 Сообщений: 9,622
	20.06.2020, 11:17
	Неправильно делаете. Вы должны из spxml_blobs получить выборку номеров идентификаторов, а не все блобы, а уже потом из выборки, по одному идентификатору за раз, забирать блоб и его обрабатывать. Добавлено через 14 минут И кстати какая версия MSSQL? Если не ошибаюсь в MSSQL есть специальный инструментарий для работы с блоб-данными не как с полем, а как с файлом, т.е. его можно открыть и читать небольшими блоками как обычный файл. 0

@krapotkin 6847 / 4674 / 1463 Регистрация: 14.04.2014 Сообщений: 20,659 Записей в блоге: 21
	20.06.2020, 20:46
	я же предложил план действий исходники в наличии как и показано в первом посте у класса TBlobField есть метод SaveToFile, который вызывает SaveToStream который вызывает Dataset.CreateBlobStream и вы можете пойти и отладчиком посмотреть, что же реально происходит явно же не вы выкачиваете весь блоб в память, а движок a движков нынче гораздо больше чем один старинный ADO 0