Скорость загрузка файла в оперативную память

@IDK · Регистрация: 28.12.2014

Студворк — интернет-сервис помощи студентам

Добрый день. Есть подзадача загрузки файла в память процесса.
На данный момент это реализовано так:

Visual Basic
1
2
3
4
5
6
Open strFilePath For Binary As #lngFileChannel
Do
    lngX = lngX + 1&
    If (lngX > UBound(bytaryBuff()) + 1&) Then Exit Do
    Get lngFileChannel, lngX, bytaryBuff(lngX - 1&)
Loop

При этом присутствуют ощутимые задержки при загрузке. Файл размером, например 10 Мб. В общем, размер планируется до 100 Мб. Может быть бинарный режим работы с Open дает снижение скорости? Будет ли быстрее, если загружать данные с помощью CreateFile и ReadFile? Спасибо.

I can · 04.02.2022, 14:59

Сообщение от IDK

Do
'===
Loop

А без цикла если? Не быстрее будет?

Добавлено через 2 минуты
Типа так

Visual Basic
1
2
3
4
 dim Arr
 Open App.Path & "\data.dat" For Binary As #1
      Get #1, , Arr
 Close #1

@HackerVlad · 08.04.2024, 14:45

Сообщение от IDK

Будет ли быстрее, если загружать данные с помощью CreateFile и ReadFile?

Через API конечно загружать лучше, так как можно сразу поддерживать юникодные имена файлов и можно загружать файлы больше 2 ГБ. Но по скорости будет примерно одинаково, как и в варианте загрузки, предложенным I can.

Через API ещё лучше тем, что можно использовать отображение файла в память, использую функцию MapViewOfFile. Загружать не в оперативную память, а в виртуальную. Экономить RAM это бывает очень важно.

@Jack Famous · 08.04.2024, 15:42

Скорость загрузки в массив будет заметно дольше, чем просто получение строки.

Если файл текстовый и строка устроит, то вот так будет очень быстро

Visual Basic
1
2
3
4
5
6
7
Function PRDX_TextFile_GetString(sPath$) As String
Dim ff&
    ff = FreeFile()
    PRDX_TextFile_GetString = Space$(FileLen(sPath))
    Open sPath For Binary Access Read As #ff
    Get #ff, , PRDX_TextFile_GetString: Close #ff
End Function

Залог успеха — Access Read и отсутствие непонятного цикла. Также, можно грузить строку в байтовый массив, но будет дольше.

@testuser2 · 08.04.2024, 17:47

Сообщение от Jack Famous

Скорость загрузки в массив будет заметно дольше, чем просто получение строки.

Видимо изходя из того, что метод оптимизирован больше н строку нежели массив, а при загрузке в массив происходит дополнительная конвертация. Сам не проверял, просто догадки. К слову, если строковая функция, возвращает строку в массив, так и происходит

@HackerVlad · 08.04.2024, 17:50

Если загружать именно через API то будет одинаково что в строку, что в байтовый массив - там это одно и тоже почти.

@testuser2 · 08.04.2024, 17:59

Ну так там же все по указателю без дополнительного копирования в любом случае.

@Jack Famous · 08.04.2024, 18:37

HackerVlad, небольшой оффтоп: можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов. Интересует получить массив из чисел-десятичных кодов юникода каждого символа строки. Массив должен быть размером со строку. Или, как с байтовым массивом, должен быть понятен алгоритм получения этих чисел.

@HackerVlad · 08.04.2024, 19:07

Байтовый массив и строка это примерно одно и тоже ничего конвертировать не недо. Работайте по указателям, как предложил testuser2.

Добавлено через 8 минут

Сообщение от Jack Famous

можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов.

с помощью присвоения должно работать достаточно быстро

@The trick · 08.04.2024, 22:40

Jack Famous, можно замапить массив на данные строки без копирования.

@testuser2 · 09.04.2024, 07:10

Сообщение от The trick

можно замапить массив на данные строки без копирования.

Здесь обсуждалось

@Jack Famous · 09.04.2024, 10:27

The trick, testuser2, спасибо! Задал вопрос там

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .	SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .

@HackerVlad Испарился 1741 / 637 / 45 Регистрация: 10.09.2021 Сообщений: 2,769
	08.04.2024, 17:50
	Если загружать именно через API то будет одинаково что в строку, что в байтовый массив - там это одно и тоже почти. 0

@testuser2 1387 / 843 / 92 Регистрация: 08.02.2017 Сообщений: 3,593 Записей в блоге: 1
	08.04.2024, 17:59
	Ну так там же все по указателю без дополнительного копирования в любом случае. 0

@Jack Famous 932 / 365 / 43 Регистрация: 10.05.2021 Сообщений: 1,564 Записей в блоге: 10
	08.04.2024, 18:37
	HackerVlad, небольшой оффтоп: можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов. Интересует получить массив из чисел-десятичных кодов юникода каждого символа строки. Массив должен быть размером со строку. Или, как с байтовым массивом, должен быть понятен алгоритм получения этих чисел. 0

@The trick Модератор 10057 / 3902 / 884 Регистрация: 22.02.2013 Сообщений: 5,853 Записей в блоге: 79
	08.04.2024, 22:40
	Jack Famous, можно замапить массив на данные строки без копирования. 1

@Jack Famous 932 / 365 / 43 Регистрация: 10.05.2021 Сообщений: 1,564 Записей в блоге: 10
	09.04.2024, 10:27
	The trick, testuser2, спасибо! Задал вопрос там 0