Скорость загрузка файла в оперативную память

@IDK · Регистрация: 28.12.2014

Студворк — интернет-сервис помощи студентам

Добрый день. Есть подзадача загрузки файла в память процесса.
На данный момент это реализовано так:

Visual Basic
1
2
3
4
5
6
Open strFilePath For Binary As #lngFileChannel
Do
    lngX = lngX + 1&
    If (lngX > UBound(bytaryBuff()) + 1&) Then Exit Do
    Get lngFileChannel, lngX, bytaryBuff(lngX - 1&)
Loop

При этом присутствуют ощутимые задержки при загрузке. Файл размером, например 10 Мб. В общем, размер планируется до 100 Мб. Может быть бинарный режим работы с Open дает снижение скорости? Будет ли быстрее, если загружать данные с помощью CreateFile и ReadFile? Спасибо.

I can · 04.02.2022, 14:59

Сообщение от IDK

Do
'===
Loop

А без цикла если? Не быстрее будет?

Добавлено через 2 минуты
Типа так

Visual Basic
1
2
3
4
 dim Arr
 Open App.Path & "\data.dat" For Binary As #1
      Get #1, , Arr
 Close #1

@HackerVlad · 08.04.2024, 14:45

Сообщение от IDK

Будет ли быстрее, если загружать данные с помощью CreateFile и ReadFile?

Через API конечно загружать лучше, так как можно сразу поддерживать юникодные имена файлов и можно загружать файлы больше 2 ГБ. Но по скорости будет примерно одинаково, как и в варианте загрузки, предложенным I can.

Через API ещё лучше тем, что можно использовать отображение файла в память, использую функцию MapViewOfFile. Загружать не в оперативную память, а в виртуальную. Экономить RAM это бывает очень важно.

@Jack Famous · 08.04.2024, 15:42

Скорость загрузки в массив будет заметно дольше, чем просто получение строки.

Если файл текстовый и строка устроит, то вот так будет очень быстро

Visual Basic
1
2
3
4
5
6
7
Function PRDX_TextFile_GetString(sPath$) As String
Dim ff&
    ff = FreeFile()
    PRDX_TextFile_GetString = Space$(FileLen(sPath))
    Open sPath For Binary Access Read As #ff
    Get #ff, , PRDX_TextFile_GetString: Close #ff
End Function

Залог успеха — Access Read и отсутствие непонятного цикла. Также, можно грузить строку в байтовый массив, но будет дольше.

@testuser2 · 08.04.2024, 17:47

Сообщение от Jack Famous

Скорость загрузки в массив будет заметно дольше, чем просто получение строки.

Видимо изходя из того, что метод оптимизирован больше н строку нежели массив, а при загрузке в массив происходит дополнительная конвертация. Сам не проверял, просто догадки. К слову, если строковая функция, возвращает строку в массив, так и происходит

@HackerVlad · 08.04.2024, 17:50

Если загружать именно через API то будет одинаково что в строку, что в байтовый массив - там это одно и тоже почти.

@testuser2 · 08.04.2024, 17:59

Ну так там же все по указателю без дополнительного копирования в любом случае.

@Jack Famous · 08.04.2024, 18:37

HackerVlad, небольшой оффтоп: можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов. Интересует получить массив из чисел-десятичных кодов юникода каждого символа строки. Массив должен быть размером со строку. Или, как с байтовым массивом, должен быть понятен алгоритм получения этих чисел.

@HackerVlad · 08.04.2024, 19:07

Байтовый массив и строка это примерно одно и тоже ничего конвертировать не недо. Работайте по указателям, как предложил testuser2.

Добавлено через 8 минут

Сообщение от Jack Famous

можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов.

с помощью присвоения должно работать достаточно быстро

@The trick · 08.04.2024, 22:40

Jack Famous, можно замапить массив на данные строки без копирования.

@testuser2 · 09.04.2024, 07:10

Сообщение от The trick

можно замапить массив на данные строки без копирования.

Здесь обсуждалось

@Jack Famous · 09.04.2024, 10:27

The trick, testuser2, спасибо! Задал вопрос там

Новые блоги и статьи Все статьи Все блоги /
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .

@HackerVlad Испарился 1741 / 637 / 45 Регистрация: 10.09.2021 Сообщений: 2,769
	08.04.2024, 17:50
	Если загружать именно через API то будет одинаково что в строку, что в байтовый массив - там это одно и тоже почти. 0

@testuser2 1384 / 838 / 91 Регистрация: 08.02.2017 Сообщений: 3,517 Записей в блоге: 1
	08.04.2024, 17:59
	Ну так там же все по указателю без дополнительного копирования в любом случае. 0

@Jack Famous 932 / 365 / 43 Регистрация: 10.05.2021 Сообщений: 1,564 Записей в блоге: 10
	08.04.2024, 18:37
	HackerVlad, небольшой оффтоп: можно ли конвертировать строку в массив быстрее, чем aByte() As Byte = s$? Я не нашёл способов. Интересует получить массив из чисел-десятичных кодов юникода каждого символа строки. Массив должен быть размером со строку. Или, как с байтовым массивом, должен быть понятен алгоритм получения этих чисел. 0

@The trick Модератор 10048 / 3894 / 883 Регистрация: 22.02.2013 Сообщений: 5,847 Записей в блоге: 79
	08.04.2024, 22:40
	Jack Famous, можно замапить массив на данные строки без копирования. 1

@Jack Famous 932 / 365 / 43 Регистрация: 10.05.2021 Сообщений: 1,564 Записей в блоге: 10
	09.04.2024, 10:27
	The trick, testuser2, спасибо! Задал вопрос там 0

Опции темы