Как правильно открыть TXT файл для чтения, например чтобы запихнуть в TextBox или просто загрузить в массив строк

@HackerVlad · Регистрация: 10.09.2021

Студворк — интернет-сервис помощи студентам

Я ещё раньше не занимался этим вопросом с помощью API-функций, так как всегда работал с помощью стандартных методов VB6. А теперь, поняв фундаментальный недостаток VB6-метода (отсутствие поддержки юникода в именах файлов), я хочу научиться открывать/загружать стандартный текстовый файл с помощью API.

Итак, за это отвечает у нас функция ReadFile, но уважаемый The Trick, я посмотрел, загружает файлы каким-то странным, другим способом, через функции CreateFileMapping и MapViewOfFile, я если честно в этом ничего не понимаю. Смотрел описание этих функций так толком и не понял зачем их использовать вместо стандартного ReadFile.

@The trick · 21.09.2023, 21:13

Сообщение от HackerVlad

The trick, ну вот я тебе и доказал, что ты был неправ, что массив быстрее будет

Массив будет быстрее, просто в таких условиях это не заметно. Чтобы увидеть разницу нужно делать множество итераций на мелких данных + нужно массивы мапить на память также как ты делаешь через SysAllocStringByteLen.

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
Public Function ReadFileUTF8_2(ByVal FileName As String) As String
    Dim hFile   As OLE_HANDLE
    Dim tSADesc As SAFEARRAY
    Dim bData() As Byte
    Dim lRead   As Long
    Dim lSize   As Long
    Dim pStr    As Long
    Dim pRet    As Long
    Dim lStrLen As Long
 
    hFile = CreateFile(StrPtr(FileName), GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, FILE_ATTRIBUTE_ARCHIVE, 0)
    
    If hFile = INVALID_HANDLE_VALUE Then
        Exit Function
    End If
 
    lSize = GetFileSize(hFile, ByVal 0&) ' Этот метод только до 2Гб
    
    If lSize <= 0 Then
        GoTo CleanUp
    End If
 
    With tSADesc
    
        .cDims = 1
        .cbElements = 1
        .fFeatures = FADF_AUTO
        .pvData = CoTaskMemAlloc(lSize)
        .Bounds.cElements = lSize
        
        If .pvData = 0 Then
            Debug.Print "no mem"
            GoTo CleanUp
        End If
        
    End With
    
    PutMem4 ArrPtr(bData), VarPtr(tSADesc)
 
    If ReadFile(hFile, tSADesc.pvData, lSize, lRead, ByVal 0&) = 0 Then
        Debug.Print "ReadFile failed"
        GoTo CleanUp
    End If
    
    If lRead >= 3 Then
        If bData(0) = &HEF And bData(1) = &HBB And bData(2) = &HBF Then ' Если есть запись BOM
            pStr = tSADesc.pvData + 3
            lRead = lRead - 3
        Else
            pStr = tSADesc.pvData
        End If
    Else
        pStr = tSADesc.pvData
    End If
        
    lStrLen = MultiByteToWideChar(CP_UTF8, 0&, pStr, lRead, 0&, 0&)
    
    If lStrLen > 0 Then
        
        pRet = SysAllocStringLen(0&, lStrLen)
        
        If pRet = 0 Then
            Debug.Print "no mem"
            GoTo CleanUp
        End If
        
        PutMem4 VarPtr(ReadFileUTF8_2), pRet
        
        If pStr Then
             If MultiByteToWideChar(CP_UTF8, 0&, pStr, lRead, pRet, lStrLen) = 0 Then
                ReadFileUTF8_2 = vbNullString
             End If
        End If
        
    End If
    
CleanUp:
    
    If tSADesc.pvData Then
        CoTaskMemFree ByVal tSADesc.pvData
    End If
    
    CloseHandle hFile
    
End Function

При 100000 итерациях уже заметна разница. Да и сам глянь вот ассемблерный листинг твоего кода:

Как правильно открыть TXT файл для чтения, например чтобы запихнуть в TextBox или просто загрузить в массив строк

, а вот через массивы:

@HackerVlad · 21.09.2023, 23:11 **[ТС]**

The trick, спасибо большое за труды, но ты забыл скопировать декларации и например я даже не знаю как объявлять структуру SAFEARRAY, вообще никогда с этим не работал.

Добавлено через 2 минуты
В твоих других кодах я пока нашёл только структуру SafeArray1d просто SafeArray пока нигде не нашёл ещё

Добавлено через 3 минуты
Я смотрю много твоих других примеров и везде встречаю только SAFEARRAYBOUND и SAFEARRAY1D структуры. SAFEARRAY просто пока нигде не могу найти.

Добавлено через 2 минуты
Ну ты и задал мне задачку. Нигде не могу найти структуру SAFEARRAY просто. SAFEARRAY1D есть только у тебя. SAFEARRAY2D в апи вьювере.

Добавлено через 37 секунд
Может это одно и тоже?

Добавлено через 1 минуту
Предположу что это одно и тоже, спустя 10 минут безуспешных поисков...

Добавлено через 7 минут
Ну наконец-то я ели нарыл всё недостающее. В итоге я НЕ почувствовал разницы в скорости в сравнении с моим методом со строкой. Но теперь твой массив зато стал работать так же быстро как и в случае со строкой. Полный код:

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
Option Explicit
Private Declare Function ReadFile Lib "kernel32" (ByVal hFile As Long, ByVal lpBuffer As Long, ByVal nNumberOfBytesToRead As Long, lpNumberOfBytesRead As Long, ByVal lpOverlapped As Any) As Long
Private Declare Function GetFileSize Lib "kernel32" (ByVal hFile As Long, lpFileSizeHigh As Long) As Long
Private Declare Sub PutMem4 Lib "msvbvm60" (ByVal Ptr As Long, ByVal Value As Long)
Private Declare Function SysAllocStringByteLen Lib "oleaut32" (ByVal olestr As Long, ByVal BLen As Long) As Long
Private Declare Function SysAllocStringLen Lib "oleaut32" (ByVal olestr As Long, ByVal BLen As Long) As Long
Private Declare Function MultiByteToWideChar Lib "kernel32" (ByVal CodePage As Long, ByVal dwFlags As Long, ByVal lpMultiByteStr As Long, ByVal cbMultiByte As Long, ByVal lpWideCharStr As Long, ByVal cchWideChar As Long) As Long
Private Declare Function CreateFile Lib "kernel32" Alias "CreateFileW" (ByVal lpFileName As Long, ByVal dwDesiredAccess As Long, ByVal dwShareMode As Long, lpSecurityAttributes As Any, ByVal dwCreationDisposition As Long, ByVal dwFlagsAndAttributes As Long, ByVal hTemplateFile As Long) As Long
Private Declare Function CloseHandle Lib "kernel32" (ByVal hObject As Long) As Long
Private Declare Function GetTickCount Lib "kernel32" () As Long
Private Declare Sub CoTaskMemFree Lib "ole32.dll" (ByVal pv As Long)
Private Declare Function CoTaskMemAlloc Lib "ole32" (ByVal cBytes As Long) As Long
Private Declare Function ArrPtr Lib "msvbvm60.dll" Alias "VarPtr" (ByRef Var() As Any) As Long
 
Private Const OPEN_EXISTING As Long = 3
Private Const GENERIC_READ As Long = &H80000000
Private Const CP_UTF8 As Long = 65001
Private Const GENERIC_WRITE As Long = &H40000000
Private Const FILE_SHARE_READ = &H1
Private Const CREATE_ALWAYS = 2
Private Const FILE_ATTRIBUTE_ARCHIVE = &H20
Private Const INVALID_HANDLE_VALUE As Long = -1
Private Const FADF_AUTO As Long = 1
 
Private Type SAFEARRAYBOUND
    cElements                       As Long
    lLbound                         As Long
End Type
 
Private Type SAFEARRAY1D
    cDims                           As Integer
    fFeatures                       As Integer
    cbElements                      As Long
    cLocks                          As Long
    pvData                          As Long
    Bounds                          As SAFEARRAYBOUND
End Type
 
Public Function ReadFromTextFileUTF8(ByVal FileName As String) As String
    Dim hFile As Long
    Dim stringbuffer As String
    Dim numread As Long
    Dim FileSize As Long
    Dim nOutputCharLen As Long
    Dim lpMultiByteStr As Long
    
    hFile = CreateFile(StrPtr(FileName), GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, FILE_ATTRIBUTE_ARCHIVE, 0)
    
    If hFile <> INVALID_HANDLE_VALUE Then
        FileSize = GetFileSize(hFile, ByVal 0&) ' Этот метод только до 2Гб
        
        If FileSize > 0 Then
            PutMem4 VarPtr(stringbuffer), SysAllocStringByteLen(0&, FileSize) ' Мгновенно выделить память для строки
            
            If ReadFile(hFile, StrPtr(stringbuffer), FileSize, numread, ByVal 0&) > 0 Then
                If MidB$(stringbuffer, 1, 3) = ChrW(&HBBEF) & ChrB(&HBF) Then ' Если есть запись BOM
                    lpMultiByteStr = StrPtr(stringbuffer) + 3
                Else
                    lpMultiByteStr = StrPtr(stringbuffer)
                End If
                
                nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, FileSize, 0&, 0&)
                If nOutputCharLen > 0 Then
                    PutMem4 VarPtr(ReadFromTextFileUTF8), SysAllocStringLen(0&, nOutputCharLen)
                    MultiByteToWideChar CP_UTF8, 0&, lpMultiByteStr, FileSize, StrPtr(ReadFromTextFileUTF8), nOutputCharLen ' Преобразовать кодировки
                End If
            End If
        End If
        
        CloseHandle hFile
    End If
End Function
 
Public Function ReadFileUTF(ByVal FileName As String) As String
    Dim hFile As Long
    Dim byte_array() As Byte
    Dim numread As Long
    Dim FileSize As Long
    Dim nOutputCharLen As Long
    Dim lpMultiByteStr As Long
    
    hFile = CreateFile(StrPtr(FileName), GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, FILE_ATTRIBUTE_ARCHIVE, 0)
    
    If hFile <> INVALID_HANDLE_VALUE Then
        FileSize = GetFileSize(hFile, ByVal 0&) ' Этот метод только до 2Гб
        
        If FileSize > 0 Then
            ReDim Preserve byte_array(FileSize - 1)
            
            If ReadFile(hFile, VarPtr(byte_array(0)), FileSize, numread, ByVal 0&) > 0 Then
                If byte_array(0) = &HEF And byte_array(1) = &HBB And byte_array(2) = &HBF Then ' Если есть запись BOM
                    lpMultiByteStr = VarPtr(byte_array(3))
                Else
                    lpMultiByteStr = VarPtr(byte_array(0))
                End If
                
                nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, FileSize, 0&, 0&)
                If nOutputCharLen > 0 Then
                    PutMem4 VarPtr(ReadFileUTF), SysAllocStringLen(0&, nOutputCharLen)
                    
                    If Len(ReadFileUTF) = nOutputCharLen Then ' Если строка была успешно выделена (специально для The Trick) чтобы не придерался ко мне
                        MultiByteToWideChar CP_UTF8, 0&, lpMultiByteStr, FileSize, StrPtr(ReadFileUTF), nOutputCharLen ' Преобразовать кодировки
                    End If
                End If
            End If
        End If
        
        CloseHandle hFile
    End If
End Function
 
Public Function ReadFileUTF8_2(ByVal FileName As String) As String
    Dim hFile   As OLE_HANDLE
    Dim tSADesc As SAFEARRAY1D
    Dim bData() As Byte
    Dim lRead   As Long
    Dim lSize   As Long
    Dim pStr    As Long
    Dim pRet    As Long
    Dim lStrLen As Long
 
    hFile = CreateFile(StrPtr(FileName), GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, FILE_ATTRIBUTE_ARCHIVE, 0)
    
    If hFile = INVALID_HANDLE_VALUE Then
        Exit Function
    End If
 
    lSize = GetFileSize(hFile, ByVal 0&) ' Этот метод только до 2Гб
    
    If lSize <= 0 Then
        GoTo CleanUp
    End If
 
    With tSADesc
    
        .cDims = 1
        .cbElements = 1
        .fFeatures = FADF_AUTO
        .pvData = CoTaskMemAlloc(lSize)
        .Bounds.cElements = lSize
        
        If .pvData = 0 Then
            Debug.Print "no mem"
            GoTo CleanUp
        End If
        
    End With
    
    PutMem4 ArrPtr(bData), VarPtr(tSADesc)
 
    If ReadFile(hFile, tSADesc.pvData, lSize, lRead, ByVal 0&) = 0 Then
        Debug.Print "ReadFile failed"
        GoTo CleanUp
    End If
    
    If lRead >= 3 Then
        If bData(0) = &HEF And bData(1) = &HBB And bData(2) = &HBF Then ' Если есть запись BOM
            pStr = tSADesc.pvData + 3
            lSize = lSize - 3
        Else
            pStr = tSADesc.pvData
        End If
    Else
        pStr = tSADesc.pvData
    End If
        
    lStrLen = MultiByteToWideChar(CP_UTF8, 0&, pStr, lRead, 0&, 0&)
    
    If lStrLen > 0 Then
        
        pRet = SysAllocStringLen(0&, lStrLen)
        
        If pRet = 0 Then
            Debug.Print "no mem"
            GoTo CleanUp
        End If
        
        PutMem4 VarPtr(ReadFileUTF8_2), pRet
        
        If pStr Then
             If MultiByteToWideChar(CP_UTF8, 0&, pStr, lRead, pRet, lStrLen) = 0 Then
                ReadFileUTF8_2 = vbNullString
             End If
        End If
        
    End If
    
CleanUp:
    
    If tSADesc.pvData Then
        CoTaskMemFree ByVal tSADesc.pvData
    End If
    
    CloseHandle hFile
    
End Function
 
' Тестируем загрузку файла размером 180 Мб
Private Sub Command1_Click()
    Dim tick As Long
    Dim str As String
    
    tick = GetTickCount
    
    str = ReadFromTextFileUTF8("C:\Test\Test.txt") ' 843 ml
    
    Me.Caption = GetTickCount - tick
    
    Text1.Text = Mid$(str, 1, 1000)
End Sub
 
Private Sub Command2_Click()
    Dim tick As Long
    Dim str As String
    
    tick = GetTickCount
    
    str = ReadFileUTF("C:\Test\Test.txt") ' 889 ml
    
    Me.Caption = GetTickCount - tick
    
    Text1.Text = Mid$(str, 1, 1000)
End Sub
 
Private Sub Command3_Click()
    Dim tick As Long
    Dim str As String
    
    tick = GetTickCount
    
    str = ReadFileUTF8_2("C:\Test\Test.txt") ' 843 ml
    
    Me.Caption = GetTickCount - tick
    
    Text1.Text = Mid$(str, 1, 1000)
End Sub

Добавлено через 1 минуту
The trick, в итоге: кода гораздо больше нужно писать, а разницы в скорости НЕТУ!!!

@The trick · 21.09.2023, 23:13

Я уже написал как увидеть разницу.

@HackerVlad · 21.09.2023, 23:45 **[ТС]**

Разозлившись, сейчас буду тестировать аж целых 500 Мб на загрузку, чтобы проверить а есть ли всё же хоть какая-то разница в скорости.

Добавлено через 1 минуту
На 500 Мб у меня не хватает памяти) Пхахаххаах, разбежался блин пхахахах

Добавлено через 2 минуты
The trick, кстати ты говорил мол я не делаю проверок на случай если памяти не хватит. Вот я решил загрузить 500 Мб, памяти не хватило и ничего не произошло. Краха программы не случилось. Просто вернуло пустую строку.

Добавлено через 1 минуту
Так что получается проверку делать не обязательно.

Добавлено через 5 минут
The trick, на 10-20 млск меньше времени твой способ, при максимальном 450 Мб файле что я только могу загрузить, на 500 у меня уже оперативки не хватает просто

Добавлено через 51 секунду

Сообщение от The trick

Я уже написал как увидеть разницу.

короче говоря разницы нету с моим изначальным способом со строкой

Добавлено через 2 минуты
Ну вот как бы ты не хаил мой способ со строкой, а он не медленнее чем твой. А ты пытался доказать что он медленнее.

Добавлено через 9 минут

Сообщение от The trick

При 100000 итерациях уже заметна разница.

Аааа вот где разница? Как буд-то я по 100 тысяч раз буду файл загружать. Один раз загрузил и хватит. Ну хорошо твой способ чуть-чуть быстрее, даже для одного раза на 10 млск быстрее. Но смысл... Я не знаю, кода писать гораздо больше надо...

Добавлено через 6 минут
The trick, так что ты меня извини пожалуйста, ноя не вижу смысла переходить на твою технологию, я нормально написал функцию изначально загружая в строку. по крайне мере кода писать нужно гораздо меньше. скорость одинаковая.

@testuser2 · 22.09.2023, 11:49

Интересно, почему именно байтовый массив, а не ,допустим integer? Меньше переменных, меньше сущностей в памяти типа.. Хотя, я так понимаю, байтовый это классика.

@The trick · 22.09.2023, 12:44

Сообщение от HackerVlad

Я не знаю, кода писать гораздо больше надо...

Да не пиши, что ты от меня хочешь? Тебе объяснил что этот код быстрее чем со строками - даже асм листинг кинул. Не веришь/лень писать несколько строчек - твое дело. В конечном итоге код работает тысячи раз, когда программист пишет его всего один раз. Лучше потратить чуть больше времени и написать больше кода, что в итоге выльется в более оптимальный и меньший по размеру код, но ты можешь делать так как захочешь.

Сообщение от testuser2

Интересно, почему именно байтовый массив, а не ,допустим integer? Меньше переменных, меньше сущностей в памяти типа.. Хотя, я так понимаю, байтовый это классика.

Можно любой массив, просто файл может быть и 3 байта и 1 и где Integer просто не поместится.

@HackerVlad · 22.09.2023, 17:24 **[ТС]**

testuser2, с UTF-8 форматом Integer не проканает, только с UTF16

Добавлено через 42 секунды
testuser2, там просто на один сивол может быть то один байт, то два байта фиг поймешь

Добавлено через 1 минуту
The Trick меня короче не убедил, весь день переписывал свои коды, смотрел скорости - всё зря, мой код со стркоами вполне оптимален

Добавлено через 11 минут
Как буд-то я файл по 100 тысяч раз загружаю, можно подумать

Добавлено через 8 секунд
Провёл очень много тестов

Добавлено через 10 секунд
The Trick не убедил ни скольео

@HackerVlad · 23.09.2023, 15:16 **[ТС]**

Тем ни менее, хоть я и не очень согласен с The Trick, но тем ни менее моя тема называется как правильно открыть TXT файл. Поэтому я помечу ответ The Trick как решение, потому что у него чуть более правильный вариант, чем у меня, и на 10 млск быстрее. На этом тему мы закончили, я думаю.

@testuser2 · 23.09.2023, 17:26

В любом случае это быстрые методы. Кстати, сейчас проверил, буфер строки можно расширять с помощью HeapRealloc, так же как и массив. Только после этого надо менять заголовочный указатель у строки на новый.

@HackerVlad · 24.09.2023, 19:53 **[ТС]**

Придётся вернуться к этой теме снова, так как я обнаружил ошибку в своей функции ReadFromTextFileUTF8. Если в загружаемом файле есть запись BOM то функция загружала на 3 байта больше чем нужно. Эту ошибку я исправил:

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
Public Function ReadFromTextFileUTF8(ByVal FileName As String) As String
    Dim hFile As Long
    Dim stringbuffer As String
    Dim numread As Long
    Dim FileSize As Long
    Dim nOutputCharLen As Long
    Dim lpMultiByteStr As Long
    Dim IsBOM As Boolean
    
    hFile = CreateFile(StrPtr(FileName), GENERIC_READ, FILE_SHARE_READ, ByVal 0&, OPEN_EXISTING, FILE_ATTRIBUTE_ARCHIVE, 0)
    
    If hFile <> INVALID_HANDLE_VALUE Then
        FileSize = GetFileSize(hFile, ByVal 0&) ' Этот метод только до 2Гб
        
        If FileSize > 0 Then
            PutMem4 VarPtr(stringbuffer), SysAllocStringByteLen(0&, FileSize) ' Мгновенно выделить память для строки
            
            If ReadFile(hFile, StrPtr(stringbuffer), FileSize, numread, ByVal 0&) > 0 Then
                If MidB$(stringbuffer, 1, 3) = ChrW(&HBBEF) & ChrB(&HBF) Then ' Если есть запись BOM
                    lpMultiByteStr = StrPtr(stringbuffer) + 3
                    IsBOM = True
                Else
                    lpMultiByteStr = StrPtr(stringbuffer)
                End If
                
                nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, FileSize, 0&, 0&)
                If nOutputCharLen > 0 Then
                    PutMem4 VarPtr(ReadFromTextFileUTF8), SysAllocStringLen(0&, nOutputCharLen - IIf(IsBOM, 3, 0))
                    MultiByteToWideChar CP_UTF8, 0&, lpMultiByteStr, FileSize, StrPtr(ReadFromTextFileUTF8), nOutputCharLen ' Преобразовать кодировки
                End If
            End If
        End If
        
        CloseHandle hFile
    End If
End Function

Теперь функция окончательно вполне оптимальная. Её тоже можно было бы в лучшие ответы пометить как решение кстати.

@The trick · 24.09.2023, 21:35

Сообщение от HackerVlad

nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, FileSize, 0&, 0&)

А это что? Какой FileSize?

@HackerVlad · 24.09.2023, 21:39 **[ТС]**

Сообщение от The trick

А это что? Какой FileSize?

Ошибку ещё одну нашёл? А что там надо? nOutputCharLen что ли?

Добавлено через 1 минуту
Да вроде FileSize надо. Что не так?

Добавлено через 47 секунд
Заранее я ведь не знаю будущий размер буфера, поэтому я тебя не понимаю.

@The trick · 24.09.2023, 21:42

Сообщение от HackerVlad

Да вроде FileSize надо. Что не так?

Ну во-первых, ReadFile возвращает число фактических прочитанных байт в numread.
Во-вторых, когда ты делаешь lpMultiByteStr = StrPtr(stringbuffer) + 3 то размер у тебя соответственно уменьшается.

@HackerVlad · 24.09.2023, 21:52 **[ТС]**

The trick, то есть надо написать либо FileSize -3 либо numread или numread -3?

Добавлено через 1 минуту
может numread просто? без -3

@The trick · 24.09.2023, 21:52

Сообщение от HackerVlad

numread -3

Нужно корректировать размер если у тебя BOM.

@HackerVlad · 24.09.2023, 21:55 **[ТС]**

numread просто надо, без -3
с -3 уже не работает код падает

Добавлено через 28 секунд
Для узнавания буфера (первый вызов функции):

Visual Basic
1
nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, numread, 0&, 0&) ' Получить размер буфера в символах

@The trick · 24.09.2023, 21:55

Смотри как у меня сделано.

@HackerVlad · 24.09.2023, 21:57 **[ТС]**

Поменял FileSize на numread

Добавлено через 2 минуты
Правильно ли я тебя понимаю что ты предлагаешь мне в SysAllocStringLen не отризать 3 символа, как я это сделал, а отрезать в другом месте

@The trick · 24.09.2023, 21:59

HackerVlad, вот ты узнал размер файла, к примеру 30 байт. Ок. Смотришь первый BOM (если файл больше или равен 3 байтам). Если BOM присутствует то ты пропускаешь его при конверсии в UTF-16, правильно? Правильно. Ты так и делаешь, но передаешь что в функцию MultiByteToWideChar те же 30 байт. Вопрос - что получит функция если у тебя буфер в 30 байт, ты пропускаешь первые 3 и просишь ее конвертировать 30 (!) байт? Правильно - чтение за пределом буфера и неверный результат преобразования.

@HackerVlad · 24.09.2023, 22:00 **[ТС]**

Проверяй мои исправления:

Visual Basic
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
' Прочитать файл, ровно столько байтов, сколько нужно
            If ReadFile(hFile, StrPtr(stringbuffer), FileSize, numread, ByVal 0&) > 0 Then
                If MidB$(stringbuffer, 1, 3) = ChrW(&HBBEF) & ChrB(&HBF) Then ' Если есть запись BOM
                    lpMultiByteStr = StrPtr(stringbuffer) + 3
                    IsBOM = True
                Else
                    lpMultiByteStr = StrPtr(stringbuffer)
                End If
                
                nOutputCharLen = MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, numread - IIf(IsBOM, 3, 0), 0&, 0&) ' Получить размер буфера в символах
                If nOutputCharLen > 0 Then
                    PutMem4 VarPtr(stringbuffer2), SysAllocStringLen(0&, nOutputCharLen)
                    
                    ' Преобразовать кодировки
                    If MultiByteToWideChar(CP_UTF8, 0&, lpMultiByteStr, numread - IIf(IsBOM, 3, 0), StrPtr(stringbuffer2), nOutputCharLen) > 0 Then
                        QuickSplit2 stringbuffer2, DataList, vbNewLine ' Быстро преобразовать строку в массив
                        SuccessfullyLoaded = True
                    End If
                End If
            End If

Теперь правильно?

Добавлено через 1 минуту
Я работаю только с UTF8.

Новые блоги и статьи Все статьи Все блоги /
Нейтральные знания, чистый код - бла-бла-бла-бла, на самом деле кликбейт и самореклама, плагиат, и вот почему Hrethgir 27.07.2026 То-есть отклонение такой публикации говорит само за себя, и пусть только возьмут на вооружение после отклонения публикации - это будет чистейшим актом плагиата. Отклонял Хабр. Дословно, отклонённая. . .	тв 16 бой ии anaschu 27.07.2026 Великий Перелом ИИ: Как уравнения ОДУ Radau дожали цензурные фильтры Алисы Фиксируем в мемофонде Теории Всего беспрецедентный факт в истории ИИ-зондирования. В затяжном многораундовом. . .	мв 15. непроверенное, возможно, глюк anaschu 27.07.2026 НАУЧНО-АНАЛИТИЧЕСКИЙ ОТЧЕТ. РАЗДЕЛ 1. 1: «НАУКА» (РАСШИРЕННАЯ СТЕХИОМЕТРИЧЕСКАЯ И ГЕНЕТИЧЕСКАЯ ВЕРСИЯ)Тема: Теоретическое обоснование инвариантности 19-мерного тензорного ядра непрерывных ОДУ и. . .	Очистка реквизитов и табличных частей документа при копировании (вариант 2) Maks 26.07.2026 Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРаботу", разработанного в КА2. Задача: Заменить алгоритм запрета копирования документов для сотрудников с ролью "Стажер",. . .
Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .	сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.	сукцессия 43. Вторая научная статья за месяц- прайминг и гатгил anaschu 25.07.2026 две стороны одной монеты	Более приземисто - Эстафету хвоста в .cdl (деревья эстафеты в сад). Hrethgir 25.07.2026 В будущем, после написания блока инверсии обхода дерева (эстафеты хвоста), я планирую вернуться к нашему прошлому разговору о том, обладают ли знания целеполаганием. Тогда я пришел к выводу, что. . .

@HackerVlad Вернулся 1751 / 647 / 45 Регистрация: 10.09.2021 Сообщений: 2,800

	Как правильно открыть TXT файл для чтения, например чтобы запихнуть в TextBox или просто загрузить в массив строк 17.09.2023, 18:23. Показов 3466. Ответов 82 Метки нет (Все метки) Я ещё раньше не занимался этим вопросом с помощью API-функций, так как всегда работал с помощью стандартных методов VB6. А теперь, поняв фундаментальный недостаток VB6-метода (отсутствие поддержки юникода в именах файлов), я хочу научиться открывать/загружать стандартный текстовый файл с помощью API. Итак, за это отвечает у нас функция ReadFile, но уважаемый The Trick, я посмотрел, загружает файлы каким-то странным, другим способом, через функции CreateFileMapping и MapViewOfFile, я если честно в этом ничего не понимаю. Смотрел описание этих функций так толком и не понял зачем их использовать вместо стандартного ReadFile. 0

@The trick Модератор 10061 / 3906 / 885 Регистрация: 22.02.2013 Сообщений: 5,856 Записей в блоге: 79
	21.09.2023, 23:13
	Я уже написал как увидеть разницу. 0

@testuser2 1406 / 865 / 93 Регистрация: 08.02.2017 Сообщений: 3,696 Записей в блоге: 2
	22.09.2023, 11:49
	Интересно, почему именно байтовый массив, а не ,допустим integer? Меньше переменных, меньше сущностей в памяти типа.. Хотя, я так понимаю, байтовый это классика. 0

@HackerVlad Вернулся 1751 / 647 / 45 Регистрация: 10.09.2021 Сообщений: 2,800
	22.09.2023, 17:24 [ТС]
	testuser2, с UTF-8 форматом Integer не проканает, только с UTF16 Добавлено через 42 секунды testuser2, там просто на один сивол может быть то один байт, то два байта фиг поймешь Добавлено через 1 минуту The Trick меня короче не убедил, весь день переписывал свои коды, смотрел скорости - всё зря, мой код со стркоами вполне оптимален Добавлено через 11 минут Как буд-то я файл по 100 тысяч раз загружаю, можно подумать Добавлено через 8 секунд Провёл очень много тестов Добавлено через 10 секунд The Trick не убедил ни скольео 0

@HackerVlad Вернулся 1751 / 647 / 45 Регистрация: 10.09.2021 Сообщений: 2,800
	23.09.2023, 15:16 [ТС]
	Тем ни менее, хоть я и не очень согласен с The Trick, но тем ни менее моя тема называется как правильно открыть TXT файл. Поэтому я помечу ответ The Trick как решение, потому что у него чуть более правильный вариант, чем у меня, и на 10 млск быстрее. На этом тему мы закончили, я думаю. 0

@testuser2 1406 / 865 / 93 Регистрация: 08.02.2017 Сообщений: 3,696 Записей в блоге: 2
	23.09.2023, 17:26
	В любом случае это быстрые методы. Кстати, сейчас проверил, буфер строки можно расширять с помощью HeapRealloc, так же как и массив. Только после этого надо менять заголовочный указатель у строки на новый. 0

@HackerVlad Вернулся 1751 / 647 / 45 Регистрация: 10.09.2021 Сообщений: 2,800
	24.09.2023, 21:52 [ТС]
	The trick, то есть надо написать либо FileSize -3 либо numread или numread -3? Добавлено через 1 минуту может numread просто? без -3 0

@The trick Модератор 10061 / 3906 / 885 Регистрация: 22.02.2013 Сообщений: 5,856 Записей в блоге: 79
	24.09.2023, 21:55
	Смотри как у меня сделано. 0

@HackerVlad Вернулся 1751 / 647 / 45 Регистрация: 10.09.2021 Сообщений: 2,800
	24.09.2023, 21:57 [ТС]
	Поменял FileSize на numread Добавлено через 2 минуты Правильно ли я тебя понимаю что ты предлагаешь мне в SysAllocStringLen не отризать 3 символа, как я это сделал, а отрезать в другом месте 0

@The trick Модератор 10061 / 3906 / 885 Регистрация: 22.02.2013 Сообщений: 5,856 Записей в блоге: 79
	24.09.2023, 21:59
	HackerVlad, вот ты узнал размер файла, к примеру 30 байт. Ок. Смотришь первый BOM (если файл больше или равен 3 байтам). Если BOM присутствует то ты пропускаешь его при конверсии в UTF-16, правильно? Правильно. Ты так и делаешь, но передаешь что в функцию MultiByteToWideChar те же 30 байт. Вопрос - что получит функция если у тебя буфер в 30 байт, ты пропускаешь первые 3 и просишь ее конвертировать 30 (!) байт? Правильно - чтение за пределом буфера и неверный результат преобразования. 0

Как правильно открыть TXT файл для чтения, например чтобы запихнуть в TextBox или просто загрузить в массив строк

Решение