Изменение кодировки текстового файла

@Ципихович Эндрю · Регистрация: 10.04.2009

здравствуйте, в своих записях имею пару кодов
для перекодировки файлов, а как сделать из ANSI > UTF 8? спасибо

Visual Basic

'
'преобразование текстового файла из 'windows-1251' в 'cp866'
'требуется ссылка на библиотеку Microsoft ActiveX Data Objects v2.5 или выше
Sub windows_1251_cp866()
 
    Dim inFile As String
    inFile = "C:\SmartIDReader\bin\output.txt"
 
    Dim outFile As String
    outFile = "C:\SmartIDReader\bin\1output.txt"
 
    Dim st As ADODB.Stream
    Set st = New ADODB.Stream
    st.Open
    st.Charset = "windows-1251"
    st.LoadFromFile inFile
    st.Position = 0
 
    Dim st2 As ADODB.Stream
    Set st2 = New ADODB.Stream
    st2.Open
    st2.Charset = "cp866"
    st.CopyTo st2
    'если файл существует, при попытке сохранить поток получим ошибку 3004
    st2.SaveToFile outFile
 
    st.Close: Set st = Nothing
    st2.Close: Set st2 = Nothing
 
End Sub
'
'преобразование текстового файла из 'cp866' в 'windows-1251'
'требуется ссылка на библиотеку Microsoft ActiveX Data Objects v2.5 или выше
Sub cp866_windows_1251()
 
    Dim inFile As String
    inFile = "C:\SmartIDReader\bin\output.txt"
 
    Dim outFile As String
    outFile = "C:\SmartIDReader\bin\11output.txt"
 
    Dim st As ADODB.Stream
    Set st = New ADODB.Stream
    st.Open
    st.Charset = "cp866"
    st.LoadFromFile inFile
    st.Position = 0
 
    Dim st2 As ADODB.Stream
    Set st2 = New ADODB.Stream
    st2.Open
    st2.Charset = "windows-1251"
    st.CopyTo st2
    'если файл существует, при попытке сохранить поток получим ошибку 3004
    st2.SaveToFile outFile
 
    st.Close: Set st = Nothing
    st2.Close: Set st2 = Nothing
 
End Sub

Добавлено через 2 часа 59 минут
сколько не перепробовал решений с инета всё как-то работает не правильно, ANSI это точно = windows-1251?
потому, что файл перекодированный кодом ВБА кодировку меняет как надо, а текст не меняется, если перекодировать в ручную, тогда и текст в файле меняется правильно

@Homarty · 07.05.2017, 20:20

Наверняка есть готовые решения по конвертации кодировок, но я, из интереса, попробовал сделать на VB. В макросе есть ограничения (это всего лишь рабочий набросок для проекта): 1)он конвертирует ascii коды и буквы кириллицы, остальные символы из расширенной таблицы не конвертирует, 2) при конвертации файла не проверяются региональные настройки кодовой страницы, а просто тупо идет преобразование из windows-1251 в utf-8.
При вызове процедуры указываете полный путь текстового файла в кодировке 1251 (или ansi) и результат будет в той же папке.

Visual Basic

Sub CP1251ToUTF8(sSourceFile As String)
    Dim sTargetFile$
    Dim iFreeFile&, i&, iDec&
    Dim bSource() As Byte, bTarget() As Byte
    If Dir(sSourceFile) = "" Then MsgBox sSourceFile & " not exists": Exit Sub
    i = InStrRev(sSourceFile, ".")
    sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i   1)
    If Dir(sTargetFile) <> "" Then Kill sTargetFile
    iFreeFile = FreeFile
    Open sSourceFile For Binary As #iFreeFile
        ReDim bSource(1 To LOF(iFreeFile))
        Get #iFreeFile, , bSource
    Close #iFreeFile
    If bSource(1) = &HEF And bSource(2) = &HBB And bSource(3) = &HBF Then _
        MsgBox "Conversion not required": Exit Sub
    ReDim bTarget(1 To 3)
    bTarget(1) = &HEF
    bTarget(2) = &HBB
    bTarget(3) = &HBF
    For i = 1 To UBound(bSource)
        iDec = UBound(bTarget)
        Select Case bSource(i)
        Case 0 To 127
            ReDim Preserve bTarget(1 To iDec   1)
            bTarget(UBound(bTarget)) = bSource(i)
        Case 168, 184, 192 To 239
            ReDim Preserve bTarget(1 To iDec   2)
            bTarget(iDec   1) = 208
            bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))
        Case 240 To 255
            ReDim Preserve bTarget(1 To iDec   2)
            bTarget(iDec   1) = 209
            bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))
        Case 152, 160, 164, 166, 167, 169, 187
            ReDim Preserve bTarget(1 To iDec   2)
            bTarget(iDec   1) = 194
            bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))
        End Select
    Next i
    iFreeFile = FreeFile
    Open sTargetFile For Binary As #iFreeFile
        Put #iFreeFile, , bTarget
    Close #iFreeFile
End Sub

Добавлено через 25 минут
Да, и еще, в ворде имеются встроенные инструменты по изменению кодировки, поищите, вполне возможно что и найдете. Я сейчас сделать это не могу.

Добавлено через 19 секунд
Да, и еще, в ворде имеются встроенные инструменты по изменению кодировки, поищите, вполне возможно что и найдете. Я сейчас сделать это не могу.

@Ципихович Эндрю · 08.05.2017, 13:02 **[ТС]**

такое впечатление, как будто я про ВБА ничего не знаю...
но эти строки

Visual Basic

   sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i   1)
    ReDim Preserve bTarget(1 To iDec   1)
    ReDim Preserve bTarget(1 To iDec   2)
    bTarget(iDec   1) = 208
    bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))
    ReDim Preserve bTarget(1 To iDec   2)
    bTarget(iDec   1) = 209
    bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))
    ReDim Preserve bTarget(1 To iDec   2)
    bTarget(iDec   1) = 194
    bTarget(iDec   2) = 128   (63 And AscB(Chr$(bSource(i))))

все красного цвета, ах вот оно что:

Сообщение от Homarty

попробовал сделать на VB

а как это на ВБА будет? спасибо

Добавлено через 28 минут
смотрю на эти строки - ничего в них такого чтобы не нравилось ВБА не вижу....

@kalbasiatka · 08.05.2017, 13:08

Сообщение от Ципихович Эндрю

такое впечатление, как будто я про ВБА ничего не знаю...

Это утверждение? Судя по кол-ву тем с вопросами, ответ очевиден.
Может покажете свой ansi файл?
И как происходит проверка кодировки, после обработки?

@Ципихович Эндрю · 08.05.2017, 13:37 **[ТС]**

это мысли вслух

Добавлено через 24 минуты
в этой строке
sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i + 1)
понял + был пропущен

@Homarty · 08.05.2017, 19:21

Вот встроенными инструментами ворд'а

Visual Basic

Sub SaveToUTF8(sSourceFile As String)
    Dim MyDoc As Document
    Dim sTargetFile$, i&
    If Dir(sSourceFile) = "" Then MsgBox sSourceFile & " not exists": Exit Sub
    i = InStrRev(sSourceFile, ".")
    sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i + 1)
    Set MyDoc = Documents.Open(FileName:=sSourceFile, ConfirmConversions:=False, AddToRecentFiles:=False, _
        Revert:=False, Format:=0, Visible:=False)
    With MyDoc
        If .OpenEncoding = 65001 Then MsgBox "This is a UTF8-encoded text file!": .Close: Exit Sub
        .SaveAs FileName:=sTargetFile, fileformat:=7, Encoding:=65001
        .Close
    End With
End Sub

Добавлено через 3 минуты
Насчет знаков "+", непонятно по какому принципу они удаляются на этом сайте, иногда исчезают, иногда - нет.

@Ципихович Эндрю · 09.05.2017, 12:11 **[ТС]**

таких кодов я перепробовал множество, Ваш нужную мне строку в файле:
birthplace [+] (1.000) Р"РћР . РњР˜Р Р"РћР РћР" РџРћР›РўРђР'РЎРљРћР(tm) РћР'Р›.
преобразует в:
birthplace [+] (1.000) Р“РћР*. РњР˜Р*Р“РћР*РћР” РџРћР›РўРђР’РЎРљРћР™ РћР‘Р›.
хотя если в Блокнот++ смотреть, то да из ANSI > UTF 8 кодировка сменилась, такие дела...
закрадываются мысли, может у меня не в ANSI? но если я ручками сменю кодировку на UTF 8, то всё гут!

Добавлено через 18 минут
только в одном месте онлайн переводчик сделал CP1251-UTF-8 и так криво-�"О� . М�˜� �"О� О�" ПОЛТА�'СКО�(tm) О�'Л.
а должно быть ГОР. МИРГОРОД ПОЛТАВСКОЙ ОБЛ.
значит нужно тупо открыть текстовый файл и сменить кодировку как бы это сделал вручную!!! наверное бат файлом

@Nidl · 09.05.2017, 14:31

вот этим кодировщиком пользуюсь весьма давно, замечательно работает, может и вам пригодится.

Visual Basic

Sub coding()
Const codepageWin1251 = "windows-1251"
Const codepageDOS866 = "cp866"
Const codepageKOI8R = "koi8-r"
Const codepageUTF7 = "utf-7"
Const codepageUTF8 = "utf-8"
Const codepageASCII = "ascii"
 
Const adWriteChar = 0
Const adTypeText = 2
Const adSaveCreateOverWrite = 2
 
Dim pStream As Object, sTxt As String
 
Set pStream = CreateObject("ADODB.Stream")
pStream.Type = adTypeText
 
pStream.Charset = codepageWin1251
pStream.Open
pStream.LoadFromFile ActiveWorkbook.Path & "" & global_save_date & "\NAM.csv"
sTxt = pStream.ReadText
pStream.Close
 
pStream.Charset = codepageDOS866
pStream.Open
pStream.WriteText sTxt, adWriteChar
pStream.SaveToFile ActiveWorkbook.Path & "" & global_save_date & "\NAM.csv", adSaveCreateOverWrite
pStream.Close
End Sub

@Ципихович Эндрю · 09.05.2017, 15:13 **[ТС]**

увы, ђ"ђ?ђя. ђ?ђ?ђяђ"ђ?ђяђ?ђ" ђ?ђ?ђ>ђчђ?ђ'ђцђ?ђ?ђT ђ?ђ'ђ>.

Добавлено через 32 минуты
методом тыка смотрю какие буквы что означают:
М-Рњ
У-РЈ
Ж-Р–
Г-Р“
З-Р—
Ь-Р¬
А-Рђ
Н-Рќ
Д-Р”
ни на какие мысли не наводит?

@Ципихович Эндрю · 09.05.2017, 15:16 **[ТС]**

наверное файл который нужно перекодировать приложу

@Pro_grammer · 09.05.2017, 17:53

Сообщение от Ципихович Эндрю

файл который нужно перекодировать приложу

верхняя половина файла в ASCII, а нижняя в UTF8. Потому и не берут её нормальные перекодировщики, т.к. формат в одном файле разный.
это в ASCII:

image_path = C:\Documents and Settings\Admin\Мои документы\Мои результаты сканировани\2017-05 (май)\Гузь А.К.

А эти данные в UTF8

String fields:
birthdate [+] (0.886) 25.10.1968
birthplace [+] (1.000) ГОР. МИРГОРОД ПОЛТАВСКОЙ ОБЛ.
gender [+] (0.886) МУЖ.
name [+] (1.000) АНДРЕЙ
number [-] (0.000) 369077
patronymic [+] (0.851) КОНСТАНТИНОВИЧ
series [-] (0.000) 7513
surname [+] (1.000) ГУЗЬ

Вам надо image_path заменить на другой путь, где нет кириллицы, тогда весь файл будет правильно читаться в UTF8

@Homarty · 09.05.2017, 20:21

Pro_grammer опередил меня с ответом, могу только добавить, bom-маркер Вашего txt-файла задан в кодировке windows, поэтому, даже если путь укажете в латинице то текстовые редакторы будут открывать его именно в этом формате, пока им не будет "насильно" указана кодировка utf-8.
Вот здесь немного подправленный макрос, специально для Вас, он конвертирует файл в utf-8, при этом предполагается, что начальная кодировка windows-1251 (даже если это не так, поэтому будьте внимательны)

Visual Basic

Sub SaveToUTF8(sSourceFile As String)
    Dim MyDoc As Document
    Dim sTargetFile$, i&
    If Dir(sSourceFile) = "" Then MsgBox sSourceFile & " not exists": Exit Sub
    i = InStrRev(sSourceFile, ".")
    sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i   1)
    Set MyDoc = Documents.Open(FileName:=sSourceFile, ConfirmConversions:=False, AddToRecentFiles:=False, _
        Revert:=False, Format:=0, Visible:=False, Encoding:=1251)
    With MyDoc
        If .OpenEncoding = 65001 Then MsgBox "This is a UTF8-encoded text file!": .Close: Exit Sub
        .SaveAs FileName:=sTargetFile, fileformat:=7, Encoding:=65001
        .Close
    End With
End Sub

Добавлено через 10 минут
Кстати, Ваш файл он конвертирует в utf-8 правильно, просто те символы, которые были "крякозябрами" в кодировке windows-1251 ими и остались.
Есть вопрос, каким чудом Вы умудрились в текстовой ansi-файл "воткнуть" строки в utf-8???

Добавлено через 9 минут
По моим предположениям, такое сделать в текстовом редакторе, в режиме пользователя, практически невозможно. Разве что манипуляциями байтами текстового файла.

@Ципихович Эндрю · 10.05.2017, 04:35 **[ТС]**

если интересно, то, я запускаю батник для запуска одной проги

Bash

.\smartid_sample.exe "C:\Documents and Settings\Admin\Њ®Ё ¤®Єг¬Ґ*вл\Њ®Ё аҐ§г«мв*вл бЄ**Ёа®ў**Ё\2017-05 (¬*©)\ѓг§м Ђ.Љ. Ї*бЇ®ав *®ўл© 1 бва..jpg" ..\data-zip\bundle_passport_drvlicrus.zip > output.txt

и он мне выдаёт такой файл, кракозябрами путь к файлу указан специально, иначе smartid_sample.exe его не поймёт, Ваш вариант пробую...

Добавлено через 5 минут
Homarty, Ваш код не взлетел, поэтому воспользуюсь советом Pro_grammer

@Влад77 · 07.03.2019, 15:15

Visual Basic

Sub coding()
Const codepageWin1251 = "windows-1251"
Const codepageDOS866 = "cp866"
Const codepageKOI8R = "koi8-r"
Const codepageUTF7 = "utf-7"
Const codepageUTF8 = "utf-8"
Const codepageASCII = "ascii"
 
Const adWriteChar = 0
Const adTypeText = 2
Const adSaveCreateOverWrite = 2
 
Dim pStream As Object, sTxt As String
 
Set pStream = CreateObject("ADODB.Stream")
pStream.Type = adTypeText
 
pStream.Charset = codepageWin1251
pStream.Open
pStream.LoadFromFile ActiveWorkbook.Path & "" & global_save_date & "\NAM.csv"
sTxt = pStream.ReadText
pStream.Close
 
pStream.Charset = codepageDOS866
pStream.Open
pStream.WriteText sTxt, adWriteChar
pStream.SaveToFile ActiveWorkbook.Path & "" & global_save_date & "\NAM.csv", adSaveCreateOverWrite
pStream.Close
End Sub

А как запустить эту функцию? Я хочу сохранить текст из ячейки MIME в кодировке 866.

Добавлено через 2 часа 9 минут
На просторах инета нашел функцию. Отлично работает

Visual Basic

Function convert_cyr_string(str, src, dst)
 ' Изменение кодировки. Функция принимает строку в кодировке src и возвращает в кодировке dst.
 ' src и  dst могу принимать следующие значения: "d", "w", "u" - 866, 1251 и UTF соответственно.
 ' src кодировка входящая ("d", "w", "u" - 866, 1251 и UTF), dst кодировка на выходе ("d", "w", "u" - 866, 1251 и UTF)
 ' str текст для перекодирования
   
   src = LCase(src)
   dst = LCase(dst)
   Dim Fsrc, Fdst, ArrFdos, ArrFwin, ArrFutf, d, Simv, n
   ArrFdos = Split("128;129;130;131;132;133;134;135;136;137;138;139;140;141;142;143;144;145;146;147;148;149;150;151;152;153;154;155;156;157;158;159;160;161;162;163;164;165;166;167;168;169;170;171;172;173;174;175;224;225;226;227;228;229;230;231;232;233;234;235;236;237;238;239;240;241", ";")
   ArrFwin = Split("192;193;194;195;196;197;198;199;200;201;202;203;204;205;206;207;208;209;210;211;212;213;214;215;216;217;218;219;220;221;222;223;224;225;226;227;228;229;230;231;232;233;234;235;236;237;238;239;240;241;242;243;244;245;246;247;248;249;250;251;252;253;254;255;168;184", ";")
   ArrFutf = Split("208:144;208:145;208:146;208:147;208:148;208:149;208:150;208:151;208:152;208:153;208:154;208:155;208:156;208:157;208:158;208:159;208:160;208:161;208:162;208:163;208:164;208:165;208:166;208:167;208:168;208:169;208:170;208:171;208:172;208:173;208:174;208:175;208:176;208:177;208:178;208:179;208:180;208:181;208:182;208:183;208:184;208:185;208:186;208:187;208:188;208:189;208:190;208:191;209:128;209:129;209:130;209:131;209:132;209:133;209:134;209:135;209:136;209:137;209:138;209:139;209:140;209:141;209:142;209:143;208:129;209:145", ";")
   If (src = "w" And dst = "w") Or (src = "d" And dst = "d") Or (src = "u" And dst = "u") Then
      convert_cyr_string = str
      Exit Function
   End If
   If src = "w" Then
         Fsrc = ArrFwin
      ElseIf LCase(src) = "d" Then
         Fsrc = ArrFdos
      ElseIf LCase(src) = "u" Then
         Fsrc = ArrFutf
      Else
         convert_cyr_string = "Err: The variable src isn't true"
         Exit Function
   End If
   If dst = "w" Then
         Fdst = ArrFwin
      ElseIf dst = "d" Then
         Fdst = ArrFdos
      ElseIf dst = "u" Then
         Fdst = ArrFutf
      Else
         convert_cyr_string = "Err: The variable dst isn't true"
         Exit Function
   End If
   Set d = CreateObject("Scripting.Dictionary")
   For n = 0 To UBound(Fsrc)
         d.Add Fsrc(n), Fdst(n)
   Next
   If (src = "w" And dst = "d") Or (src = "d" And dst = "w") Then
      For n = 1 To Len(str)
         If d.Item(CStr(Asc(Mid(str, n, 1)))) <> "" Then
            Simv = Simv & Chr(d.Item(CStr(Asc(Mid(str, n, 1)))))
         Else
            Simv = Simv & Mid(str, n, 1)
         End If
      Next
   ElseIf src = "u" Then
      For n = 1 To Len(str)
         If Asc(Mid(str, n, 1)) = 208 Or Asc(Mid(str, n, 1)) = 209 Then
            Simv = Simv & Chr(d.Item(CStr(Asc(Left(Mid(str, n, 2), 1)) & ":" & Asc(Right(Mid(str, n, 2), 1)))))
            n = n + 1
         Else
            Simv = Simv & Mid(str, n, 1)
         End If
      Next
   ElseIf dst = "u" Then
      For n = 1 To Len(str)
         If d.Item(CStr(Asc(Mid(str, n, 1)))) <> "" Then
            Simv = Simv & Chr(Left(d.Item(CStr(Asc(Mid(str, n, 1)))), 3)) & Chr(Right(d.Item(CStr(Asc(Mid(str, n, 1)))), 3))
         Else
            Simv = Simv & Mid(str, n, 1)
         End If
      Next
   End If
   Set d = Nothing
   convert_cyr_string = Simv
End Function

Если скомбинировать с

Visual Basic

   hFile = convert_cyr_string(hFile, "w", "d")
'     создание файла 1
    Open fil For Output As #1
    Print #1, hFile
    Close #1

То можно сделать файл в 866 кодировке.

@kalbasiatka 412 / 261 / 81 Регистрация: 27.10.2012 Сообщений: 856
	08.05.2017, 13:08	4
	Сообщение от Ципихович Эндрю такое впечатление, как будто я про ВБА ничего не знаю... Это утверждение? Судя по кол-ву тем с вопросами, ответ очевиден. Может покажете свой ansi файл? И как происходит проверка кодировки, после обработки? 0

@Ципихович Эндрю 1536 / 434 / 43 Регистрация: 10.04.2009 Сообщений: 7,517
	08.05.2017, 13:37 [ТС]	5
	это мысли вслух Добавлено через 24 минуты в этой строке sTargetFile = Left(sSourceFile, i - 1) & "_ToUtf8" & Right(sSourceFile, Len(sSourceFile) - i + 1) понял + был пропущен 0

@Ципихович Эндрю 1536 / 434 / 43 Регистрация: 10.04.2009 Сообщений: 7,517
	09.05.2017, 12:11 [ТС]	7
	таких кодов я перепробовал множество, Ваш нужную мне строку в файле: birthplace [+] (1.000) Р"РћР . РњР˜Р Р"РћР РћР" РџРћР›РўРђР'РЎРљРћР(tm) РћР'Р›. преобразует в: birthplace [+] (1.000) Р“РћР. РњР˜РР“РћРРћР” РџРћР›РўРђР’РЎРљРћР™ РћР‘Р›. хотя если в Блокнот++ смотреть, то да из ANSI > UTF 8 кодировка сменилась, такие дела... закрадываются мысли, может у меня не в ANSI? но если я ручками сменю кодировку на UTF 8, то всё гут! Добавлено через 18 минут* только в одном месте онлайн переводчик сделал CP1251-UTF-8 и так криво-�"О� . М�˜� �"О� О�" ПОЛТА�'СКО�(tm) О�'Л. а должно быть ГОР. МИРГОРОД ПОЛТАВСКОЙ ОБЛ. значит нужно тупо открыть текстовый файл и сменить кодировку как бы это сделал вручную!!! наверное бат файлом 0

@Ципихович Эндрю 1536 / 434 / 43 Регистрация: 10.04.2009 Сообщений: 7,517
	09.05.2017, 15:13 [ТС]	9
	увы, ђ"ђ?ђя. ђ?ђ?ђяђ"ђ?ђяђ?ђ" ђ?ђ?ђ>ђчђ?ђ'ђцђ?ђ?ђT ђ?ђ'ђ>. Добавлено через 32 минуты методом тыка смотрю какие буквы что означают: М-Рњ У-РЈ Ж-Р– Г-Р“ З-Р— Ь-Р¬ А-Рђ Н-Рќ Д-Р” ни на какие мысли не наводит? 0

@Pro_grammer Модератор 6781 / 2799 / 527 Регистрация: 24.04.2011 Сообщений: 5,308 Записей в блоге: 10
	09.05.2017, 17:53	11
	Сообщение от Ципихович Эндрю файл который нужно перекодировать приложу верхняя половина файла в ASCII, а нижняя в UTF8. Потому и не берут её нормальные перекодировщики, т.к. формат в одном файле разный. это в ASCII: image_path = C:\Documents and Settings\Admin\Мои документы\Мои результаты сканировани\2017-05 (май)\Гузь А.К. А эти данные в UTF8 String fields: birthdate [+] (0.886) 25.10.1968 birthplace [+] (1.000) ГОР. МИРГОРОД ПОЛТАВСКОЙ ОБЛ. gender [+] (0.886) МУЖ. name [+] (1.000) АНДРЕЙ number [-] (0.000) 369077 patronymic [+] (0.851) КОНСТАНТИНОВИЧ series [-] (0.000) 7513 surname [+] (1.000) ГУЗЬ Вам надо image_path заменить на другой путь, где нет кириллицы, тогда весь файл будет правильно читаться в UTF8 1