Перекодировка в GB2312

@kuton93 · Регистрация: 25.05.2015

Студворк — интернет-сервис помощи студентам

Доброго времени суток!
Пишу программу переводчик с использованием Яндекс-API. Перевод реализовал в двух режимах: ручном, т.е. два поля, в одном текст ввода, во-втором перевод с сервера; и автоматическом, т.е. с возможностью переводить все текстовые(можно html/xml) файлы в указанной папке. Собственно функционал реализован, но при работе столкнулся с китайскими файлами кодировки GB2312. Если передавать иероглифы напрямую из Memo, то с переводом нет проблем, но при попытке подгрузить тот же китайский текст из файла получаю кракозябры кодировки Windows-1251. Собственно вопрос: как перекодировать текст обратно из windows-1251 в gb2312, чтобы передавать серверу иероглифы или обойти процедуру перекодировки, прикрепляю код того что делал(пока не помогло)

C++
1
2
3
4
5
6
7
8
9
void __fastcall TForm2::Button1Click(TObject *Sender) {
    if(OpenDialog1->Execute()){
          Memo1->Lines->LoadFromFile(OpenDialog1->FileName);
       }
}
void __fastcall TForm2::Button2Click(TObject *Sender)
{
Memo1->Lines->Text= StringOf(TEncoding::Convert(TEncoding::GetEncoding(1251),TEncoding::GetEncoding(936),Memo1->Lines->Text.BytesOf()));
}

На первом скрине оригинал вставленый вручную(он же желаемый результат).
На втором результат подгрузки файла.
На третьем результат перекодировки.

@RomanSedyshev · 20.12.2018, 14:36

Сохраняй исходные файлы в кодировке "Юникод" как на скриншоте

@kuton93 · 20.12.2018, 14:55 **[ТС]**

Сообщение от RomanSedyshev

Сохраняй исходные файлы в кодировке "Юникод" как на скриншоте

Не все так просто. У меня большой объём файлов, хранятся они(именно с китайским) в формате xml. Работать с каждым файлом и пересохранять текст очень долго, поэтому обрабатываю программно. Распарсерив каждую xml и вынув текст я могу его либо пересохранить в txt, но я не знаю как программно указать блокноту, что это именно Unicode, либо пытаться перекодировать, опять же, не получилось, пока что...

@RomanSedyshev · 20.12.2018, 16:11

Приложи один файл посмотреть

@D1973 · 20.12.2018, 17:48

Сообщение от kuton93

но я не знаю как программно указать блокноту, что это именно Unicode

Создавайте СтрингЛист,

C++
1
std::auto_ptr<TStringList> L (new TStringList);

разбирайте свой xml на запчасти (ненавижу слово "парсить"), записывайте "запчасти" в этот самый СтрингЛист, а потом сохраняйте его в любой файл в какой угодно кодировке...

C++
1
L->SaveToFile("aaa.txt", TEncoding::UTF8);

@kuton93 · 20.12.2018, 18:10 **[ТС]**

Сообщение от RomanSedyshev

Приложи один файл посмотреть

xml подгружать нельзя, ".doc" в имени файла убери и посмотришь...

@kuton93 · 20.12.2018, 18:23 **[ТС]**

Сообщение от D1973

Создавайте СтрингЛист,
C++Выделить код
1
std::auto_ptr<TStringList> L (new TStringList);
разбирайте свой xml на запчасти (ненавижу слово "парсить"), записывайте "запчасти" в этот самый СтрингЛист, а потом сохраняйте его в любой файл в какой угодно кодировке...
C++Выделить код
1
L->SaveToFile("aaa.txt", TEncoding::UTF8);

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
void __fastcall TForm2::Button2Click(TObject *Sender)
{
TStringList *f = new TStringList();
    UnicodeString buf1, buf2, buf3;
    f->LoadFromFile(OpenDialog1->FileName);
    buf1 = f->Text;
    buf3 = f->Text;
    if (buf1.Pos("<DataContent><![CDATA[") != 0) {
        buf1 = buf1.SubString(buf1.Pos("<DataContent><![CDATA[") + 22,
            buf1.Length());
        buf2 = buf1;
        buf2.SetLength(buf2.Pos("]]"));
    }
    else if (buf3.Pos("<Body>") != 0) {
        buf3 = buf3.SubString(buf3.Pos("<Body>") + 6, buf3.Length());
        buf2 = buf3;
        buf2.SetLength(buf2.Pos("</Body>"));
    }
    f->Text=buf2;
    f->SaveToFile("aaa.txt", TEncoding::GetEncoding(936));
    delete(f);
}

Попробовал ваш код, результат на скрине, в функции код разделения на запчасти(там две вариации xml возможны), файл прикреплен в сообщении выше

@D1973 · 20.12.2018, 19:06

Что не так?

@kuton93 · 21.12.2018, 02:08 **[ТС]**

Сообщение от D1973

Что не так?

Да ВЫ гений! Я и не знал, что можно декодировать на стадии подгрузки файла, выкладываю доработанный код разбора, может кому вдруг...

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
    TStringList *f = new TStringList();
    UnicodeString buf1, buf2;
    f->LoadFromFile(OpenDialog1->FileName, TEncoding::GetEncoding(936));
    Memo1->Text=f->Text;
    buf1 = Memo1->Text;
    if (buf1.Pos("<DataContent><![CDATA[") != 0) {
        buf1 = buf1.SubString(buf1.Pos("<DataContent><![CDATA[") + 22,
            buf1.Length());
        buf2 = buf1;
        buf2.SetLength(buf2.Pos("]]"));
    }
    else if (buf1.Pos("<Body>") != 0) {
        buf1 = buf1.SubString(buf1.Pos("<Body>") + 6, buf1.Length());
        buf2 = buf1;
        buf2.SetLength(buf2.Pos("</Body>"));
    }
    Memo1->Text=buf2;
    delete(f);

Задачу считаю решенной, спасибо за оперативную помощь!

@D1973 · 21.12.2018, 06:40

Не по теме:

Бедные китайцы, как они это вообще читают :(

Новые блоги и статьи Все статьи Все блоги /
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@RomanSedyshev 51 / 39 / 15 Регистрация: 20.09.2018 Сообщений: 163
	20.12.2018, 14:36
	Сохраняй исходные файлы в кодировке "Юникод" как на скриншоте Миниатюры 1

@RomanSedyshev 51 / 39 / 15 Регистрация: 20.09.2018 Сообщений: 163
	20.12.2018, 16:11
	Приложи один файл посмотреть 0

@D1973 Модератор 9915 / 6452 / 2455 Регистрация: 21.01.2014 Сообщений: 27,385 Записей в блоге: 3
	20.12.2018, 19:06
	Сообщение было отмечено kuton93 как решение Решение Что не так? Миниатюры 3

@D1973
	21.12.2018, 06:40
	Не по теме: Бедные китайцы, как они это вообще читают :( 0

Перекодировка в GB2312

Решение