Переобразовать кодировку ucs2be в utf8

@ardans · Регистрация: 30.07.2014

Author24 — интернет-сервис помощи студентам

Как в memo загрузить текстовый файл с кодировкой ucs2be? Файл пример вложил.

@volvo · 22.07.2015, 15:12

Открывать файл как обычно, но его содержимое конвертировать в UTF8 при помощи UCS2BEToUTF8 из модуля LConvEncoding

@ardans · 22.07.2015, 15:42 **[ТС]**

Нет, не прокатывает так. Я этот файл пробовал в pchar загружать и передавать на конвертирование через UnicodeString. Примерно так

Pascal

  
var
  rCnt: integer;
  p: PChar;
  lFile: TFileStream;
begin
  Result:= '';
  lFile:= TFileStream.Create(fName, fmOpenRead);
  try
    rCnt:= lFile.Size;
    GetMem(p, rCnt);
    lFile.Position:= 0;
    lFile.Read(p^, rCnt);
    Memo1.Lines.Text:= UCS2BEToUTF8(UnicodeString(p));
    Freemem(p);
  finally
    lFile.Free;
  end;
end;

@volvo · 22.07.2015, 15:51

Если бы не проходило - я бы не отвечал:

Pascal

  with TStringList.Create do
  try
    LoadFromFile(fn);
    Memo2.Lines.Text := Text; // тут кракозябры
    Memo1.Lines.Text := LConvEncoding.UCS2BEToUTF8(Text); // тут нормальный текст
  finally
    Free;
  end;

@ardans · 22.07.2015, 22:04 **[ТС]**

Да, так работает. Но в конце текста какая-то кряка есть. Вместо vbn открывает как vbnഊ. Как это теперь исправить?

Добавлено через 1 час 18 минут
Нужно длину текста на 1 меньше выводить что-ли?

@volvo · 22.07.2015, 23:50

Сообщение от ardans

Нужно длину текста на 1 меньше выводить что-ли?

Не совсем. Попробуй открыть многострочный файл - увидишь о чем я. Там бардак получается с символами перевода строки, нужно убрать символы U+0A00 (последовательность кодов #$e0#$a8#$80) и U+0D0A (последовательность #$e0#$b4#$8a) из строки, тогда все прекрасно выводится, безо всяких "хвостов":

Pascal

var t : string;
begin
  with TStringList.Create do
  try
    LoadFromFile(fn);
    t := StringReplace(
      StringReplace(ConvertEncoding(Text, GuessEncoding(Text), EncodingUTF8),
                    #$e0#$a8#$80, '', [rfReplaceAll]), #$e0#$b4#$8a, '', [rfReplaceAll]);
    Memo2.Lines.Text := t;
  finally
    Free;
  end;
end;

@ardans · 23.07.2015, 08:14 **[ТС]**

volvo, спасибо! Ты решил мою проблему.

Добавлено через 51 минуту
Еще заметил, что если загрузить многострочный текст, то после каждой строки лишняя пустая строка имеется. Что-то не убирается?

Добавлено через 22 минуты
Кстати только если конец строки виндовый. С линуксовым все нормально.

@volvo · 23.07.2015, 09:10

Сообщение от ardans

после каждой строки лишняя пустая строка имеется

У меня нет никаких лишних строк:

@ardans · 23.07.2015, 10:10 **[ТС]**

Да, если в винде запустить приложение. А если скомпилить в линуксе, то появляются.

@Puporev · 23.07.2015, 10:18

А у меня тоже нет пустых строк, но в начале первой строки квадрат, что ни пишу в файл

@ardans · 23.07.2015, 10:21 **[ТС]**

Да, в винде нет пустых строк. Они появляются если программу в линуксе запустить. Я по дефолту линукс использую, поэтому заметил.
У меня в начале появляется кряка если вместо memo использовать synedit.

@volvo · 23.07.2015, 10:33

Сообщение от ardans

А если скомпилить в линуксе, то появляются.

Ну, значит, в отладчике надо посмотреть, что из себя представляет строка t перед присвоением ее свойству Lines.Text, наверняка там есть лишний #13, его тоже надо бы удалить, тем же макаром (я сейчас под Windows, так что проверить линуксом не могу)

@ardans · 23.07.2015, 11:41 **[ТС]**

volvo, если в отладчике смотреть t в линуксе между строчками #10#10, а в винде - #13

@volvo · 23.07.2015, 12:56

Значит, добавь

Pascal

1
2
3

    {$IFDEF UNIX}
    t := StringReplace(t, #10#10, #10, [rfReplaceAll]);
    {$ENDIF}

, если важно, чтобы не добавлялись лишние строки. В общем, как-то пока корявенько конвертация кодировок происходит, если нужно столько доп. движений делать...

@ardans · 23.07.2015, 14:18 **[ТС]**

да, спасибо volvo. я так и сделал пока.

@volvo Супер-модератор 32835 / 21172 / 8148 Регистрация: 22.10.2011 Сообщений: 36,432 Записей в блоге: 8
	22.07.2015, 15:12	2
	Открывать файл как обычно, но его содержимое конвертировать в UTF8 при помощи UCS2BEToUTF8 из модуля LConvEncoding 1

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	22.07.2015, 22:04 [ТС]	5
	Да, так работает. Но в конце текста какая-то кряка есть. Вместо vbn открывает как vbnഊ. Как это теперь исправить? Добавлено через 1 час 18 минут Нужно длину текста на 1 меньше выводить что-ли? 0

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	23.07.2015, 08:14 [ТС]	7
	volvo, спасибо! Ты решил мою проблему. Добавлено через 51 минуту Еще заметил, что если загрузить многострочный текст, то после каждой строки лишняя пустая строка имеется. Что-то не убирается? Добавлено через 22 минуты Кстати только если конец строки виндовый. С линуксовым все нормально. 0

@volvo Супер-модератор 32835 / 21172 / 8148 Регистрация: 22.10.2011 Сообщений: 36,432 Записей в блоге: 8
	23.07.2015, 09:10	8
	Сообщение от ardans после каждой строки лишняя пустая строка имеется У меня нет никаких лишних строк: Миниатюры 0

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	23.07.2015, 10:10 [ТС]	9
	Да, если в винде запустить приложение. А если скомпилить в линуксе, то появляются. Миниатюры 0

@Puporev Почетный модератор 64300 / 47595 / 32743 Регистрация: 18.05.2008 Сообщений: 115,181
	23.07.2015, 10:18	10
	А у меня тоже нет пустых строк, но в начале первой строки квадрат, что ни пишу в файл Изображения 0

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	23.07.2015, 10:21 [ТС]	11
	Да, в винде нет пустых строк. Они появляются если программу в линуксе запустить. Я по дефолту линукс использую, поэтому заметил. У меня в начале появляется кряка если вместо memo использовать synedit. 0

@volvo Супер-модератор 32835 / 21172 / 8148 Регистрация: 22.10.2011 Сообщений: 36,432 Записей в блоге: 8
	23.07.2015, 10:33	12
	Сообщение от ardans А если скомпилить в линуксе, то появляются. Ну, значит, в отладчике надо посмотреть, что из себя представляет строка t перед присвоением ее свойству Lines.Text, наверняка там есть лишний #13, его тоже надо бы удалить, тем же макаром (я сейчас под Windows, так что проверить линуксом не могу) 0

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	23.07.2015, 11:41 [ТС]	13
	volvo, если в отладчике смотреть t в линуксе между строчками #10#10, а в винде - #13 0

@ardans 6 / 5 / 1 Регистрация: 30.07.2014 Сообщений: 56
	23.07.2015, 14:18 [ТС]	15
	да, спасибо volvo. я так и сделал пока. 0

Переобразовать кодировку ucs2be в utf8

Решение