Конвертирование кодировки файла

@ht1515 · Регистрация: 31.01.2010

Студворк — интернет-сервис помощи студентам

файл в кодировке ucs2 little endian после слива с консоли, необходимо его перевести в утф8. Как это с минимальными потерями сделать?

@dondublon · 16.06.2016, 13:39

Как-то так:

Python
1
2
3
4
5
6
7
8
9
10
filename = r'd:\temp\ucs2.txt'
new_fn = r'd:\temp\utf8.txt'
 
f = open(filename, encoding='utf-16')
f2 = open(new_fn, 'w', encoding='utf-8')
for line in f.readlines():
    f2.write(line)
 
f.close()
f2.close()

@ht1515 · 16.06.2016, 13:52 **[ТС]**

еще пару вопросов:
1) ucs2 little endian = utf16 ?
И как вы догадались вообще что это утф16

2) Почему такая партянка не работает?

Code
1
2
 txt = open("in.txt", "r").read()
 converted_txt = str(bytes(txt, 'utf-16'), 'utf-8')

3) r - зачем?

4) как питонить также как вы? Что читать\делать?

@alex925 · 16.06.2016, 14:01

Сообщение от ht1515

txt = open("in.txt", "r").read()

Потому, что в таком случае интерпретатор использует кодировку по умолчанию (пытается угадать, раз ты ему сам не сказал) и если не угадывает то все падает.

Сообщение от ht1515

3) r - зачем?

Это режим открытия файла, в принципе по умолчанию и так используется 'r', по этому если файл нужно просто прочитать, то этот параметр можно опустить.

@dondublon · 16.06.2016, 14:04

ht1515, utf-16 может быть двух видов - big endian и little endian. Я просто попробовал, подошло

Хотя и big endian тоже можно сконвертить, в питоне это предусмотрено, просто надо в доку лезть.

Догадался, потому что читал умные книги! В частности Джоэл Спольски, "Что каждый программист должен знать о таблицах кодировок", или как-то так. Это одна глава из книги "Джоэл о программировании".

Партянку вашу посмотрю, так сразу непонятно, почему.
r - чтобы читать. Для наглядности.

@shsv · 16.06.2016, 16:22

Не работает портянка потому, что
1. сначала вы кодируете строку txt в кодировку utf-16: bytes(txt, 'utf-16')
2. затем пытаетесь прочитать её как строку в другой кодировке - utf-8 (это как открыть файл utf-16 в кодировке utf-8 - отображаются кракозябры). При этом интерпритатор спотыкается уже на первом байте, ибо этот байт - часть BOM, а utf-8 (чужих) BOMов не понимает.

Новые блоги и статьи Все статьи Все блоги /
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .
Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .	Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .

@ht1515 шарпопочитатель 59 / 26 / 7 Регистрация: 31.01.2010 Сообщений: 1,035

	Конвертирование кодировки файла 16.06.2016, 12:37. Показов 2342. Ответов 5 Метки нет (Все метки) файл в кодировке ucs2 little endian после слива с консоли, необходимо его перевести в утф8. Как это с минимальными потерями сделать? 0

@dondublon 4653 / 2073 / 366 Регистрация: 17.03.2012 Сообщений: 10,183 Записей в блоге: 6
	16.06.2016, 14:04
	ht1515, utf-16 может быть двух видов - big endian и little endian. Я просто попробовал, подошло Хотя и big endian тоже можно сконвертить, в питоне это предусмотрено, просто надо в доку лезть. Догадался, потому что читал умные книги! В частности Джоэл Спольски, "Что каждый программист должен знать о таблицах кодировок", или как-то так. Это одна глава из книги "Джоэл о программировании". Партянку вашу посмотрю, так сразу непонятно, почему. r - чтобы читать. Для наглядности. 1

@shsv 757 / 306 / 190 Регистрация: 20.05.2016 Сообщений: 593
	16.06.2016, 16:22
	Не работает портянка потому, что 1. сначала вы кодируете строку txt в кодировку utf-16: bytes(txt, 'utf-16') 2. затем пытаетесь прочитать её как строку в другой кодировке - utf-8 (это как открыть файл utf-16 в кодировке utf-8 - отображаются кракозябры). При этом интерпритатор спотыкается уже на первом байте, ибо этот байт - часть BOM, а utf-8 (чужих) BOMов не понимает. 0

Опции темы