Определение кодировки файла

@martb1n · Регистрация: 13.04.2009

Author24 — интернет-сервис помощи студентам

Помогите определить кодировку файла(файл текстовый). Имеется набор файлов в различной кодировке, проблема в том что при отображении содержимого появляются иероглифы и\или знаки вопросов.

@kolorotur · 15.02.2013, 19:40

К сожалению, на данный момент единственный 100% верный способ определить кодировку текста - это знать ее заранее.
В противном случае можно либо смотреть на BOM для некоторых кодировок (UTF8, например), что все равно не дает полной гарантии, либо проводить лексический анализ текста - это пробовать конвертировать его в разные кодировки и смотреть, получается ли на выходе читаемый текст.

@martb1n · 16.02.2013, 17:00 **[ТС]**

Сообщение от kolorotur

смотреть, получается ли на выходе читаемый текст

это как я понимаю может сделать только человек

@kolorotur · 16.02.2013, 17:05

Сообщение от martb1n

это как я понимаю может сделать только человек

Не обязательно.
Вот, к примеру, онлайн-декодер - с переменным успехом определяет кодировку текста.

@turbanoff · 18.02.2013, 07:27

Mozilla сделала такую open-source либу, после чего её портировали и на c#
http://code.google.com/p/ude/

@martb1n 56 / 56 / 11 Регистрация: 13.04.2009 Сообщений: 169
		1
	.NET 4.x Определение кодировки файла 15.02.2013, 18:05. Показов 3824. Ответов 4 Метки нет (Все метки) Помогите определить кодировку файла(файл текстовый). Имеется набор файлов в различной кодировке, проблема в том что при отображении содержимого появляются иероглифы и\или знаки вопросов. 0

@kolorotur 17688 / 12873 / 3366 Регистрация: 17.09.2011 Сообщений: 21,138
	15.02.2013, 19:40	2
	К сожалению, на данный момент единственный 100% верный способ определить кодировку текста - это знать ее заранее. В противном случае можно либо смотреть на BOM для некоторых кодировок (UTF8, например), что все равно не дает полной гарантии, либо проводить лексический анализ текста - это пробовать конвертировать его в разные кодировки и смотреть, получается ли на выходе читаемый текст. 1

@martb1n 56 / 56 / 11 Регистрация: 13.04.2009 Сообщений: 169
	16.02.2013, 17:00 [ТС]	3
	Сообщение от kolorotur смотреть, получается ли на выходе читаемый текст это как я понимаю может сделать только человек 0

@kolorotur 17688 / 12873 / 3366 Регистрация: 17.09.2011 Сообщений: 21,138
	16.02.2013, 17:05	4
	Сообщение от martb1n это как я понимаю может сделать только человек Не обязательно. Вот, к примеру, онлайн-декодер - с переменным успехом определяет кодировку текста. 0

@turbanoff 4091 / 3825 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 11
	18.02.2013, 07:27	5
	Mozilla сделала такую open-source либу, после чего её портировали и на c# http://code.google.com/p/ude/ 1