Определение кодировки текста

@Ciberst · Регистрация: 16.12.2010

Студворк — интернет-сервис помощи студентам

Решил попробовать создать Декодер Текста, вот у меня возникло несколько вопросов...
1) все ли кодировки я перечислил? я так думаю что не все но остальные я думаю надо скачивать дополнительно, вот собственно говоря кодировки которые я добавил в программу

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
GB2312
ISO8859-1
ISO8859-2
CP437
CP850
CP852
CP855
CP857
CP858
CP860
CP861
CP863
CP865
CP866
CP869
Windows-1250
Windows-1251
Windows-1252
Windows-1253
Windows-1254
Windows-1255
Windows-1256
Windows-1257
Windows-1258
KOI8-R
KOI8-U
KOI8-RU
UTF-8
UTF-16
UTF-32
Unicode

2) Как реализовать лучше распознавание кодировки? то есть Эвристический анализ текста? или можно более простым способом?

P.S. Реализовал все это методом чтения и записи в VB 2008

@Bazzy · 17.02.2011, 17:22

Я, наверное, чего-то не понимаю, но разве класса System.Text.Encoding для этого дела не хватает? О.о

П.С. Откуда посетители данного форума могут знать какие кодировки нужны Вам?

@Ciberst · 17.02.2011, 18:11 **[ТС]**

Bazzy, допустим больше кодировок мне не нужно, как определить при чтении файла в какой кодировке он записан?

@Bazzy · 17.02.2011, 19:23

Если есть преамбула то по ней, а если нету то сложно(именно как вы сказали) ))) есть готовые решения.

@Ciberst · 17.02.2011, 20:00 **[ТС]**

Сообщение от Bazzy

Если есть преамбула то по ней, а если нету то сложно(именно как вы сказали) ))) есть готовые решения.

попрошу немного ввести меня в теорию, извиняюсь за дурацкий вопрос, но что такое "преамбула", что она означает?

Eugene22 · 17.02.2011, 20:26

Ciberst,

Не по теме:

http://ru.wikipedia.org/wiki/Преамбула

@Ciberst · 17.02.2011, 20:46 **[ТС]**

Сообщение от Eugene22

Ciberst,

Не по теме:

http://ru.wikipedia.org/wiki/Преамбула

Не по теме:

из Wikipedia "вводная или вступительная часть правового акта", давайте так,вы мне это просто и по-русски расскажете, что вы имели ввиду под этим словом, программируя в среде VB 2008 ?

Eugene22 · 17.02.2011, 21:04

У многих файлов есть определенная структура, и в этой структуре могут быть некоторые заголовки, в которых содержится часто не сами данные, а некая сопроводительная информация. Эти заголовки и можно считать преамбулой.

@Ciberst · 17.02.2011, 21:06 **[ТС]**

Сообщение от Eugene22

У многих файлов есть определенная структура, и в этой структуре могут быть некоторые заголовки, в которых содержится часто не сами данные, а некая сопроводительная информация. Эти заголовки и можно считать преамбулой.

ага, понятно, заголовков нет. => преамбул тоже нет

@Bazzy · 18.02.2011, 10:13

http://msdn.microsoft.com/ru-r... amble.aspx

@i8085 · 25.02.2011, 23:46

Сообщение от Ciberst

как определить при чтении файла в какой кодировке он записан?

Гнусненький вопрос... Вот, представьте пример: файл *.txt содержит одну строку с текстом "file."
Ну, Юникод вы отбросите, а какую кодировку из вашего списка выберете?

Так что чёткого алгоритма анализа текста "на кодировку" в файлах без "преамбул" в общем-то нет...

Новые блоги и статьи Все статьи Все блоги /
Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .	Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .

@Bazzy 197 / 189 / 15 Регистрация: 09.02.2011 Сообщений: 457
	17.02.2011, 17:22
	Я, наверное, чего-то не понимаю, но разве класса System.Text.Encoding для этого дела не хватает? О.о П.С. Откуда посетители данного форума могут знать какие кодировки нужны Вам? 0

@Ciberst 559 / 436 / 21 Регистрация: 16.12.2010 Сообщений: 953
	17.02.2011, 18:11 [ТС]
	Bazzy, допустим больше кодировок мне не нужно, как определить при чтении файла в какой кодировке он записан? 0

@Bazzy 197 / 189 / 15 Регистрация: 09.02.2011 Сообщений: 457
	17.02.2011, 19:23
	Если есть преамбула то по ней, а если нету то сложно(именно как вы сказали) ))) есть готовые решения. 0

Eugene22 _ 2364 / 1243 / 78 Регистрация: 28.10.2009 Сообщений: 4,331
	17.02.2011, 20:26
	Ciberst, Не по теме: http://ru.wikipedia.org/wiki/Преамбула 0

Eugene22 _ 2364 / 1243 / 78 Регистрация: 28.10.2009 Сообщений: 4,331
	17.02.2011, 21:04
	У многих файлов есть определенная структура, и в этой структуре могут быть некоторые заголовки, в которых содержится часто не сами данные, а некая сопроводительная информация. Эти заголовки и можно считать преамбулой. 0

@Bazzy 197 / 189 / 15 Регистрация: 09.02.2011 Сообщений: 457
	18.02.2011, 10:13
	http://msdn.microsoft.com/ru-r... amble.aspx 0