Как можно максимально быстро найти строки, где присутствуют символы в неверной кодировке

Добрый день!

Файлы в кодировке CP866 (DOS), но иногда там встречается текст козябрами - с нарушением кодировки. Подскажите, как можно максимально быстро найти строки, где присутствуют козябры?

Я искал через такой регекс:
но получается очень медленно, нужно быстрей. Может быть есть какие встроенные функции для определения кодировки?

0

Здравствуйте!

Если в файле имеются строки в разных кодировках, но "в целом" файл нужно считывать в одной кодировке, то козябры в этом случае проще будет отсеять на стадии считывания байтов, потому что потом вступит в дело конвертер и похерит значения символов из оригинальной кодировки.

Для этого сначала гляньте в таблицу кодовой страницы и составьте хэш (или диапазоны) символов, которые вы считаете козябрами.
Потом считывайте байты из файла и проверяйте, принадлежит ли считанное значение к списку козябров. Если принадлежит, то пропускайте его, если не принадлежит, то скармливайте декодеру.

Переход на новую строку по всех кодировках имеет значение 10.

1

А если так?

Файл читаю в кодировке DOS. Если декодер не может определить символ, то он все равно ставит ведь какой-то символ из данной кодировки. Может быть достаточно тогда искать вот эти символы:

Є
є
Ї
ї
Ў
ў

которые представлены внизу таблицы по вашей ссылки?

Добавлено через 1 минуту
Я проверил файлы регексом:"([ЄҐ*Ј§ўЇ®«¤¦¬Ў‰–“Љ…Ќѓ˜™‡•љ”›ЂЏђЋ‹„†ќџ‘Њ€’ њЃћ]+)".

При этом в файлах определяются именно вот эти 6 символов козябр, что перечислил выше. Можно сократить регекс до 6 символов, будет искать быстрее.

0

Сообщение от Suppir Файл читаю в кодировке DOS. Если декодер не может определить символ, то он все равно ставит ведь какой-то символ из данной кодировки.

Тут сначала нужно определиться, что значит "декодер не может определить символ".
Для некоторых кодовых страниц — той же Unicode, например, действительно определены некоторые нелегальные значения, вместо которых декодер поставит символ-заглушку. Однако в таблице CP866 таких символов не определено, потому для декодера любое значение в интервале 0-255 будет легальным символом, соответствующим считанному значению.

Сообщение от Suppir Может быть достаточно тогда искать вот эти символы

Этого недостаточно.
Гляньте, например, на промежуток 176-223 — там все символы можно считать козябрами, а вы ведь не знаете в какой другой кодировке может быть та или иная строка.

Вот, например, я создаю новый файл и записываю туда строку "мама мыла раму" сначала в кодировке CP866, а потом в кодировке UTF8, после чего считываю весь текст в кодировке CP866 и вот что получаю на выходе:

"мама мыла раму╨╝╨░╨╝╨░ ╨╝╤Л╨╗╨░ ╤А╨░╨╝╤Г"

Ваш регекс это бы не поймал.

Вообще, я должен поправиться: здесь же не обязательно считывать байты, достаточно создать таблицу символов-козябр, а потом проверять эти символы с уже считанной строки и отрезать их. С байтами будет просто проще, т.к. можно проверять по диапазонам, ибо козябры идут подряд, а вот в уже декодированной в юникод строке придется искать по таблице.

0

Понятно. Кстати, вот такие символы могут быть в оригинальном тексте, поскольку там присутствуют таблицы, нарисованные псевдографикой:

╨╝╨

0