Работа с кодировками

@ASCII · Регистрация: 15.12.2013

Author24 — интернет-сервис помощи студентам

Всем привет.
Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. Поэтому, т.к. для себя я выбрал использовать utf-8, мне необходимо эти символы преобразовывать в utf-8.

1) Какие есть стандартные средства для перекодировки символов?
2) Какую литературу можно почитать из области Quick Start? (Кроме Страуструпа, в специальном издании все слишком запутанно)

@~~Programmist5~~ · 16.07.2016, 08:15

Может загрузить в специальный блокнот(Notepad++), там поменять кодировку и сохранить. Так пойдет?

@nmcf · 16.07.2016, 08:20

Использовать utf-8 для обработки текста - плохое решение. Надо wchar_t брать. Перекодировка функциями типа MultiByteToWideChar().

@SerVal · 16.07.2016, 08:26

По-моему, в этом случае проще и удобнее использовать C#. В нём изменение кодировок встроено.
(ссылки выдираются regex-ом).

@hoggy · 16.07.2016, 09:11

Сообщение от ASCII

в любой кодировке

Сообщение от ASCII

преобразовывать в utf-8

нет проблемы перегнать в утф-8.
проблема - узнать в какой кодировке исходный текст.
стандартных средств для этого не существует.

Сообщение от nmcf

Перекодировка функциями типа MultiByteToWideChar().

исходный текст может быть в какой угодно кодировке.
как MultiByteToWideChar вам поможет?

IGPIGP · 16.07.2016, 09:43

Сообщение от hoggy

проблема - узнать в какой кодировке исходный текст.

над заголовком - тег <meta charset="...">. Можно пробовать меняя кодировки прочесть этот тег и потом спарсить кодировку для использования. Если указана отсутствующая кодировка или есть ошибки кодировки, то по любому это не проблема программы.

@hoggy · 16.07.2016, 09:48

Сообщение от IGPIGP

над заголовком - тег <meta charset="...">

ну вот если только парсить заголовок,
а потом похоже, придется сделать свитч-кейс

@nmcf · 16.07.2016, 10:04

Сообщение от hoggy

исходный текст может быть в какой угодно кодировке.

Из его вопроса не ясно в чём проблема - в определении кодировки или в преобразовании. Я подумал про второе, потому что там про средства преобразования символов упоминается.

@hoggy · 16.07.2016, 10:05

Сообщение от nmcf

Из его вопроса не ясно в чём проблема - в определении кодировки или в преобразовании

и то, и другое очевидно жеж.

Убежденный · 16.07.2016, 10:07

Сообщение от ASCII

есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке.

По стандарту HTTP, веб-сервер должен указывать кодировку содержимого в заголовке Content-Type.
Например:

Код

Content-Type: text/html; charset=utf-8

Кодировка по умолчанию (т.е. если не указана) - iso-8859-1.

К сожалению, некоторые веб-серверы в Content-Type пишут одно, а в HTML
передают совсем другое.

@nmcf · 16.07.2016, 10:09

Не по теме:

Сообщение от hoggy

и то, и другое очевидно жеж.

Мне нет.

zer0mail · 16.07.2016, 10:11

Сообщение от hoggy

исходный текст может быть в какой угодно кодировке.
как MultiByteToWideChar вам поможет?

В чем проблема? MultiByteToWideChar умеет преобразовывать и UTF8 и CP866 и CP1251 и KOI и море других кодировок

@hoggy · 16.07.2016, 10:20

Сообщение от zer0mail

В чем проблема?

преобразуйте мне текст в любой кодировке в утф-8 пожалуйста.
приведите пример кода, как вы это сделаете.

Убежденный · 16.07.2016, 10:23

Не по теме:

Напомнило:
Если у вас есть строка, но вы не знаете, в какой она кодировке - у вас нет этой строки. (c)

zer0mail · 16.07.2016, 12:32

Сообщение от hoggy

преобразуйте мне текст в любой кодировке в утф-8 пожалуйста.

Давайте спросим у ASCII, что он понимал под "любой кодировкой":
а) набор из 4-5 кириллических кодировок, как полагаю я.
б) любую кодировку на Земле (не будем распространять на Вселенную), как, наверное, полагает hoggy.

IGPIGP · 16.07.2016, 12:46

Сообщение от zer0mail

набор из 4-5 кириллических кодировок, как полагаю я.

Виртуальный шовинизмъ (имхо). Пусть будут и не кириллические. Можно выполнить расширяемую прогу (наследованием например). Тут есть строчка:

Сообщение от ASCII

html код страницы с сайта

Если страница оформлена правильно, то можно поискать тег с кодировкой, если нет, (и нет набора слов, некоторые из которых обязательно присутствуют в тексте), то нет надёжного решения.
На правах свободной придури:
Прога с искусственным ~~глюкованием~~ интеллектом:
Можно парсить десяток-два слов и отправлять запрос в поисковик, в разных кодировках. По одному слову за раз. Где ответов не равных "по вашему запросу не найдено ни одной ссылки" больше, там и правильная кодировка. Можно и свой расширяемый словарь завести.
Это медленно и ненадёжно. То есть по-человечески.

@hoggy · 16.07.2016, 12:50

Сообщение от zer0mail

Давайте спросим у ASCII, что он понимал под "любой кодировкой":

в этом нет необходимости.
"любая кодировка" обозначает "любую кодировку".
внезапно.

@zss · 16.07.2016, 12:51

Сообщение от IGPIGP

и отправлять запрос в поисковик, в разных кодировках

Поисковики сами исправляют кодировку, так что это не поможет.

IGPIGP · 16.07.2016, 12:57

Сообщение от zss

Поисковики сами исправляют кодировку, так что это не поможет.

Как я понимаю, поисковик приводит кодировку к кодировке полученной от браузера. То есть, слово (строка) после обработки изменится. Если Вы (прога) угадали кодировку, то она будет соответствовать браузеру и поисковик не должен её менять. Тут много "если". Что и говорить. Потому и написал что с ~~глюкованием~~. Статистически что-то полезное может выдавать.

@Renji · 16.07.2016, 13:45

Сообщение от ASCII

Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке.

В такой постановке задачи никакой проблемы нет. Первые 128 символов у всех (популярных) восьмибитовых кодировок идентичны, а больше ничего для выдирания <a href=... и не требуется.

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	16.07.2016, 12:50	17
	Сообщение от zer0mail Давайте спросим у ASCII, что он понимал под "любой кодировкой": в этом нет необходимости. "любая кодировка" обозначает "любую кодировку". внезапно. 1

@zss Модератор 13507 / 10757 / 6412 Регистрация: 18.12.2011 Сообщений: 28,714
	16.07.2016, 12:51	18
	Сообщение от IGPIGP и отправлять запрос в поисковик, в разных кодировках Поисковики сами исправляют кодировку, так что это не поможет. 1

IGPIGP Комп_Оратор) $Эксперт по математике/физике$ 8950 / 4704 / 629 Регистрация: 04.12.2011 Сообщений: 13,999 Записей в блоге: 16
	16.07.2016, 12:57	19
	Сообщение от zss Поисковики сами исправляют кодировку, так что это не поможет. Как я понимаю, поисковик приводит кодировку к кодировке полученной от браузера. То есть, слово (строка) после обработки изменится. Если Вы (прога) угадали кодировку, то она будет соответствовать браузеру и поисковик не должен её менять. Тут много "если". Что и говорить. Потому и написал что с ~~глюкованием~~. Статистически что-то полезное может выдавать. 1

@ASCII 99 / 70 / 13 Регистрация: 15.12.2013 Сообщений: 455
		1
	Работа с кодировками 16.07.2016, 03:36. Показов 3711. Ответов 43 Метки нет (Все метки) Всем привет. Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. Поэтому, т.к. для себя я выбрал использовать utf-8, мне необходимо эти символы преобразовывать в utf-8. 1) Какие есть стандартные средства для перекодировки символов? 2) Какую литературу можно почитать из области Quick Start? (Кроме Страуструпа, в специальном издании все слишком запутанно) 0

@~~Programmist5~~ Заблокирован
	16.07.2016, 08:15	2
	Может загрузить в специальный блокнот(Notepad++), там поменять кодировку и сохранить. Так пойдет? 0

@nmcf 7793 / 6560 / 2984 Регистрация: 14.04.2014 Сообщений: 28,672
	16.07.2016, 08:20	3
	Использовать utf-8 для обработки текста - плохое решение. Надо wchar_t брать. Перекодировка функциями типа MultiByteToWideChar(). 0

@SerVal 37 / 36 / 9 Регистрация: 16.04.2015 Сообщений: 283
	16.07.2016, 08:26	4
	По-моему, в этом случае проще и удобнее использовать C#. В нём изменение кодировок встроено. (ссылки выдираются regex-ом). 0

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	16.07.2016, 09:11	5
	Сообщение от ASCII в любой кодировке Сообщение от ASCII преобразовывать в utf-8 нет проблемы перегнать в утф-8. проблема - узнать в какой кодировке исходный текст. стандартных средств для этого не существует. Сообщение от nmcf Перекодировка функциями типа MultiByteToWideChar(). исходный текст может быть в какой угодно кодировке. как MultiByteToWideChar вам поможет? 0

IGPIGP Комп_Оратор) $Эксперт по математике/физике$ 8950 / 4704 / 629 Регистрация: 04.12.2011 Сообщений: 13,999 Записей в блоге: 16
	16.07.2016, 09:43	6
	Сообщение от hoggy проблема - узнать в какой кодировке исходный текст. над заголовком - тег <meta charset="...">. Можно пробовать меняя кодировки прочесть этот тег и потом спарсить кодировку для использования. Если указана отсутствующая кодировка или есть ошибки кодировки, то по любому это не проблема программы. 1

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	16.07.2016, 09:48	7
	Сообщение от IGPIGP над заголовком - тег <meta charset="..."> ну вот если только парсить заголовок, а потом похоже, придется сделать свитч-кейс 1

@nmcf 7793 / 6560 / 2984 Регистрация: 14.04.2014 Сообщений: 28,672
	16.07.2016, 10:04	8
	Сообщение от hoggy исходный текст может быть в какой угодно кодировке. Из его вопроса не ясно в чём проблема - в определении кодировки или в преобразовании. Я подумал про второе, потому что там про средства преобразования символов упоминается. 0

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	16.07.2016, 10:05	9
	Сообщение от nmcf Из его вопроса не ясно в чём проблема - в определении кодировки или в преобразовании и то, и другое очевидно жеж. 1

Убежденный Ушел с форума 16473 / 7436 / 1187 Регистрация: 02.05.2013 Сообщений: 11,617 Записей в блоге: 1
	16.07.2016, 10:07	10
	Сообщение от ASCII есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. По стандарту HTTP, веб-сервер должен указывать кодировку содержимого в заголовке Content-Type. Например: Код Content-Type: text/html; charset=utf-8 Кодировка по умолчанию (т.е. если не указана) - iso-8859-1. К сожалению, некоторые веб-серверы в Content-Type пишут одно, а в HTML передают совсем другое. 5

	16.07.2016, 13:45

@nmcf
	16.07.2016, 10:09 #11
	Не по теме: Сообщение от hoggy и то, и другое очевидно жеж. Мне нет. 0

zer0mail 2664 / 2239 / 240 Регистрация: 03.07.2012 Сообщений: 8,141 Записей в блоге: 1
	16.07.2016, 10:11	12
	Сообщение от hoggy исходный текст может быть в какой угодно кодировке. как MultiByteToWideChar вам поможет? В чем проблема? MultiByteToWideChar умеет преобразовывать и UTF8 и CP866 и CP1251 и KOI и море других кодировок 0

@hoggy 8739 / 4317 / 960 Регистрация: 15.11.2014 Сообщений: 9,760
	16.07.2016, 10:20	13
	Сообщение от zer0mail В чем проблема? преобразуйте мне текст в любой кодировке в утф-8 пожалуйста. приведите пример кода, как вы это сделаете. 0

Убежденный
	16.07.2016, 10:23 #14
	Не по теме: Напомнило: Если у вас есть строка, но вы не знаете, в какой она кодировке - у вас нет этой строки. (c) 0

zer0mail 2664 / 2239 / 240 Регистрация: 03.07.2012 Сообщений: 8,141 Записей в блоге: 1
	16.07.2016, 12:32	15
	Сообщение от hoggy преобразуйте мне текст в любой кодировке в утф-8 пожалуйста. Давайте спросим у ASCII, что он понимал под "любой кодировкой": а) набор из 4-5 кириллических кодировок, как полагаю я. б) любую кодировку на Земле (не будем распространять на Вселенную), как, наверное, полагает hoggy. 0

IGPIGP Комп_Оратор) $Эксперт по математике/физике$ 8950 / 4704 / 629 Регистрация: 04.12.2011 Сообщений: 13,999 Записей в блоге: 16
	16.07.2016, 12:46	16
	Сообщение от zer0mail набор из 4-5 кириллических кодировок, как полагаю я. Виртуальный шовинизмъ (имхо). Пусть будут и не кириллические. Можно выполнить расширяемую прогу (наследованием например). Тут есть строчка: Сообщение от ASCII html код страницы с сайта Если страница оформлена правильно, то можно поискать тег с кодировкой, если нет, (и нет набора слов, некоторые из которых обязательно присутствуют в тексте), то нет надёжного решения. На правах свободной придури: Прога с искусственным ~~глюкованием~~ интеллектом: Можно парсить десяток-два слов и отправлять запрос в поисковик, в разных кодировках. По одному слову за раз. Где ответов не равных "по вашему запросу не найдено ни одной ссылки" больше, там и правильная кодировка. Можно и свой расширяемый словарь завести. Это медленно и ненадёжно. То есть по-человечески. 1

@Renji 2782 / 1935 / 570 Регистрация: 05.06.2014 Сообщений: 5,600
	16.07.2016, 13:45	20
	Сообщение от ASCII Есть следующая проблема: есть программа, которая загружает html код страницы с сайта. Затем из этого html кода необходимо выдернуть все ссылки. Проблема заключается в том, что html документ может быть сохранен в любой кодировке. В такой постановке задачи никакой проблемы нет. Первые 128 символов у всех (популярных) восьмибитовых кодировок идентичны, а больше ничего для выдирания <a href=... и не требуется. 0