Прямоугольники вместо букв

Передаю получаемые строки от парсинга каналов Телеграм в richTextBox. Иногда (только иногда) в строке все буквы заменяются на прямоугольники. Ту же строку без изменений озвучиваю SpeechSynthesizer, озвучка нормальная. Почему такое может быть?

0

Либо ошибка при работе с кодировками, либо шрифт, используемый в RichTextBox, не поддерживает некоторые символы, напр. смайлики.

1

Сообщение от kolorotur Либо ошибка при работе с кодировками, либо шрифт, используемый в RichTextBox, не поддерживает некоторые символы, напр. смайлики.

Никаких кодировок явно нигде не пишу. Заменяется прямоугольниками не символы, а все сообщение. Когда оно заменяется, а когда нет пока непонятно, не из-за фото, один и тот же канал илжет отобразиться как с прямоугольниками, так и без них. Если сообщение с прямоугольниками скопировать из RichTextBox и вставить в блокнот оно отобразится правильно.
Пример : скан RichTextBox и его копирование:
.....................................
08.11.2024 13:07:07 israel_9 ️ Полиция Амстердама изучает сообщения о том, что ночью могли быть взяты заложники. Трое израильтян не выходят на связь с близкими.


.....................................
08.11.2024 13:09:07 topor SHAMAN получил звание «Заслуженный артист России» в Кремле

Эту награду можно получить лишь спустя 20 лет творческой деятельности, певцу сейчас всего 32 года.
.....................................
08.11.2024 13:11:11 cryptoattack24 ������ 8 часов назад трейдер заработал >380 000 $ всего за 2 часа!
Он купил 32 750 341 #UPONLY за 19,8 $SOL (3 962 $). Затем, в течение 2 часов после покупки, он продал все UPONLY за 1 906 SOL (~380 000 $) — прибыль составила ~9 682%.

Примечательно, что Smart Money начали активно закупать UPONLY только спустя 40 минут после запуска - в 04:33. В результате уже в 06:02 по мск актив занял 1 место в топе самых популярных новых токенов у Smart Money. С момента их покупок UPONLY вырос на +15000%.
.....................................
08.11.2024 13:12:43 israel_9 "Мы стали Газой Европы": только один европейский политик решился назвать погром в Амстердаме

Миниатюры

 

0

.....................................
08.11.2024 13:07:07 israel_9 ️ Полиция Амстердама изучает сообщения о том, что ночью могли быть взяты заложники. Трое израильтян не выходят на связь с близкими.


.....................................
08.11.2024 13:09:07 topor SHAMAN получил звание «Заслуженный артист России» в Кремле

Эту награду можно получить лишь спустя 20 лет творческой деятельности, певцу сейчас всего 32 года.
.....................................
08.11.2024 13:11:11 cryptoattack24 ?????? 8 часов назад трейдер заработал >380 000 $ всего за 2 часа!
Он купил 32 750 341 #UPONLY за 19,8 $SOL (3 962 $). Затем, в течение 2 часов после покупки, он продал все UPONLY за 1 906 SOL (~380 000 $) — прибыль составила ~9 682%.

Примечательно, что Smart Money начали активно закупать UPONLY только спустя 40 минут после запуска - в 04:33. В результате уже в 06:02 по мск актив занял 1 место в топе самых популярных новых токенов у Smart Money. С момента их покупок UPONLY вырос на +15000%.
.....................................
08.11.2024 13:12:43 israel_9 "Мы стали Газой Европы": только один европейский политик решился назвать погром в Амстердаме

0

Сообщение от AndreyAndreyA Никаких кодировок явно нигде не пишу

в дебагере нормально строку выводит?
если да, то проверьте будет ли одинаковое числовое значение у двух одинаковых символов из "квадратного" текста и нормального.

Добавлено через 14 минут
ну и заодно свой код покажите, где у вас добавление сообщения в ричтекст бокс идет

0

kolorotur,

Сообщение от golosalex проверьте будет ли одинаковое числовое значение у двух одинаковых символов из "квадратного" текста и нормального.

Имхо, дела в следующем. И блокнот и RichTextBox анализируют текст для определения кодировки, а потом его отображают. В блокноте UTF-8. RichTextBox.AppendText, который использую, не имеет в параметрах кодировку. В свойствах тоже нет. Если бы открывался файл, то можно было бы указать кодировку, но как указать кодировку в таком случае?

Добавлено через 11 минут
kolorotur, golosalex, сейчас попробую:

0

Сообщение от AndreyAndreyA RichTextBox.AppendText, который использую, не имеет в параметрах кодировку.

Если у вас "на руках" строка, то о кодировках уже поздно думать.
Кодировку надо указывать в том месте, где полученные байты преобразуются в string.
Если класс, через который вы работаете с Телеграмом возвращает уже строку, то ищите где в этом классе надо указать кодировку.
Если возвращает массив байтов, то указывайте кодировку там, где вы их преобразуете в строку.

Сообщение от AndreyAndreyA byte[] bytes = Encoding.Default.GetBytes(myString); myString = Encoding.UTF8.GetString(bytes);

Это уже переливание из пустого в порожнее.
Строки в дотнете всегда в UTF-16, никакой другой кодировки у myString быть не может, потому такое "перекодирование" по сути ничего не делает.

1

Сообщение от kolorotur кодировках уже поздно думать.

Пользуюсь сторонней библиотекой, которая возвращает строки чатов. Т.е. сделать уже ничего нельзя, кроме как связываться с разработчиками?
все равно возвратит UTF-16?

Почему же только иногда происходит замена всех символов на прямоугольники? Может, все-таки RichTextBox анализирует частоту разных символов и иногда отображает не в нужной кодировке? И почему озвучка правильно озвучивает?

Добавлено через 11 минут
После замены, которую здесь привел, по-прежнему иногда в тексте прямоугольники. Причем на одном чате был длинный текст, половина его в прямоугольниках, половина нормальная.

0

Сообщение от AndreyAndreyA строки чатов

Что это значит?

В прочем не важно. Я бы на вашем месте дебажил код, по двум строчкам кода сложно сказать, что происходит. Но скажу точно, что utf-8 возвращает битый символ, если он не дополучил байтов для раскодировки. Например, изначально была отправлена такая строка: "па-пара-пара-пам-пам", скажу сразу примерную раскадровку для utf-8:
1 байт - первые 128 символов ASCII таблицы, это весь английский алфавит, многие знаки препинания, а первые 32 это вообще служебные символы, на выводе они в теории видны, например, можно увидеть символа переноса строки, или табуляции, особенно, если выделить текст, но такие символы считаются служебными.
2 байта - русские, европейские и арабские буквы
3 байта - азиатские буквы, в частности китайские иероглифы, коих свыше 1000
4 байта - различного рода смайлики.

[SPOILER][CSHARP]
char russEuprLetter = 'Ї';
char arabicLetter = 'ي';
char chineLetter = '在';
char coreanLetter = '이';
char japanLetter = 'に';
string othCHar = "

1

вложение прилагается

Миниатюры

 

0

И, как вариант, может быть richTextBox действительно не поддерживает рендеринг каких-либо символов. Его свойство Text, может быть и string`ом, но сама визуальная часть не умеет рендерить те или иным символы. Поэтому с блокнотом могут быть такие фокусы, когда вставляешь корректный текст, который в richTextBox вроде бы отображался неправильно

1

Timure4953985,
Никакого буфера не определяю. В сторонней библиотеке есть метод, который выдает сообщения чатов в виде строк. Больше ни к чему доступа нет.

Сообщение от Timure4953985 Главное, соберись с мыслями, обдумай, какой результат дебагинга ты хочешь получить

Еще надо, вероятно, повизуализировать хорошее решение проблемы. Сейчас в моде больше такие советы.

Сообщение от Timure4953985 последний байт парсер не смог корректно обработать, поскольку ожидался парный байт.

Идея понятна, что возможно, в библиотеке неверно определен буфер. Но тогда бы сначала шли нормальные буквы и только последний символ бы был служебный. К тому же, тогда и блокнот строку также получил с последним не тем символом. К тому же вряд ли буфер определялся бы то нормально, то заглючил. Какой смысл дебажить, если кодировку поменять нельзя?

0

Сообщение от AndreyAndreyA Почему же только иногда происходит замена всех символов на прямоугольники? Может, все-таки RichTextBox анализирует частоту разных символов и иногда отображает не в нужной кодировке? И почему озвучка правильно озвучивает?

на правах рассуждений: программисты телеграм канала из разных мест сами воруют информацию и постят. так как воруют из разных мест то строки получаются с разным форматом utf8 или utf8 без boom (это заголовок такой). телега умная и последовательность байт с разным форматом отличит(потому и програмисты не парились раз работает) а у вас нет кода проверки и последовательность байт с заголовком и без не собирается. я бы порекомендовал вытащить в отдельный слой работу по парсингу текста из телеграм канала и тут его показать, без дебагера не понять что должно получиться

0

Сообщение от kolorotur Это уже переливание из пустого в порожнее.

Закомментировал строку st = st.Replace('⚡', ' '); в ТГ канале, в котором появляются прямоугольники и все стало отображаться правильно. Пробовал st = st.Replace("⚡",""); Это тоже приводит к прямоугольникам.

Добавлено через 6 минут
Строки других ТГ каналов не вызывают ошибки, хотя, похоже, и не выполняются.
st = st.Replace("

0

Не могу вставить код, который для строк в других каналах не приводят к ошибкам, но и не выполняется.

Миниатюры

 

0

AndreyAndreyA, какой библиотекой вы пользуетесь для работы с ТГ?
Можете поделиться ссылкой или хотя бы названием?

0

Сообщение от kolorotur Можете поделиться ссылкой

Если вам для практической работы, то отвечу сейчас в личку.

0