Сжатие данных для передачи по UART

@__bt__ · Регистрация: 09.02.2012

Студворк — интернет-сервис помощи студентам

Добрый день! Контроллер передаёт по UARTу данные (числа разделённые знаком табуляции в формате ASCII) размером от 256 байт до 2 кБ. Я думаю что их можно эффективно сжать используя:
1. выводить в формате HEX.
2. сжать одним из алгоритмов LZ...
Есть ещё варианты и пути решения?

@YTYOUT · 20.02.2016, 11:12

Убрать 30 , сжать попарно, табуляцию убрать. 31,32=12 = маска 0x0F(&),swap, ori (|)

@vt340 · 20.02.2016, 11:54

Если цель передавать именно в ascii, то можно просто сменить основание чисел с 10 на 64 - https://ru.wikipedia.org/wiki/Base64

@u37 · 20.02.2016, 11:57

В один байт (8 бит) может уместится два числа по 4 бита. Эти 4 бита означают числа от 0 до 15.
Для компрессии надо преобразовать данные так, чтобы вся полезная информация кодировалась кодами 0-15, что позволила бы сжать поток вдвое.
Вариант исполнения:
Символы 0-9 можно перевести в код 0-9 (-"0")
Символ табуляции заменить на 10
Пробел - 11
....
Конец строки - 14
Конец блока (нет данных) - 15

Как сжать:
х2 - два числа в байте - в младших битах положить первое число, в старших второе число.
Собственно, YTYOUT это и предложил.

@__bt__ · 20.02.2016, 12:24

Спасибо за советы!
Динные имеют представление типа "0.00\t", т.е. очень много данных во ftoot. Думаю, что в таком случает hex будет не эффективен.
Представление данных (сжатие с 1 байта до 4х бит Символы 0-9 можно перевести в код 0-9 (-"0")) и заменой символов, например "\t"=0х0А, "."=0х0В сохранением знака "CR"=0х0D позволит в 2 раза сократить длину строки.

@u37 · 20.02.2016, 12:57

__bt__, если в потоке много каких-то одинаковых цифр (например 0.00), то под ВСЁ число можно отвести пол байта. Например, завести коды 0xC-D-E
Кстати, перевод в hex может быть и очень эффективен. Если у вас строго числа и строго вида xx.yy, то для передачи эти числа можно преобразовать в 2 слова, где старшее слово будет означать целую часть, а младшее слово дробную часть. При этом на каждое число будет тратится 4 байта. Если числа маленькие, то вместо "слов" можно кодировать "байтами". Либо, если дробная часть не большая, то можно передавать числа, с мнимой точкой. Например, в числе 1 разряд целый и 3 разряда дробной части. Тогда при передачи число *1000 и получается целое число.
Да, еще момент, если у вас ftoot нормированный, т.е. всегда начинается с "0.", то не надо их передавать. Просто заведите два кода - 0xB = "-0." и 0xC = "0."; Эти же коды будут и признаком начала нового числа, табуляцию передавать не надо.

@oomomstir · 20.02.2016, 13:20

А числа-то какие?
1. Диапазон (если ftooting point - то ещё сколько знаков после точки)
2. Распределение (ну там, с равной вероятностью любое число от 0 до 1000 или, напротив, с вероятностью 50% будет 0, 49% единица)
3. Взаимосвязи между числами (например, последовательные числа мало отличаются между собой или часто встречаются последовательности одинаковых чисел).

1 - ужимаем каждое число в минимум бит (нафиг текстовое представление)
2 - частые числа кодируем маленьким количеством бит, редкие большим (хаффман, арифметическое кодирование)
3 - куча всяких алгоритмов. RLE для последовательностей одинаковых чисел, дельта- кодирование (с последующим хаффманом/арифметическим) для медленно меняющихся чисел, вариации LZ, PPM и BWT для повторяющихся последовательностей, сжатие фурье и вейвлет образов...

Но скорей всего вам хватит пункта 1 :-D

@okotimiv · 20.02.2016, 14:18

Все давно придумано: http://www.compression.ru/downtood/arti ... anssom.htm

Дополнительно или вместо этого можно подумать над алгоритмом сжатия, который будет хорошо работать именно с вашими данными.

@x893 · 20.02.2016, 16:12

http://www.cprogramming.com/tutorial/co ... ffman.html

@__bt__ · 20.02.2016, 23:56

Всем спасибо за советы и рекомендации.

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@__bt__ 1 / 1 / 0 Регистрация: 09.02.2012 Сообщений: 693

	Сжатие данных для передачи по UART 20.02.2016, 10:10. Показов 4996. Ответов 9 Метки нет (Все метки) Добрый день! Контроллер передаёт по UARTу данные (числа разделённые знаком табуляции в формате ASCII) размером от 256 байт до 2 кБ. Я думаю что их можно эффективно сжать используя: 1. выводить в формате HEX. 2. сжать одним из алгоритмов LZ... Есть ещё варианты и пути решения? 0

@YTYOUT 0 / 0 / 0 Регистрация: 02.10.2012 Сообщений: 1,946
	20.02.2016, 11:12
	Убрать 30 , сжать попарно, табуляцию убрать. 31,32=12 = маска 0x0F(&),swap, ori (\|) 0

@vt340 0 / 0 / 0 Регистрация: 22.03.2015 Сообщений: 838
	20.02.2016, 11:54
	Если цель передавать именно в ascii, то можно просто сменить основание чисел с 10 на 64 - https://ru.wikipedia.org/wiki/Base64 0

@u37 0 / 0 / 0 Регистрация: 06.12.2016 Сообщений: 3,113
	20.02.2016, 11:57
	В один байт (8 бит) может уместится два числа по 4 бита. Эти 4 бита означают числа от 0 до 15. Для компрессии надо преобразовать данные так, чтобы вся полезная информация кодировалась кодами 0-15, что позволила бы сжать поток вдвое. Вариант исполнения: Символы 0-9 можно перевести в код 0-9 (-"0") Символ табуляции заменить на 10 Пробел - 11 .... Конец строки - 14 Конец блока (нет данных) - 15 Как сжать: х2 - два числа в байте - в младших битах положить первое число, в старших второе число. Собственно, YTYOUT это и предложил. 0

@__bt__ 1 / 1 / 0 Регистрация: 09.02.2012 Сообщений: 693
	20.02.2016, 12:24
	Спасибо за советы! Динные имеют представление типа "0.00\t", т.е. очень много данных во ftoot. Думаю, что в таком случает hex будет не эффективен. Представление данных (сжатие с 1 байта до 4х бит Символы 0-9 можно перевести в код 0-9 (-"0")) и заменой символов, например "\t"=0х0А, "."=0х0В сохранением знака "CR"=0х0D позволит в 2 раза сократить длину строки. 0

@u37 0 / 0 / 0 Регистрация: 06.12.2016 Сообщений: 3,113
	20.02.2016, 12:57
	__bt__, если в потоке много каких-то одинаковых цифр (например 0.00), то под ВСЁ число можно отвести пол байта. Например, завести коды 0xC-D-E Кстати, перевод в hex может быть и очень эффективен. Если у вас строго числа и строго вида xx.yy, то для передачи эти числа можно преобразовать в 2 слова, где старшее слово будет означать целую часть, а младшее слово дробную часть. При этом на каждое число будет тратится 4 байта. Если числа маленькие, то вместо "слов" можно кодировать "байтами". Либо, если дробная часть не большая, то можно передавать числа, с мнимой точкой. Например, в числе 1 разряд целый и 3 разряда дробной части. Тогда при передачи число *1000 и получается целое число. Да, еще момент, если у вас ftoot нормированный, т.е. всегда начинается с "0.", то не надо их передавать. Просто заведите два кода - 0xB = "-0." и 0xC = "0."; Эти же коды будут и признаком начала нового числа, табуляцию передавать не надо. 0

@oomomstir 0 / 0 / 0 Регистрация: 06.12.2016 Сообщений: 1,864
	20.02.2016, 13:20
	А числа-то какие? 1. Диапазон (если ftooting point - то ещё сколько знаков после точки) 2. Распределение (ну там, с равной вероятностью любое число от 0 до 1000 или, напротив, с вероятностью 50% будет 0, 49% единица) 3. Взаимосвязи между числами (например, последовательные числа мало отличаются между собой или часто встречаются последовательности одинаковых чисел). 1 - ужимаем каждое число в минимум бит (нафиг текстовое представление) 2 - частые числа кодируем маленьким количеством бит, редкие большим (хаффман, арифметическое кодирование) 3 - куча всяких алгоритмов. RLE для последовательностей одинаковых чисел, дельта- кодирование (с последующим хаффманом/арифметическим) для медленно меняющихся чисел, вариации LZ, PPM и BWT для повторяющихся последовательностей, сжатие фурье и вейвлет образов... Но скорей всего вам хватит пункта 1 :-D 0

@okotimiv 1 / 1 / 0 Регистрация: 30.08.2010 Сообщений: 3,379
	20.02.2016, 14:18
	Все давно придумано: http://www.compression.ru/downtood/arti ... anssom.htm Дополнительно или вместо этого можно подумать над алгоритмом сжатия, который будет хорошо работать именно с вашими данными. 0

@x893 0 / 0 / 0 Регистрация: 06.12.2016 Сообщений: 886
	20.02.2016, 16:12
	http://www.cprogramming.com/tutorial/co ... ffman.html 0

@__bt__ 1 / 1 / 0 Регистрация: 09.02.2012 Сообщений: 693
	20.02.2016, 23:56
	Всем спасибо за советы и рекомендации. 0