@eugrita

Вопрос может глупый. Но
Пусть например надо угадать натуральное число в диапазоне 1..N О загаданном числе ничего не известно
Энтропия (Неопределенность) по Хартли H=LOG2(N) Например при N=16 H=4бит
Действительно можно угадать число методом деления интервала его нахождения пополам задав 4 вопроса
Хорошо, а что будет если мы сознательно откажемся от этого метода а используем метод случайного выбора (метод тыка)?
Количество вопросов будет случайной величиной X
Прн этом X=1 c вероятностью P1=1/N
Если при 1 попытки не угадали, то вероятность угадывания при 2-й попытке P2= (N-1)/N *1/(N-1)=1/N
и т.д Т.е количество попыток угадвания равномерно распределенная дискретн случайная величина с матожиданием
K=1*P1+2*P2+...N*Pn=(1+2+...N)/N=N*(N-1)/(2*N)=(N-1)/2
даже в случае ошибки этих рассуждений неопределенность будет грубо равна половине N а не логарифму.

Что здесь ошибка? Неопределенность зависит от метода угадывания или не зависит и строго соответствует двоичному поиску?
--------------------------------------------------------------------------------------

Мне не нравятся задачи скажем ЕГ по информатике где тупо предлагают оценить информационный объем сообщения в отрыве от неопределенности
Как быть с тем что информация это разность неопределенностей до и после опыта (априорной и апостериорной)

0

@SSC

А почему Вы использовали метод "тыка" без возврата, ведь можно еще и порассуждать о методе "тыка" с возвратом.
Когда берется N карточек, случайным образом извлекается одна и задается вопрос "Это правильное число?", если ответ нет то карточка возвращается в общую кучу, куча перемешивается и делается следующая попытка угадать. И используя такой подход можно не угадать и с 2*N попыток, и даже с 3*N попыток.

Но исходная задача ведь поставлена совсем иначе. Необходимо определить с какого минимального числа попыток можно гарантированно определить загаданное число, при условии что можно задавать любой вопрос, но в качестве ответа Вы получаете всего один бит информации (то есть ответ только Да/Нет).

0

@кот Бегемот

У Вас каша в голове, вы путаете божий дар с яичницей, это следствие поверхностного изучения информатики.
Если бы Вы удосужились посерьёзнее почитать учебники, то узнали бы, что существует ДВА!!! подхода к измерению информации:
1) вероятностный, о котором вы тут говорили
2) алфавитно-цифровой, в котором допускается, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), и количество информации, которое несет каждый символ, вычисляется по формуле Хартли.
а Вы попытались свалить всё в одну кучу, выставив себя полным профаном.

0

@eugrita

Я естественно имею представление о вероятностном подходе - формуле Шеннона и даже более сложных ее модификациях - взаимной энтропии, Энтропии выраженной в терминах непрерывного распределения, т.е. через интегралы.
Я только заметил (легко проверить сайт https://inf-ege.sdamgia.ru или купите Сборник по ЕГ информатика)
Что задачи алфавитного подхода там есть, а задач вероятностного подхода там нет. Хотя в инете немало презентаций и выложенных задач школьных учителей именно на вероятностный подход.

Я бы сказал что каша не у меня в голове, а скорее в учебниках информатики, напр. Макаровой.
Где приводится классификация подходов к измерению информации как алфавитный (объемный), семантическая мера и -прагматическая мера. А дальше тупо дают задний ход почти не уточняя и не приводя количественные меры
Интересно как со всем этим соотнести вероятностный подход где информация - мера уменьшения неопределенности знаний?
Каких знаний? Конкретного человека? -они неполны, субъективны или может быть объективных знаний? Когда угадываем число в диапазоне - все понимают одинаково, А скажем, знают физику все по разному.Одни хуже, другие лучше, разные разделы. В зависимости неопределенность от каких знаний -опять скатываемся к прагматической или тезаурусной мере/

Добавлено через 7 минут
Задавая 1-й вопрос я догадывался об ответе, но к сожалению в материалах где я читал не было акцента или вовсе об МИНИМАЛЬНОМ числе вопросов-попыток

Добавлено через 18 минут
А в качестве примера неопределенности измерений какого-то параметра можно взять доверительный интервал, скажем с 95% надежностью нахожления с.в. в нем. Что, тогда мера неопределенности H=log(1/p)=log(1/095)=log(1,05)=0.05
( равенство- приближенное). А уточнение(уменьшение доверительного интервала в результате дополнительных измерений тоже можно трактовать как уменьшение неопределенности?

Я не хочу оправдываться в своей безграмотности. Возможно я виноват, возможно нечеткая терминология в литературе, приводящая к путанице. Я попытался на тему подходов к информации и ее измерению написать обзор (вроде краткого реферата). Желающие могут скачать вложение и прочитать и сделать замечания

Вложения

Сравнеие подходов к информации и ее измерению.docx (18.1 Кб, 2 просмотров)

0