Количество информации в сообщении о неравновероятном событии

Слайд 3

Количество информации в сообщении о неравновероятном событии
Company Logo
I = log2(1/p),
I –

количество информации
p – вероятность события
p = K/N,
K – сколько раз произошло интересующее нас событие
N – общее число возможных исходов какого-то процесса

Слайд 4

Company Logo
Вернемся к задаче №4:
Количество пирожков с повидлом: К1 = 24

N = K1 + K2
Количество пирожков с капустой: К2 = 8 N = 24 + 8 = 32
Вероятность выбора пирожка с повидлом: р1 = 24/32 = 0,75
Вероятность выбора пирожка с капустой: р2 = 8/32 = 0,25
К-во информации в сообщении, что Маша выбрала пирожок с повидлом: I1 = log2(1/p1) => I1 = log2(1/0,75)= log2 1,3 = 1,15470 бит
К-во информации в сообщении, что Маша выбрала пирожок с капустой: I2 = log2(1/p2) => I2 = log2(1/0,25) = log2 4 = 2 бита

Чем меньше вероятность некоторого события, тем больше информации содержит сообщение
об этом событии

Слайд 5

Формула Шеннона
Company Logo
Клод Элвуд Шеннон,
1916 – 2001 г.г.
Американский математик
и инженер
I

– количество информации,
N – количество возможных событий
pi – вероятности отдельных событий

Слайд 6

Формула Шеннона
Company Logo
Тогда, для нашей задачи:
I = - (р1∙log2p1 + р2∙log2p2),
I

= - (0,25∙ log20,25+0,75∙ log20,75)≈ -(0,25∙(-2)+0,75∙(-0,42))=0,815 бит

Слайд 7

Какое сообщение содержит большее количество информации?
Company Logo
Количество информации достигает
максимального значения,

если события равновероятны.

Слайд 8

Решить задачи:
В корзине лежат 32 клубка красной и черной шерсти. Среди

них 4 клубка красной шерсти. Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?
В озере обитает 12500 окуней, 25000 пескарей, а карасей и щук по 6250. Какое количество информации несет сообщение о ловле рыбы каждого вида? Сколько информации мы получим, когда поймаем какую–нибудь рыбу?
В классе 30 человек. За контрольную работу по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Иванов получил пятерку?

Company Logo

Количество информации в сообщении о неравновероятном событии

Содержание