Измерение количества информации

Август 2, 2022

Главная
Информатика
Измерение количества информации

Содержание

2. алфавитный (т.е. количество информации зависит от последовательности знаков); содержательный или вероятностный (т.е. количество информации зависит от
3. Алфавитный подход к измерению информации Орел Монета упала на поверхность земли той стороной вверх, на которой
4. Алфавитный подход к измерению информации Множество используемых в тексте символов называется алфавитом. У алфавита есть размер
5. Вероятностный подход к измерению информации Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например:
6. – один из создателей математической теории информации. Родился в 1916 г. Клод Элвуд Шеннон
7. (2) где I - количество информации; N - количество возможных событий; pi - вероятность i-го события.
8. Например: пусть при бросании несимметричной 4-хгранной пирамидки вероятности отдельных событий будут равны: Тогда Этот подход к
9. Если , следовательно исходы равновероятны, то вероятность каждого исхода – это число , то (4) формула
10. Определим количество информации, которое мы получим при бросании симметричной и однородной 4-хгранной пирамидки: Например: Таким образом,
11. Как измерить количество информации? Ясно, что ликвидировать неопределенность – это и значит получить информацию. Следовательно, формула
12. Вопросы: Какие существуют два подхода к измерению информации? Что такое алфавит? Какой величиной характеризуется алфавит? Каким
13. Задания Вероятность первого события составляет 0,5, а второго и третьего – 0,25. Какое количество информации мы
15. Скачать презентацию

Слайд 2

алфавитный (т.е. количество информации зависит от последовательности знаков);
содержательный или вероятностный (т.е.

количество информации зависит от ее содержания).

Два подхода
к измерению информации:

Слайд 3

Алфавитный подход
к измерению информации
Орел
Монета упала на поверхность земли той стороной

вверх, на которой изображен орел

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и т.д.).

Слайд 4

Алфавитный подход
к измерению информации
Множество используемых в тексте символов называется алфавитом.
У

алфавита есть размер (полное количество его символов), который называется мощностью алфавита.
Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (2.1) можно рассчитать, какое количество информации несет каждый символ.
Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда: , откуда I = 5 битов.
Каждый символ несет 5 битов информации (его информационная емкость равна 5 битов). Количество информации в сообщении можно подсчитать, умножив количество информации, которое несет 1 символ, на количество символов:

Слайд 5

Вероятностный подход
к измерению информации
Существует множество ситуаций, когда возможные события имеют

различные вероятности реализации.
Например:
Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге – зимой.
Если вы – лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки.
Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.
Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.
Если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения «орла» и «решки» будут различаться.

Слайд 6

– один из создателей математической теории информации.
Родился в 1916 г.

Клод Элвуд Шеннон

Слайд 7

(2)
где I - количество информации;
N - количество возможных событий;
pi

- вероятность i-го события.

Американский инженер и математик Клод Элвуд Шеннон в 1948 г. предложил формулу для вычисления количества информации в случае различных вероятностей событий:

k - количество конкретных событий, т.е. величина, показывающая, сколько раз произошло интересующее нас событие.

(3)

Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log pi – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

Слайд 8

Например:
пусть при бросании несимметричной 4-хгранной пирамидки вероятности отдельных событий будут равны:
Тогда

Этот подход к определению количества информации называется вероятностным.

Слайд 9

Если , следовательно исходы равновероятны, то вероятность каждого исхода – это

число , то

(4)

формула Хартли (американский инженер – связист) - предложена в 1928 г.

Слайд 10

Определим количество информации, которое мы получим при бросании симметричной и однородной

4-хгранной пирамидки:

Например:

Таким образом, при бросании симметричной пирамидки, когда события равновероятны, получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.

Слайд 11

Как измерить количество информации?
Ясно, что ликвидировать неопределенность – это и значит

получить информацию. Следовательно, формула (1) показывает, какое количество информации можно получить для любой конкретной системы.
Или: формула (1) показывает, каким количеством информации нужно располагать, чтобы полностью снять неопределенность.
Итак, если информация понимается как отражение разнообразия, то мерой для ее количества выступает мера неопределенности, которой обладает рассматриваемая в этот момент ситуация. Описывая неопределенность на языке вероятностей, мы приходим к формуле Шеннона.

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Вероятностный подход к измерению информации для конкретного события:

Слайд 12

Вопросы:
Какие существуют два подхода к измерению информации?
Что такое алфавит?

Какой величиной характеризуется алфавит?
Каким образом можно подсчитать количество информации в сообщении?
Одинаковую ли вероятность реализации имеют события?
Приведите примеры событий с одинаковой вероятностью, с разной вероятностью.
Как определить количество информации при равновероятных событиях?
Как определить количество информации при неравновероятных событиях?
По какой формуле вычисляется вероятность?
Как при вероятностном подходе можно измерить информацию для конкретного события?

Слайд 13

Задания
Вероятность первого события составляет 0,5, а второго и третьего – 0,25.

Какое количество информации мы получим после реализации одного из них?
В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.
В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Измерение количества информации

Содержание

алфавитный (т.е. количество информации зависит от последовательности знаков);содержательный или вероятностный (т.е.

Алфавитный подход к измерению информацииОрелМонета упала на поверхность земли той стороной

Алфавитный подход к измерению информацииМножество используемых в тексте символов называется алфавитом.У

Вероятностный подход к измерению информации Существует множество ситуаций, когда возможные события имеют

– один из создателей математической теории информации. Родился в 1916 г.

(2)где I - количество информации; N - количество возможных событий; pi

Например:пусть при бросании несимметричной 4-хгранной пирамидки вероятности отдельных событий будут равны:Тогда