Измерение информации. Содержательный подход. 10 класс

Содержание

Слайд 2

- Как получить или передать некоторое количество информации? - «Орел» или

- Как получить или передать некоторое количество информации? - «Орел» или «решка»?

В чем заключено больше информации? - Как угадать задуманное число за наименьшее количество попыток?

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 3

Мы обсудим подход к измерению информации, который называют содержательным подходом или

Мы обсудим подход к измерению информации, который называют содержательным подходом или

вероятностным.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 4

В основе нашего мира лежат три составляющие: вещество, энергия и информация.

В основе нашего мира лежат три составляющие: вещество, энергия и информация.

А как много в мире вещества, энергии и информации?

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 5

Можно ли измерить количество вещества? Можно ли определить количество энергии? Можно

Можно ли измерить количество вещества?
Можно ли определить количество энергии?
Можно ли измерить

количество информации?

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 6

Сообщение несет больше информации, если в нем содержатся новые и понятные

Сообщение несет больше информации, если в нем содержатся новые и понятные

сведения. Такое сообщение называется информативным.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 7

- Содержит ли информацию учебник физики 10 класса? - Для кого

- Содержит ли информацию учебник физики 10 класса? - Для кого он

будет информативным – для ученика 10 класса или 1 класса? Количество информации зависит от информативности.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 8

Количество информации в некотором сообщении равно 0, если оно с точки

Количество информации в некотором сообщении равно 0, если оно с точки

зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 9

Если некоторое сообщение является информативным, то оно пополняет нас знаниями или

Если некоторое сообщение является информативным, то оно пополняет нас знаниями или

уменьшает неопределенность наших знаний. Иначе, сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 10

Количество информации I Количество информации о системе, полученное в сообщении, измеряется

Количество информации I

Количество информации о системе, полученное в сообщении, измеряется уменьшением

неопределенности о состоянии системы.
Меру неопределенности в теории информации называют “энтропия”.
Неопределенность не отделима от понятия вероятности.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 11

Чем меньше вероятность события, тем больше информации несет сообщение о его

Чем меньше вероятность события, тем больше информации несет сообщение о его

появлении.
Если вероятность события равна 1 (достоверное событие), количество информации в сообщении о его появлении равно 0.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 12

СООБЩЕНИЕ, УМЕНЬШАЮЩЕЕ НЕОПРЕДЕЛЕННОСТЬ ЗНАНИЯ В ДВА РАЗА, НЕСЕТ 1 БИТ ИНФОРМАЦИИ.

СООБЩЕНИЕ, УМЕНЬШАЮЩЕЕ НЕОПРЕДЕЛЕННОСТЬ ЗНАНИЯ В ДВА РАЗА, НЕСЕТ 1 БИТ ИНФОРМАЦИИ.

Клод

Шеннон

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 13

На экзамен приготовлено 30 билетов. Чему равно количество событий, которые могут

На экзамен приготовлено 30 билетов.

Чему равно количество событий, которые могут произойти

при вытягивании билета?
Эти события равновероятны?
Чему равна неопределенность знаний ученика перед тем, как он вытянет билет?
Во сколько раз уменьшится неопределенность знания после того, как он вытянул билет?
Зависит ли этот показатель от номера вытянутого билета?

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 14

Вывод: чем больше начальное число возможных равновероятных событий, тем в большее

Вывод: чем больше начальное число возможных равновероятных событий, тем в большее

количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 15

«Конкурс выиграет один из участников: A или B» - это априорная

«Конкурс выиграет один из участников: A или B»

- это априорная информация

о системе, утверждающая, что система может находиться в одном из 2х состояний.
После получения любого сообщения из:
конкурс выиграл B Vд =17 символов
B стал победителем Vд =18 символов
A проиграл Vд = 10 символов
неопределенность снизилась до 1 варианта из 2-х изначально возможных.
Чему равно количество информации, которое несет это сообщение?

Для синтаксической оценки количества информации не важно в каком именно состоянии находится система, важно только возможное количество состояний системы и их априорные вероятности.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 16

Формула Шеннона где I – количество информации (бит); N – число

Формула Шеннона

где
I – количество информации (бит);
N – число возможных состояний

системы;
p(i) – априорная вероятность каждого состояния системы.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 17

Расчет количества информации по Хартли Частный случай формулы Шеннона для равновероятных

Расчет количества информации по Хартли

Частный случай формулы Шеннона для равновероятных событий

где
I

– количество информации, бит
N – число возможных состояний системы

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 18

Задача Размер текстового файла (Vд) 640 Kb. Файл содержит книгу, которая

Задача

Размер текстового файла (Vд) 640 Kb. Файл содержит книгу, которая набрана

в среднем по 32 строки на странице и по 64 символа в строке. Сколько страниц в книге:
160, 320, 540, 640, 1280 ?

1. Символов на 1 стр. = 32*64 = 25*26=211

3. Всего = 640Kb = 10*64*210b = 10*26*210b = 10*216b

4. Кол-во стр. = 10*216b / 211b = 10*25 = 320

1 символ = 1b

2. Памяти на 1 стр. = 211b

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 19

Игра «Угадай число» Вельдяева О. С., МОУ ЛСОШ № 1

Игра «Угадай число»

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 20

Неравновероятные события. Рассмотренная нами формула является частным случаем, т.к. применяется к

Неравновероятные события. Рассмотренная нами формула является частным случаем, т.к. применяется к равновероятным

событиям.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 21

В жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации:

В жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации:

Когда

сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге – зимой.
Если вы – лучший ученик в классе, то вероятность сообщения о том, что за контрольную вы получили 5, больше, чем вероятность получения двойки.
Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

Вельдяева О. С., МОУ ЛСОШ № 1

Слайд 22

Как вычислить количество информации в таком случае? По формуле Шеннона: Вельдяева

Как вычислить количество информации в таком случае? По формуле Шеннона:

Вельдяева О. С.,

МОУ ЛСОШ № 1