Лекция 3-Формулы

Август 23, 2022

Главная
Информатика
Лекция 3-Формулы

Содержание

2. Требования Формирование 1 ОК-1:Выбирать способы решения задач профессиональной деятельности, применительно к различным контекстам. 3 Знать :
3. Содержание 1. Формула Хартли. 2. Формула Шеннона. 3. Примеры.
4. 3. ИЗМЕРЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ. ФОРМУЛА ХАРТЛИ И ШЕННОНА.
5. Необходимость изучения этой темы “Измерение количества информации. Формула Хартли “ в курсе информатики связана с тем
6. Основная проблема изучить какие события являются равновероятными, как найти вероятность события, как найти количество информации в
7. Ученые, которые внесли вклад в теорию информации. Ральф Винтон Лайон Хартли сделал вклад в теорию информации,
8. Пусть должно произойти какое-то событие. Обозначим количество равновероятно возможных результатов этого события через N.
9. Например, бросаем кнопку. Выпадает “шляпкой” или “остриём” - равновероятные события, значит N=2.
10. Измерение информации. Информация, которую получает человек, приводит к уменьшению неопределенности знаний. Возможные события . Они равновероятны.
11. Американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривает как выбор одного сообщения из конечного
12. Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например, если монета несимметрична (одна сторона
13. СОБЫТИЯ имеют различные вероятности реализации равновероятны Формула Шеннона Расчет количества информации по Хартли p – вероятность
14. Если рассматривать информационный подход к нахождению логарифма в среде Microsoft Excel, то мы может применить алгоритм:
15. 3. в ячейку ввести знак равно
16. 4. Нажать f(х) 5.
17. 6. Ответ:
18. Рассмотрим решение задач. Задача 1. Книга состоит из 64 страниц. На каждой странице 256 символов. Какой
19. Задача 2. Чему равен информационный объем одного символа английского языка? Решение. В английском языке 26 букв.
20. Задача 3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он
21. Первый вопрос: «Вы родились во второй половине года?» Варианты ответов: (вариант1) Нет (значит это могут быть
22. Самостоятельное задания: Нужно таблица степеней(ниже), инженерный калькулятор(wise calculator ). В тетради. Задача 1. При игре в
23. Задача 3. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8, после
26. Скачать презентацию

Слайд 2

Требования
Формирование
1 ОК-1:Выбирать способы решения задач профессиональной деятельности, применительно к различным контекстам.
3

Знать : Формулы Хартли и Шеннона.

Слайд 3

Содержание
1. Формула Хартли.
2. Формула Шеннона.
3. Примеры.

Слайд 4

3. ИЗМЕРЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ. ФОРМУЛА ХАРТЛИ И ШЕННОНА.

Слайд 5

Необходимость изучения этой темы “Измерение количества информации. Формула Хартли “ в

курсе информатики связана с тем фактом, что теория информации – это один из разделов математики. Поэтому одной из проблем связанных с информацией является измерение ее количества. Однако, само понятие информации можно определить по-разному. Следовательно, можно и по-разному измерить ее количество. Для определения количества информации наиболее распространены формулы Хартли и Шеннона.

Слайд 6

Основная проблема изучить какие события являются равновероятными, как найти вероятность события,

как найти количество информации в сообщении.
В числе первых, кто занимался вопросами теории кодирования и передачи сообщений, был американский ученый Клод Элвуд Шеннон
Он показал, что информацию можно измерять.
Измерение информации.
Величина неопределённости , снимаемой некоторым сообщением, и представляет собой содержащееся в сообщении количество информации.
Вероятность события.
Такой подход к определению количества информации называют содержательным.

Слайд 7

Ученые, которые внесли вклад в теорию информации.
Ральф Винтон Лайон Хартли
сделал вклад

в теорию информации,
введя в 1928 логарифмическую меру информации
H = Klog2(M), которая называется хартлиевским
количеством информации.

Клод Э́лвуд Ше́ннон
основатель теории информации

Слайд 8

Пусть должно произойти какое-то событие.
Обозначим количество равновероятно возможных результатов этого события

через N.

Слайд 9

Например, бросаем кнопку. Выпадает “шляпкой” или “остриём” - равновероятные события, значит

N=2.

Слайд 10

Измерение информации. Информация, которую получает человек, приводит к уменьшению неопределенности знаний.

Возможные события .
Они равновероятны.

Происшедшее событие

Сообщение о результате приводит в уменьшению неопределенности наших знаний в 2 раза.

Слайд 11

Американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривает как

выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Формула Хартли: I = log2N.

Слайд 12

Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Например,

если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения "орла" и "решки" будут различаться.

Формулу для вычисления количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:
где I - количество информации; N - количество возможных событий; рi - вероятность i-го события.

Слайд 13

СОБЫТИЯ
имеют различные вероятности реализации
равновероятны
Формула Шеннона
Расчет количества информации по Хартли
p – вероятность

события
i – количество информации в сообщении о данном событии

Слайд 14

Если рассматривать информационный подход к нахождению логарифма в среде Microsoft Excel,

то мы может применить алгоритм:

Рассмотрим пример.
Пусть нам необходимо найти Log2(1/3)
1. открыть Microsoft Excel.
2. выделить ячейку.

Слайд 15

3. в ячейку ввести знак равно

Слайд 16

4. Нажать f(х)
5.

Слайд 17

6.
Ответ:

Слайд 18

Рассмотрим решение задач. Задача 1. Книга состоит из 64 страниц. На каждой странице

256 символов. Какой объем информации содержится в книге, если используемый алфавит состоит из 32 символов? 1) 81 920 байт; 2) 40 Кбайт; 3) 16 Кбайт; 4) 10 Кбайт.

Решение.
По условию задачи мощность алфавита равна 32 символам.
Найдем информационную емкость одного символа
I = log2N = log232 = 5 (бит).
Определим информационную емкость одной страницы:
поскольку на странице 256 символов, то имеем 256*5 = 1280 (бит).
Определим информационную емкость всей книги: 64*1280 =81920 (бит).
81920 бит = 81920/8 байт = 10240 байт = 10240/1024 килобайт = 10 килобайт
Правильный ответ 4) 10 Кбайт.

Слайд 19

Задача 2.
Чему равен информационный объем одного символа английского языка?
Решение.
В английском

языке 26 букв. Тогда информационный объем одного символа
можно найти так: N=26. Но 2 в любой степени не может быть равно точно
числу 26. Ближайшая степень числа 2, большая, чем 26, это 32.
Значит, принимаем N=32, N=Log2 32=5 битов.
Т. к. 25=32.
Ответ: 5 битов.

Слайд 20

Задача 3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить

месяц, в котором он родился?

Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).
Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое — ответу «Нет».
Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).
По формуле Хартли и с помощью калькулятора получаем:
I = log212 = 3,6 бит
Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов. Какие же это могут быть вопросы?

Слайд 21

Первый вопрос: «Вы родились во второй половине года?»
Варианты ответов: (вариант1) Нет (значит это

могут быть месяцы с 1 по 6),
(вариант 2) Да (значит это могут быть месяцы с 7 по 12).
Второй вопрос: (вариант 1) «Вы родились весной?», (вариант 2) «Вы родились осенью?».
Варианты ответов: (вариант1) Нет (значит остаются месяцы 1, 2, 6),
(вариант 2) Да (значит остаются месяцы 7, 8, 12).
Третий вопрос (вариант 1) «Вы родились зимой?» , (вариант 2) «Вы родились летом?»
Варианты ответов: (вариант1) Нет (остается 6-ой месяц), (вариант 2) Да «Остается 7 или 8 месяц»
Четвертый вопрос: (вариант 1) «Вы родились в июне?», (вариант 2) «Вы родились в августе?»
Ответ: не более 4 вопросов.

Слайд 22

Самостоятельное задания: Нужно таблица степеней(ниже), инженерный калькулятор(wise calculator ). В тетради.
Задача

1.
При игре в кости используется кубик с шестью гранями.
Сколько бит информации получает игрок при каждом бросании кубика.
Задача 2.
В доме 32 квартиры. Среди них имеются:
- трехкомнатные квартиры
- двухкомнатные квартиры
- однокомнатные квартиры
Сообщение о том, что ваш знакомый живет в двухкомнатной квартире содержит 2 бита информации. Сколько в доме двухкомнатных квартир?

Слайд 23

Задача 3.
Какое количество информации получит второй игрок при игре в крестики-нолики

на поле 8х8, после первого хода первого игрока, играющего крестиками?
Задача 4.
В лотерейном барабане 256 шаров. Сколько информации содержит сообщение о первом выпавшем номере?
Задача 5.
Сообщение, записанное буквами из 16 символьного алфавита, содержит 10 символов. Какой объем информации в битах оно несет?

Слайд 24

Лекция 3-Формулы

Содержание

ТребованияФормирование1 ОК-1:Выбирать способы решения задач профессиональной деятельности, применительно к различным контекстам.3

Содержание1. Формула Хартли.2. Формула Шеннона. 3. Примеры.

3. ИЗМЕРЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ. ФОРМУЛА ХАРТЛИ И ШЕННОНА.

Необходимость изучения этой темы “Измерение количества информации. Формула Хартли “ в

Основная проблема изучить какие события являются равновероятными, как найти вероятность события,

Ученые, которые внесли вклад в теорию информации. Ральф Винтон Лайон Хартлисделал вклад

Пусть должно произойти какое-то событие.Обозначим количество равновероятно возможных результатов этого события