Принцип разделения источника и канала. Проверка формулы Шеннона

Сентябрь 14, 2022

Главная
Математика
Принцип разделения источника и канала. Проверка формулы Шеннона

Содержание

2. Дискретный источник Дискретный источник характеризуется с помощью случайной переменной X, при этом задается алфавит A(возможные исходы)
3. Вычисление неопределенности события вероятность события x 1 0 0 ∞ примечания должно произойти (нет неопределнности) навряд
4. Взвешенная информация простого события 0 1 0 ∞ 1/2 1 0 0 1/2 При возрастании p
5. p=1/e Максимум взвешенной информации
6. Формула Шеннона для энтропии источника H(X) – разумная мера ожидаемого количества информации
7. Пример (бернуллиевский источник) Бросание монеты с вероятностью выпадания орла p (0 Крайние случаи: При p стремящемся
8. Энтропия бернуллиевского источника
9. Некоторые свойства H(X) Неотрицательная Максимум достигается при равномерном распределении
10. Какая польза от H(X)? Первая теорема Шеннона (Шеннона-Хартли) Для дискретного источника без памяти X, его энтропия
11. Избыточность кода источника Теоретическая граница Практическое значение
12. Проверка формулы Шеннона. Игра в числа
13. Проверка формулы Шеннона. Игра в «Морской бой» (упрощенная)
14. Лотерея с «неправильной» монетой Номера билетов: 0000…………….00 0000…………….01 0000…………….10 ……………………. 1111…………….11 Стоимость билетов – 100 руб.
16. Скачать презентацию

Слайд 2

Дискретный источник
Дискретный источник характеризуется с помощью случайной переменной X, при этом

задается алфавит A(возможные исходы) и вероятностное распределение P символов алфавита
Примеры
Бросание монеты: P(X=О)=P(X=Р)=1/2
Бросание кубика: P(X=k)=1/6, k=1,2,3,4,5,6
Раздача карт: P(X=П)=P(X=Ч)=P(X=Т)=P(X=Б)=1/4

Слайд 3

Вычисление неопределенности события
вероятность события x
1
0
0
∞
примечания
должно произойти
(нет неопределнности)
навряд ли произойдет
(бесконечное

количество неопределенности)

Информация простого события

h(p)- разумная мера количества информации

Слайд 4

Взвешенная информация простого события
0
1
0
∞
1/2
1
0
0
1/2
При возрастании p от 0 до 1, взвешенная

информация

Сначала возрастает, а затем убывает

Слайд 5

p=1/e
Максимум взвешенной информации

Слайд 6

Формула Шеннона для энтропии источника
H(X) – разумная мера ожидаемого количества информации

Слайд 7

Пример (бернуллиевский источник)
Бросание монеты с вероятностью выпадания орла p (0
Крайние случаи:
При

p стремящемся к нулю, H(X) стремится к 0 бит → наибольшее сжатие

При p стремящемся к половине, H(X) стремится к 1 бит → никакое сжатие не поможет

Слайд 8

Энтропия бернуллиевского источника

Слайд 9

Некоторые свойства H(X)
Неотрицательная
Максимум достигается при равномерном распределении

Слайд 10

Какая польза от H(X)?
Первая теорема Шеннона (Шеннона-Хартли)
Для дискретного источника без памяти

X, его
энтропия H(X) определяет минимальную среднюю
длину кода, необходимую для кодирования
источника

Грубая оценка: результаты N исходов источника могут быть сжаты до NH(X) бит

Слайд 11

Избыточность кода источника
Теоретическая граница
Практическое значение

Слайд 12

Проверка формулы Шеннона. Игра в числа

Слайд 13

Проверка формулы Шеннона.
Игра в «Морской бой» (упрощенная)

Слайд 14

Лотерея с «неправильной» монетой
Номера билетов:
0000…………….00
0000…………….01
0000…………….10
…………………….
1111…………….11
Стоимость билетов –
100 руб.
Выигрышный номер определяется

подбрасыванием N=1000 раз «неправильной» монеты: p(x=орел)=0,1; p(x=решка)=0,9
Выигрыш – 100 000 000 000руб.

Вопрос 1. Если Вам нужно выбрать только один билет, который из номеров Вы выберете?

Вопрос 2. Чтобы гарантировать 99% успеха, сколько билетов надо купить и какие из билетов?