Энтропия как мера степени неопределенности

H(x).
При независимых элементах:

При отсутствии взаимосвязи элементов:

При зависимых элементах с условными вероятностями сначала определяется част­ная условная энтропия, вычисленная по предыдущей формуле, но в предположении зафиксированного предыдущего элемента хj:

Величина H(x) случайная, так как случайным является предшествующий элемент хj. Поэтому для получения полной энтропии источника необходимо произвести усреднение по вероятностям появления предшествующих элементов:

Это формула средней условной энтропии или просто энтропии источника, которая учитывает взаимозависимость элементов в сообщении.

и 15 ноября, характеризуется следующими таблицами вероятностей:

Задача №1

Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь равна 0,65, вероятность, что будет идти снег – 0,15 и вероятность того, что 15 ноября вовсе не будет осадков равна 0,2. В какой из двух перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной: 1) если из всех характеристик погоды интересоваться вопросом о характере осадков; 2) если интересоваться лишь вопросом о наличии осадков.

чем 15 июня.

1) Поэтому энтропии наших двух опытов равны

2) Если интересоваться только тем, будут в рассматриваемый день осадки или нет, то исходы «снег» и «дождь» опыта α2 следует объединить:

Тогда погоду 15 ноября в рассматриваемом пункте следует считать менее неоп­ределенной, чем 15 июня.

двоичного источника информации элементы «0» и «1» появляются с вероятностями соответственно Р и (1-Р). При каком значении Р энтропия источника мак­симальна? Построить график зависимости для двоичного источника.

Найдем значение Р, при котором данная функция принимает максимальное значение. Для этого ищем экстремум функции:

Р =1/2.

т.о.

2) Зная функциональную зависимость получаем следующий график:

каждого источника появляются сообщения одинаковой длины – по 15 элементов. Количество различных элементов в сообщении каждого источника постоянно. Сообщения каждого источника отличаются только порядком следования элементов, а состав сообщений постоянный. Зафиксированы два типичных сообщения: 021202120212021 – первого источника и 012101201101201 – второго. Для какого источника неопределенность появления элементов выше?

Для первого источника:

Для второго источника:

Напомним, что средняя условная энтропия опыта β при условии выполнения опыта α находится по формуле (см. лекции):

шаров из урны, со­держащей m черных и (n-m) белых шаров (α - извлечение первого шара и β - извлечение второго шара). Чему равна энтропия H(α), H(β) и условная энтропия Hα(β)?

Обозначим:
А1 – первый раз извлекли черный шар, А2 – первый раз извлекли белый шар;
В1 – второй раз извлекли черный шар, В2 – второй раз извлекли белый шар;
Если нам известен исход опыта α, то:

определить безусловные вероятности опыта β:

И, наконец, находим:

Теперь, по формуле полной вероятности

Найдем частные условные энтропии опыта β, что:

ракетной установки – опыту А. Вероятности поражения целей ракетами различных установок представляют собой условные вероятности:

Задача №5

Ракеты двух пусковых установок используются для поражения двух целей. Ракета, пущенная с первой установки, поражает цель номер один с вероятностью 0,5, цель но­мер два – с вероятностью 0,3, и дает промах с вероятностью 0,2. Ракета второй устано­вки поражает первую цель вероятностью 0,3, а вторую – с вероятностью 0,5 и вероят­ность промаха 0,2. Вероятность выбора первой установки 0,4. Чему равна неопреде­ленность выбора установки: 1) если известно, что поражена вторая цель; 2) если произошел промах? Какова неопределенность исхода, если пущена любая ракета?

Неопределенность выбора установки при условии, что поражена вторая цель представляет собой энтропию:

Неопределенность выбора установки в случае промаха есть энтропия:

находим:

Неопределенность ситуации, если запущена любая ракета, характеризуется средней условной энтропией:

Поэтому нам необходимо найти условные вероятности pB2(Ai) и pB3(Ai). Для этого определяем элементы матрицы P(B) по формуле полной вероятности:

графом вероятностей перехода.

коррелированы, составляет (энтропия максимальна в случае, если уровни явля­ются равновероятными):
500 ⋅ 650 = 3250000

Задача №7

Определить максимальную энтропию телевизионного изображения, содержащего 500 строк по 650 элементов в строке, при условии, что яркость каждого элемента переда­ется восьмью квантованными уровнями, если: а) уровни не коррелированы; б) статис­тическая связь между различными градациями яркости задана графом

Так как, у нас элементов 500х650, то возможное количество состояний 8500⋅650 изображения , а максимальная энтропия телевизионного изображения равна:

среднюю условную энтропию одного элемента. Для этого, исходя из приведенного графа, составим матрицу условных переходных веро­ятностей:

Теперь находим максимальную среднюю условную энтропию одного элемента изображения:

Отсюда максимальная энтропия телевизионного изображения равна:

Hx2 (y), Hx (y), Hy(x), H(x, y).

2)

№9

Информация передается при помощи частотно-модулированных сигналов, рабочая частота F которых изменяется с равной вероятностью в пределах от F1=10МГц до F2=50МГц. Определить энтропию значения частоты, если точность измерения частоты ΔF=2кГц.

Поэтому энтропия частоты будет определяться:

числом равновероятных исходов.

1В.

Известно, что появление уровней сигнала имеет попарную зависимость, которая представлена матрицей условных вероятностей:

Найти среднюю условную энтропию сигнала Hx(x).

Задача №10

Решение: 
Вероятности уровней находим из графика fx(x). В нашем случае:

где S1 , S2 – основания трапеции, h – высота трапеции.

Так как говорится о точности 1В, то вероятность нахождения в 0-ом состоянии будет равно площади фигуры ограниченной функцией f(x), осью Ox и прямыми х=0 и х=1, то есть:

Так же находим:

Y) = H(Y) + H(X | Y), то можем записать:
H(X) + H(Y | X) = H(Y) + H(X | Y).
Условная энтропия может изменяться: 0 ≤ H(X | Y) ≤ H(X), поэтому значения какие будет принимать H(Y | X) при изменении H(X | Y) можно определить:
H(Y | X) = H(Y) + H(X | Y) - H(X).

Задача №11

Элементы алфавитов X и Y статистически связаны. Известно, что H(X) = 8 бит, H(Y) = 12 бит. В каких пределах меняется условная энтропия H(Y | X) при изменении H(X | Y) в максимально возможных пределах?

При минимальном значении: H(X | Y) = 0: H(Y | X) = 0 + 4 = 4 бит.
При максимальном значении: H(X | Y) = H(X) = 8: H(Y | X) = 8 + 4 = 12 бит.

Напомним некоторые свойства энтропии источников информации.

1) Условная энтропия источника всегда меньше безусловной:

2) Если составной источник состоит из источников информации X и Y, то для случая независимых источников:

а для случая зависимых друг от друга источников:

имеет место равномерное распределение вероятностей углов, а у нас углы изменя­ются от 0 до 360о, то функция распределения вероятности для одного самолета равна f(x) = 1/360. Для равновероятных случайных величин:
Для первого случая:

Задача №12

В результате полной дезорганизации управления самолеты летят произвольными курсами. Управление восстановлено, и все самолеты взяли общий курс со среднеква­дратической ошибкой отклонения от курса σ = 30. Найти изменение энтропии, считая, что в первом случае имело место равномерное распределение вероятностей углов, а во втором случае – нормальное.

Для второго случая считаем по приведенной выше формуле:

Запишем, чему равна приведенная энтропия непрерывной случайной
величины, сигнала или события, подчиняющихся нормальному закону распределения:

Таким образом изменение энтропии составит:

этом неопределенность может быть подсчитана, как logM, где М – число равновероятных состояний.
2) Запишем:

Задача №13

Имеются два дискретных источника информации, заданных следующими таблица­ми вероятностей:

Отсюда следует, что

Добавочные задачи

Определить, какой источник обладает большей неопределенностью в случае, если: а) p1 = p2, q1 = q2 = q3 ; б) p1 = q1 , p2 = q2 + q3 .

что вероятность появления элементов на выходе источ­ника информации с течением времени не изменяется, а приведенная последователь­ность символов – типичная.

А при точности измерения 1мкс случайная величина принимает
(500-100)/0.001=400000 равновероятных значений, а значит ее энтропия:

Решение:
При точности измерения 1мс случайная величина принимает (500-100)/1=400 равновероятных значений, а значит ее энтропия: 

Задача №15

Измерительное устройство регистрирует временные интервалы, распределенные случайным образом в пределах от 100 до 500мс. Как изменится энтропия случайной величины при изменении точности измерения с 1мс до 1мкс?

Значит, энтропия случайной величины увеличится примерно на 10 бит.

1050. Опыт Y – определение вели­чин остатков от деления этого числа на 35. Определить энтропии H(X), H(Y), H(X | Y).

т.к. при делении на 35, остаток от деления может принимать 35 равновероят­ных значений от 0 до 34, а значит:

Решение:
Чтобы найти энтропии H(X), H(Y), строим вероятностные схемы для X и Y.  

Находим:

Для определения H(X | Y) построим матрицу P(X | Y). При построении данной матрицы будем исходить из следующих соображений, если мы имеем остаток от деления на 35 y1 = 0, то этому должны отвечать числа x35 =35, x70 =70,…, x1050 =1050, которые отстоят друг от друга на 35 и количество этих чисел равно 1050/35=30. Так как числа равновероятные, то вероятности их появления при условии, что остаток от деления равен 0, составляет 1/30. Тоже самое относится к значениям Х при условии других остатков от деления. Т.о. получаем:

Т.к. Х может принимать равновероятные значения от 1 до 1050, то получаем: