Количественные информационные характеристики дискретных источников сообщений и каналов

Август 5, 2022

Главная
Информатика
Количественные информационные характеристики дискретных источников сообщений и каналов

Содержание

2. Классификации подходов к оценке количества информации Синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей
3. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Виды источников информации: дискретный; комбинаторный; вероятностный;
4. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Требования к вводимой мере оценки количества
5. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Комбинаторный подход к оценке количества информации
6. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Вероятностный подход к оценке количества информации
7. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Вероятностный подход к оценке количества информации
8. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Свойства энтропии 1) Энтропия всякого дискретного
9. Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации Алгоритмический подход к оценке количества информации
10. Избыточность источника дискретных сообщений Максимальную энтропию имеет источник, все сообщения которого передаются равновероятно и независимо. Невыполнение
11. Количественные информационные оценки дискретных источников с памятью Источник сообщения обладает памятью, если между элементами сообщения одного
12. Количественные информационные оценки дискретных источников с памятью. Условная и взаимная информация Пусть {XY, p(xi,yj)} – два
13. Количественные информационные оценки дискретных источников с памятью. Совместная и условная энтропия Для характеристики всего ансамбля принято
14. Количественные информационные оценки дискретных источников с памятью. Средняя взаимная информация Математическое ожидание случайной величины i(xi;yj) -
15. Количественные информационные оценки дискретных источников с памятью. Оценка информативности источников с памятью Пример. Энтропия двоичного источника
16. Производительность источника дискретных сообщений Производительность источника H'(X) - суммарная энтропия сообщений, переданных за единицу времени (бит/сек)
18. Скачать презентацию

Слайд 2

Классификации подходов к оценке количества информации
Синтаксическая мера количества информации оперирует с

обезличенной информацией, не выражающей смыслового отношения к объекту (учитываются скорость передачи, размеры кодов представления информации).
Семантическая мера информации используется для измерения смыслового содержания информации. Связана с понятием тезауруса.
Прагматическая мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи.

Слайд 3

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Виды источников

информации:
дискретный;
комбинаторный;
вероятностный;
марковский;
бернуллиевский.

Дискретный ансамбль:

Слайд 4

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Требования к

вводимой мере оценки количества информации:
1) Чем больше число возможных сообщений (возможных значений сигнала), тем больше априорная неопределенность и тем большее количество информации получает адресат, когда эта неопределенность снимается. Если же выбор сообщения заранее предопределен, то количество информации в этом сообщении равно нулю.
2) Вводимая мера должна обладать свойством аддитивности, в соответствии с которым неопределенность объединенного источника равна сумме неопределенностей исходных источников.

Слайд 5

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Комбинаторный подход

к оценке количества информации (Р.Хартли, 1928г.).
Степень неопределенности опыта X с N различными исходами характеризуется числом
H(X) = log N.
Не учитываются вероятности различных исходов.

Слайд 6

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Вероятностный подход

к оценке количества информации (К.Шеннон, 1949г.).
Степень неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния.
Количество информации, содержащееся в одном элементарном дискретном сообщении xk целесообразно определить как функцию вероятности появления этого сообщения p(xk) и характеризовать величиной
Величина i(xk) называется количеством собственной информации в сообщении xk∈X.

Слайд 7

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Вероятностный подход

к оценке количества информации (К.Шеннон, 1949г.).
Для цифровой характеристики всего ансамбля или источника сообщений используется математическое ожидание количества информации в отдельных сообщениях, называемое энтропией:
Энтропия представляет собой среднее количество собственной информации в сообщениях дискретного источника без памяти.

Слайд 8

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Свойства энтропии
1)

Энтропия всякого дискретного ансамбля неотрицательна H(X)≥0.
2) Пусть N – число сообщений в ансамбле. Тогда H(X) ≤ log N.
3) Энтропия обладает свойством аддитивности.

Энтропия двоичного источника без памяти:

Энтропия троичного источника без памяти:

Слайд 9

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Алгоритмический подход

к оценке количества информации (А.Н.Колмогоров, 1965г.).
Энтропия H(X, Y) ("колмогоровская сложность" объекта Y при заданном X) есть мнимая длина, записанная в виде последовательности нулей и единиц, программы, которая позволяет построить объект Y, имея в своем распоряжении объект X.
Колмогоровская сложность обычно невычислима.

Слайд 10

Избыточность источника дискретных сообщений
Максимальную энтропию имеет источник, все сообщения которого передаются

равновероятно и независимо.
Невыполнение этих требований приводит к уменьшению энтропии и появлению избыточности источника.
Понятие избыточности источника сообщений связано с мощностью алфавита источника и его энтропией:
При χ=0 источник называют источником без избыточности

Слайд 11

Количественные информационные оценки дискретных источников с памятью
Источник сообщения обладает памятью, если

между элементами сообщения одного или нескольких источников имеется детерминированная или статистическая связь.
Сообщения, вырабатываемые таким источником – сложные сообщения.
При определении количества информации в таких сообщения необходимо учитывать условные вероятности появления элементарных сообщений.

Слайд 12

Количественные информационные оценки дискретных источников с памятью. Условная и взаимная информация
Пусть

{XY, p(xi,yj)} – два совместно заданных ансамбля {X, p(xi)} и {Y, p(yj)}.
Зафиксируем некоторое сообщение yj и рассмотрим условное распределение на X.
Апостериорная вероятность p(xi|yj) - неопределенность, остающаяся о сообщении xi после того, как было принято сообщение yj.
Условная собственная информация:
Совместная информация пары событий:
Взаимная информация пары событий:

Слайд 13

Количественные информационные оценки дискретных источников с памятью. Совместная и условная энтропия
Для

характеристики всего ансамбля принято использовать математические ожидания случайных величин.
Энтропия (совместная энтропия) ансамбля XY:
Сумма в скобках - условная энтропия источника X относительно источника Y, обозначается как H(X | Y).
H(X, Y) = H(Y) + H(X | Y) или H(X, Y) = H(X) + H(Y | X)

Слайд 14

Количественные информационные оценки дискретных источников с памятью. Средняя взаимная информация
Математическое ожидание

случайной величины i(xi;yj) - средняя взаимная информация между источниками X и Y:
можно записать:
I(X; Y) = H(X) – H(X | Y) = H(Y) – H(Y | X)

Слайд 15

Количественные информационные оценки дискретных источников с памятью. Оценка информативности источников с

памятью

Пример. Энтропия двоичного источника с памятью. Дан двоичный (двухсимвольный) Марковский источник, определенный вероятностями переходов состояний p(0|1)=0,45 и p(1|0)=0,05. Найти энтропию источника с памятью.
Энтропия источника:
где:
Априорная вероятность каждого состояния находится либо итерационным перемножением матрицы переходов, либо с помощью системы линейных уравнений:
Решая ее, находим p(0)=0,9 и p(1)=0,1.
Энтропия источника без памяти H(X) = -(p(0)*log p(0) + p(1) * log p(1)) = 0,469 бит/символ.
Энтропия источника с памятью:

Слайд 16

Производительность источника дискретных сообщений
Производительность источника H'(X) - суммарная энтропия сообщений, переданных

за единицу времени (бит/сек)
Аналогично для условной энтропии и количества информации в единицу времени
Если X – ансамбль сигналов на входу дискретного канала, а Y – ансамбль сигналов на его выходе, то скорость передачи информации по каналу

Количественные информационные характеристики дискретных источников сообщений и каналов

Содержание

Классификации подходов к оценке количества информацииСинтаксическая мера количества информации оперирует с

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииВиды источников

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииТребования к

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииКомбинаторный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииВероятностный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииВероятностный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииСвойства энтропии1)

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информацииАлгоритмический подход

Избыточность источника дискретных сообщенийМаксимальную энтропию имеет источник, все сообщения которого передаются

Количественные информационные оценки дискретных источников с памятьюИсточник сообщения обладает памятью, если

Количественные информационные оценки дискретных источников с памятью. Условная и взаимная информацияПусть

Количественные информационные оценки дискретных источников с памятью. Совместная и условная энтропияДля

Количественные информационные оценки дискретных источников с памятью. Средняя взаимная информацияМатематическое ожидание

Количественные информационные оценки дискретных источников с памятью. Оценка информативности источников с

Производительность источника дискретных сообщенийПроизводительность источника H'(X) - суммарная энтропия сообщений, переданных

Похожие презентации

Классификации подходов к оценке количества информации
Синтаксическая мера количества информации оперирует с

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Виды источников

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Требования к

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Комбинаторный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Вероятностный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Вероятностный подход

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Свойства энтропии
1)

Количество информации в дискретном сообщении. Синтаксические меры оценки количества информации
Алгоритмический подход

Избыточность источника дискретных сообщений
Максимальную энтропию имеет источник, все сообщения которого передаются

Количественные информационные оценки дискретных источников с памятью
Источник сообщения обладает памятью, если

Количественные информационные оценки дискретных источников с памятью. Условная и взаимная информация
Пусть

Количественные информационные оценки дискретных источников с памятью. Совместная и условная энтропия
Для

Количественные информационные оценки дискретных источников с памятью. Средняя взаимная информация
Математическое ожидание

Производительность источника дискретных сообщений
Производительность источника H'(X) - суммарная энтропия сообщений, переданных