Кодирование сообщений в отсутствии шума

Средняя длина кодового слова

длина кодового слова

Теорема Крафта. Если
– длины кодовых слов, соответствующих сообщениям ,

Теорема Шеннона.
При кодировании сообщений
в алфавите насчитывающем m символов, при

ДИСКРЕТНЫЕ КАНАЛЫ С ШУМАМИ

Модель канала связи при наличии шумов

Пропускная способность дискретного канала связи с шумами

{Z}

{Y}

H(Z) – априорная (безусловная) энтропия ансамбля {Z}

энтропия ансамбля {Z}, оставшаяся после

Теоремы о кодировании в присутствие шумов

Теорема 1 (К. Шеннон). Если поток информации создаваемый источником

где может

Теорема 2 (К. Шеннон). Если поток информации создаваемый источником

где ,

Теорема 3 (К. Шеннон). Если поток информации создаваемый источником

где

то

Фундаментальное свойство энтропии дискретных
эргодических источников

Теорема 1. Для любых  ε>0  и δ>0  можно найти такое М0,

Следствие 1. Типичные последовательности приблизительно равновероятны и число их равно

Следствие

Следствие 3. Чтобы экспериментально определить энтропию эргодического источника, у которого вероятностные

Пример 1. Эргодический источник с энтропией (бит) вырабатывает четыре различных символа.

Таким образом, типичные составляют одну тысячную всех возможных последовательностей.

Пример 2. Источник вырабатывает с одинаковой
вероятностью два символа А и

I случай. Пусть

II случай. Пусть