Количественная мера информации (лекция № 5)

свойства.
Взаимная информация и ее свойства.

СПИСОК ЛИТЕРАТУРЫ
Основная:
Теория электрической связи: Учеб. Для вузов / А.Г. Зюко, Д. Д. Кловский, В.И. Коржик, М. В. Назаров; Под ред. Д. Д. Кловского. – М.: Радио и связь, 1998. – 433 с.
Дополнительная:
Прокис Дж. Цифровая связь: Пер. с англ. / Под ред. Д.Д. Кловского. – М.: Радио и связь, 2000. – 800 с.
Бернард Скляр. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1104 с.
Сухоруков А.С. Теория электрической связи: Конспект лекций. Часть 1. – М.:МТУСИ, ЦЕНТР ДО, 2002. – 65 с.

выводы:

из всех видов возможных распределений вероятностей случайных процессов, у которых дисперсия является фиксированной величиной, наибольшее значение дифференциальной энтропии имеет гауссовское распределение;
условная энтропия представляет собой количество информации, которое теряется из-за помех и не поступает получателю и она всегда положительна;
взаимная информация представляет собой разность между количеством информации на входе канала связи, равной энтропии источника и количеством потерянной информации, которая равна условной энтропии .

Д.Д. Кловского. – М.: Радио и связь, 2000. – 800 с.
Бернард Скляр. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1104 с.
Сухоруков А.С. Теория электрической связи: Конспект лекций. Часть 1. – М.:МТУСИ, ЦЕНТР ДО, 2002. – 65 с.
Сухоруков А.С. Теория цифровой связи: Учебное пособие. Часть 2. – М.:МТУСИ, 2008. – 53 с.
Аджемов А.С. Мир информационной реальности. – М.: ИРИАС, 2006. – 296 с.
Каганов В.И., Битюков В.К. Основы радиоэлектроники и связи: Учеб. пособие для вузов. – М.: Горячая линия-Телеком, 2007. – 542 с.
Стеценко О.А. Радиотехнические цепи и сигналы: Учебник. – М.: Высш. шк., 2007. – 432 с.
Санников В.Г. Сборник задач по курсу «Теория электрической связи»: Учеб. пособие. Часть 1. – М.: МТУСИ, 1992. – 62 с.
Санников В.Г. Сборник задач по курсу «Теория электрической связи»: Учеб. пособие. Часть 2. – М.: МТУСИ, 2001. – 65 с.
Санников В.Г. Дифференциальная импульсно-кодовая модуляция: Учеб. пособие. – М.: МТУСИ, 2006. – 56 с.