Энтропия как мера степени неопределенности
Неопределенность выбора элементов хi при создании сообщения удобно характеризовать энтропией источника H(x). При независимых элементах: При отсутствии взаимосвязи элементов: При зависимых элементах с условными вероятностями сначала определяется частная условная энтропия, вычисленная по предыдущей формуле, но в предположении зафиксированного предыдущего элемента хj: Величина H(x) случайная, так как случайным является предшествующий элемент хj. Поэтому для получения полной энтропии источника необходимо произвести усреднение по вероятностям появления предшествующих элементов: Это формула средней условной энтропии или просто энтропии источника, которая учитывает взаимозависимость элементов в сообщении. Решение: Согласно тому, как понимается здесь слово «погода» имела место 15 июля и 15 ноября, характеризуется следующими таблицами вероятностей: Задача №1 Пусть из многолетних наблюдений за погодой известно, что для определенного пункта вероятность того, что 15 июня будет идти дождь, равна 0,4, а вероятность того, что в указанный день дождя не будет, равна 0,6. Пусть далее для этого же пункта вероятность того, что 15 ноября будет идти дождь равна 0,65, вероятность, что будет идти снег – 0,15 и вероятность того, что 15 ноября вовсе не будет осадков равна 0,2. В какой из двух перечисленных дней погоду в рассматриваемом пункте следует считать более неопределенной: 1) если из всех характеристик погоды интересоваться вопросом о характере осадков; 2) если интересоваться лишь вопросом о наличии осадков.