Понятие информации в теории Шеннона

поскольку при п - 1 исход опыта не является случайным и, следовательно, неопределенность отсутствует;
f(n) возрастает с ростом п, поскольку чем больше число воз- можных исходов, тем более затруднительным становится пред- сказание результата опыта.

.
за меру неопределенности опыта с п равновероятными исходами можно принять число log(ri)

равна сред- ней неопределенности всех возможных его исходов.

А(α) — обозначает финалы, вероятные в опыте α.

Опыт α имеет п неравновероятных исходов А1, А2… Ап,

шаров. В первом - 3 белых, 3 черных и 6 красных; во втором - каждого цвета по 4. Опыты состоят в вытаскивании по одному шару из каждого ящика. Что можно сказать относительно неопределенностей исходов этих опытов?
т.е. неопределенность результата в опыте β выше и, следовательно, предсказать его можно с меньшей долей уверенности, чем результат α.

отдельных опытов.
При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.
энтропия равна информации относительно опыта, которая со- держится в нем самом.
энтропия опыта равна той информации, которую получаем в результате его осуществления.

α полностью определяет исход  (как в примере с двумя шарами), т.е.
есть средняя условная энтропия опыта

ящика извлекают последовательно два шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений.
Будем считать опытом α извлечение первого шара. Он имеет два исхода: A1 - вынут белый шар; его вероятность p(A1) = 2/6 = 1/3; исход A2 - вынут черный шар; его вероятность p(A2)=1 - p(A1) = 2/3. Эти данные позволяют  сразу найти H(α):
H(α)= - p(A1)log2 p(A1) - p(A2)log2 p(A2) = -1/3 log21/3 - 2/3 log22/3 = 0,918 бит
Опыт  - извлечение второго шара также имеет два исхода: B1 - вынут белый шар; B2 - вынут черный шар, однако их вероятности будут зависеть от того, каким был исход опыта α. В частности:
Энтропия равна:

массами x1, x2 и x3. Необходимо определить энтропию, связанную с нахождением наиболее тяжелого из них, если сравнивать веса тел можно только попарно.
Последовательность действий достаточно очевидна: сравниваем вес двух любых тел, определяем из них более тяжелое, затем с ним сравниваем вес третьего тела и выбираем наибольший из них. Поскольку внешне тела неразличимы, выбор номеров тел при взвешивании будет случаен, однако общий результат от этого выбора не зависит. Пусть опыт α состоит в сравнении веса двух тел, например, 1-го и 2-го.
Этот опыт, очевидно, может иметь два исхода: A1 - x1>x2 , его вероятность p(A1) = 1/2; исход A2 - x1 < x2 также его вероятность p(A2)=1/2.
H(α) = -1/2 log21/2 - 1/2 log21/2 = 1 бит
Опыт Р - сравнение весов тела, выбранного в опыте а, и 3-го - имеет четыре исхода: В[ - *1 > х3 , В^ - х^ < х3 , Вз - х2 > х3 , В4 - х 2 < х3 ; веро- ятности исходов зависят от реализовавшегося исхода а ;
Следовательно, энтропия сложного опыта, т.е. всей процедуры испы- таний: Н(а лр) = Н(а )+ На (р ) = 2 бит.

и только тогда, когда опыты а и р независимы;
/(a. β) = /(β,a), т.е. информация симметрична относительно последовательности опытов.
Информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе;
Количество информации численно равно числу вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять неопределенность задачи

исходом; убыль связанной с ним энтропии является количественной мерой информации.
В случае равновероятных исходов информация равна лога- рифму отношения числа возможных исходов до и после (получения сообщения);
Сообщения, в которых вероятность появления каждого отдельного знака не меняется со временем, называются шенноновскими, а порождающий их отправитель - шенноновским источником

между N и n? Почему выбран Iog2 ?
Следует заметить, что выбор основания логарифма в данном случае значения не имеет, поскольку в силу известной формулы преобразования логарифма от одного основания к другому.Переход к другому основанию состоит во введении одинакового для обеих частей выражения постоянного множителя log/, а, что равносильно изменению масштаба (т.е. размера единицы) измерения неопределенности. Поскольку это так, имеется возможность выбрать удобное (из каких-то дополнительных соображений) основание логарифма. Таким удобным основанием оказывается 2, поскольку в этом случае за единицу измерения принимается неопределенность, содержащаяся в опыте, имеющем лишь два равновероятных исхода, которые можно обозначить, например, ИСТИНА (True) и ЛОЖЬ (False) и использовать для анализа таких событий аппарат математической логики.