Статистический подход Шеннона

Сентябрь 2, 2022

Главная
Алгебра
Статистический подход Шеннона

Содержание

2. статистический подход Шеннона к измерению количества информации
3. статистический подход Шеннона (исходные позиции к измерению количества информации) определено количество состояний системы (количество возможных сообщений)
4. Понятие энтропии системы
5. Понятие энтропии системы степень неопределенности состояния (сообщения) i системы тем больше, чем меньше его вероятность степень
6. Понятие энтропии системы
7. Понятие энтропии системы
8. Понятие энтропии системы энтропией системы (источника информации) называется сумма произведений вероятностей различных состояний системы на логарифмы
9. Основные свойства энтропии Энтропия всегда положительна, т.к. и логарифмы всегда отрицательны Энтропия обращается в нуль, когда
10. Связь формулы Шеннона и формулы Хартли
11. Связь понятий энтропия и информация естественно количество информации измерять уменьшением энтропии той системы, для уточнения состояния
12. Связь понятий энтропия и информация количество информации, приобретаемое при полном выяснении состояния некоторой системы равно энтропии
13. Единицы измерения количества информации бит binary unit binary digit двоичная единица или бит, есть единица измерения
14. Единицы измерения количества информации трит дит нат
15. Определение количества информации в сообщении частная или собственная информация X xi средняя или полная информация Ix
16. Свойства частной информации Частная информация неотрицательна Частная информация, получаемая от сообщения xi тем больше, чем меньше
17. частная и полная (средняя)информация
18. частная и полная (средняя)информация Если все состояния системы равновероятны, то частная информация от каждого отдельного сообщения
19. ВОПРОС ЗАКОНЧЕН
20. семантический подход к измерению количества информации Тезаурусная мера Ю.А. Шрейдер Тезаурус ? Под тезаурусом (от греческого
21. Ic T Ic T семантический подход к измерению количества информации
22. Ic макс Ic T Ic макс Ic T семантический подход к измерению количества информации
23. Р. Карнапом и Бар–Хиллелом разработан подход к определению количество семантической информации на основе изменения логической вероятности.
25. Скачать презентацию

Слайд 2

статистический подход Шеннона к измерению количества информации

Слайд 3

статистический подход Шеннона (исходные позиции к измерению количества информации)
определено количество состояний

системы (количество возможных сообщений)
для каждого сообщения определена вероятность его появления
система описана как дискретная или непрерывная случайная величина

Слайд 4

Понятие энтропии системы

Слайд 5

Понятие энтропии системы
степень неопределенности состояния (сообщения) i системы тем больше, чем

меньше его вероятность
степень неопределенности состояния i системы равна нулю, если его вероятность равна 1 (система может принимать только одно состояние, значит она полностью определена)

;

Слайд 6

Понятие энтропии системы

Слайд 7

Понятие энтропии системы

Слайд 8

Понятие энтропии системы
энтропией системы
(источника информации)
называется сумма произведений вероятностей различных состояний

системы на логарифмы их вероятностей, взятая со знаком минус

Слайд 9

Основные свойства энтропии
Энтропия всегда положительна, т.к.
и логарифмы всегда отрицательны
Энтропия обращается

в нуль, когда одно из состояний системы достоверно, а другие—невозможны
При увеличении числа состояний системы энтропия увеличивается
При заданном числе состояний энтропия обращается в максимум, когда эти состояния равновероятны
Энтропия обладает свойством аддитивности

Слайд 10

Связь формулы Шеннона и формулы Хартли

Слайд 11

Связь понятий энтропия и информация
естественно количество информации измерять уменьшением энтропии той

системы, для уточнения состояния которой предназначены сведения
X
H(X)

Слайд 12

Связь понятий энтропия и информация
количество информации, приобретаемое при полном выяснении состояния

некоторой системы равно энтропии этой системы

Слайд 13

Единицы измерения количества информации
бит binary unit binary digit
двоичная единица или

бит, есть единица измерения степени неопределенности, представляющая неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода

Слайд 14

Единицы измерения количества информации
трит
дит
нат

Слайд 15

Определение количества информации в сообщении
частная или собственная информация
X xi
средняя

или полная информация Ix представляется как математическое ожидание (среднее) случайной величины,
i-e значение которой есть собственная информация, получаемая от сообщения xi

Слайд 16

Свойства частной информации
Частная информация неотрицательна
Частная информация, получаемая от сообщения xi

тем больше, чем меньше априорная вероятность pi получения этого сообщения

Если сообщение имеет вероятность, равную единице, то информация, содержащаяся в нем, равна нулю

Частная информация обладает свойством аддитивности

Слайд 17

частная и полная (средняя)информация

Слайд 18

частная и полная (средняя)информация
Если все состояния системы равновероятны, то частная информация

от каждого отдельного сообщения равна средней (полной) информации о состоянии системы Ix
Если же система может принимает свои состояния с различными вероятностями, то информации от разных сообщений не одинаковы: наибольшую информацию несут сообщения о тех событиях, которые априори были наименее вероятны

Слайд 19

ВОПРОС ЗАКОНЧЕН

Слайд 20

семантический подход к измерению количества информации
Тезаурусная мера
Ю.А. Шрейдер
Тезаурус ?
Под тезаурусом

(от греческого сокровище) понимается некий обобщенный справочник, определяющий уровень знаний получателя сообщений. Такой справочник включает не только описание понятий, но и связи между ними и т.д.

Слайд 21

Ic
T
Ic
T
семантический подход к измерению количества информации

Слайд 22

Ic макс
Ic
T
Ic макс
Ic
T
семантический подход к измерению количества информации

Слайд 23

Р. Карнапом и Бар–Хиллелом разработан подход к определению количество семантической информации

на основе изменения логической вероятности.
Под логической вероятностью понимается степень подтверждения той или иной гипотезы

семантический подход к измерению количества информации

Статистический подход Шеннона

Содержание

статистический подход Шеннона к измерению количества информации

статистический подход Шеннона (исходные позиции к измерению количества информации)определено количество состояний

Понятие энтропии системы

Понятие энтропии системыстепень неопределенности состояния (сообщения) i системы тем больше, чем

Понятие энтропии системы

Понятие энтропии системы

Понятие энтропии системы энтропией системы(источника информации)называется сумма произведений вероятностей различных состояний

Основные свойства энтропииЭнтропия всегда положительна, т.к. и логарифмы всегда отрицательныЭнтропия обращается

Связь формулы Шеннона и формулы Хартли

Связь понятий энтропия и информацияестественно количество информации измерять уменьшением энтропии той

Связь понятий энтропия и информацияколичество информации, приобретаемое при полном выяснении состояния

Единицы измерения количества информациибит binary unit binary digit двоичная единица или

Единицы измерения количества информациитрит дит нат

Определение количества информации в сообщениичастная или собственная информация X xi средняя

Свойства частной информацииЧастная информация неотрицательна Частная информация, получаемая от сообщения xi

частная и полная (средняя)информация

частная и полная (средняя)информацияЕсли все состояния системы равновероятны, то частная информация

ВОПРОС ЗАКОНЧЕН

семантический подход к измерению количества информацииТезаурусная мера Ю.А. ШрейдерТезаурус ?Под тезаурусом

Ic TIc Tсемантический подход к измерению количества информации

Ic максIc TIc максIc Tсемантический подход к измерению количества информации

Р. Карнапом и Бар–Хиллелом разработан подход к определению количество семантической информации

Похожие презентации

статистический подход Шеннона (исходные позиции к измерению количества информации)
определено количество состояний

Понятие энтропии системы
степень неопределенности состояния (сообщения) i системы тем больше, чем

Понятие энтропии системы
энтропией системы
(источника информации)
называется сумма произведений вероятностей различных состояний

Основные свойства энтропии
Энтропия всегда положительна, т.к.
и логарифмы всегда отрицательны
Энтропия обращается

Связь понятий энтропия и информация
естественно количество информации измерять уменьшением энтропии той

Связь понятий энтропия и информация
количество информации, приобретаемое при полном выяснении состояния

Единицы измерения количества информации
бит binary unit binary digit
двоичная единица или

Единицы измерения количества информации
трит
дит
нат

Определение количества информации в сообщении
частная или собственная информация
X xi
средняя

Свойства частной информации
Частная информация неотрицательна
Частная информация, получаемая от сообщения xi

частная и полная (средняя)информация
Если все состояния системы равновероятны, то частная информация

семантический подход к измерению количества информации
Тезаурусная мера
Ю.А. Шрейдер
Тезаурус ?
Под тезаурусом

Ic
T
Ic
T
семантический подход к измерению количества информации

Ic макс
Ic
T
Ic макс
Ic
T
семантический подход к измерению количества информации