Мера информации в системе

Август 8, 2022

Главная
Информатика
Мера информации в системе

Содержание

2. Информация - приращение, развитие, актуализация знаний, возникающее в процессе целеполагающей интеллектуальной деятельности человека. Актуализация – действие,
3. Основные понятия Количество информации – это числовая величина, адекватно характеризующая актуализируюмую информацию по разнообразию, сложности, структурируемости
4. Мера Р. Хартли Пусть имеется N состояний системы S или N опытов с различными, равновозможными последовательными
5. Мера Р. Хартли - в эспоненциальной системе k=1, H=lnN (нат) в двоичной системе k=1/ln2 H=log2N (бит)
6. Пример Определить положение точки в системе из двух клеток. Для этого нужно задать 1 вопрос –
7. Утверждение Р. Хартли Если в некоторм множестве X={x1,x2,…,xn} необходимо найти некоторый элемент xi, то для того,
8. Пример Имеется 12 монеты. Одна из них фальшивая более легкого веса). Определить, сколько взвешиваний нужно произвести,
9. Решение Если положить на вемы равное количество монет, то получим три возможных варианта: левая чаша ниже,
10. Выводы Формула Р.Хартли отвлечена от семантических и качественных, индивидуальных свойств системы (качества информации в проявлениях системы
11. Мера К.Шеннона Формулв Шеннона дает оценку информации независимо, отвлеченно от ее смысла n – число состояний
12. К.Шеноном доказана теорема о единственности меры количества информации. Для случая равномерного закона распределения плотности вероятности марв
13. Если выбор i-го варианта предопределен заранее (т.е. выбра нет, pi=1) , то I=0. Сообщение о наступлении
14. Пример Если положение точки в системе известно, например она в k-ой клетке, т.е. все pi=0 и
15. Пример Сколько бит информации несет в себе произвольное двузначное число со всеми значащими цифрами. Т.к. таких
16. Если в формуле Шеннона обозначить fi=-nlog2pi, то получим, что I можно понимать как среднеарифметическое величин fi.
17. Пример Пусть рассматривается алфавит из двух символов русского языка - "к" и "а". Относительные частоты встречаемости
18. Пример В сообщении 4 буквы "a", 2 буквы "б", 1 буква "и", 6 букв "р". Определим
19. Энтропия (мера хаоса) Если в формуле k - коэффициент Больцмана, известный в физике как k=1.38×10-16 эрг/град,
20. При переходе от состояния S1 с информацией I1 к состоянию S2 с информацией I2 возможны случаи:
21. Преимущества и недостатки формулы Шеннона Преимущества: Отвлеченность от семантических и качественных, индивидуальных свойств системы. В отличие
22. Теория Шеннона разработана как теория передачи данных по каналам связи, а мера Шеннона - мера количества
23. Термодинамическая мера Информационно-термодинамический подход связывает величину энтропии систе-мы с недостатком информации о внутренней структуре системы (не
24. Пусть дана термодинамическая система (процесс) S, а Н0, Н1 – термодинамические энтропии системы S в началь-ном
25. Энергоинформационная (квантово-механическая) мера Энергия (ресурс) и информация (структура) - две фундаменталь-ные характеристики систем реального мира, связывающие
26. Другие меры информации мера, базирующаяся на понятии цели (А. Харкевич и другие); мера, базирующаяся на понятии
27. Тестовый вопрос 1 Вариант1 Какое определение – правильное количество информации – числовая характеристика порядка в системе
28. Тестовый вопрос 2 Вариант 1 Уменьшение количества инфор-мации в системе (по Шеннону) говорит: об уменьшении энтропии
29. Тестовый вопрос 3 Вариант 1 Верно утверждение: нулевой энтропии соответствует минимальная информация максимальной энтропии соответствует минимальная
30. Тестовый вопрос 4 Вариант 1 Верно утверждение: с ростом информации о системе растет энтропия системы с
32. Скачать презентацию

Слайд 2

Информация - приращение, развитие, актуализация знаний, возникающее в процессе целеполагающей интеллектуальной

деятельности человека.
Актуализация – действие, которое заклю-чается в извлечении усвоенного материала из долгговременной или кратковременной памяти с целью последующего использования его при узнавании, припоми-нании, воспоминании или непосредственном воспроизведении

Слайд 3

Основные понятия
Количество информации – это числовая величина, адекватно характеризующая актуализируюмую информацию

по разнообразию, сложности, структурируемости (упорядоченности), определенности, выбору состояний отображаемой системы.
Мера – непрерфвная действительная неотрицательная функция определенная на множестве событий и являющаяся аддитивной.
Меры могут быть статическими и динамическими, в зависимости от того, какую информацию они позволяют оценить: статическую (не актуализированную, оцениваются сообщения без учета ресурсов и формы актуализации) и динамическую актуализированную, т.е. оцениваются и затраты ресурсов для ее актуализации)

Слайд 4

Мера Р. Хартли
Пусть имеется N состояний системы S или N опытов

с различными, равновозможными последовательными состояниями системы.
Если каждое состояние системы закодировать, например двоичными кодоми определенноя длины d, то эту длину необходимо выбрать так, чтобы число всех возможных комбинаций было не меньше чем N.
Наименьшее число при котором это возможно называют мерой разнообразия множества состояний системы и задается формулой Р.Хартли
H=k logaN,
Где k – коэффициент пропорциональнсти масштабирования, в зависимости от выбранной единицы измерения меры),
а – основаниен системы меры.

Слайд 5

Мера Р. Хартли
- в эспоненциальной системе k=1, H=lnN (нат)
в двоичной

системе k=1/ln2 H=log2N (бит)
в десятичной системе k=1/ln10 H=lgN (дит)

Слайд 6

Пример
Определить положение точки в системе из двух клеток. Для этого нужно

задать 1 вопрос – «Левая клетка или правая?». Узнав положение точки мы увеличиваем информацию о системе на 1 бит I=log22.
Для системы из четырех клеток необходимо задать два вопроса. Информация равна 2 битам I=log24.
Если система имеет N возможных состояний, то максимальное количество информации определяется по формуле I=log2N

Слайд 7

Утверждение Р. Хартли
Если в некоторм множестве X={x1,x2,…,xn} необходимо найти некоторый элемент

xi, то для того, чтобы ыделить его необходимо получить не менее I=logan единиц информации.
Если N – число возможных равновероятных исходов, то число klnN – мера нашего незнания о системе.
Для того, чтобы мера информации имела практическую ценность, она должна быть такова, чтобы отражать количество информации пропорционально числу выборов.

Слайд 8

Пример
Имеется 12 монеты. Одна из них фальшивая более легкого веса). Определить,

сколько взвешиваний нужно произвести, чтобы выявить ее.

Слайд 9

Решение
Если положить на вемы равное количество монет, то получим три возможных

варианта: левая чаша ниже, правая чаша ниже, чаши уравновешены. Т.о. каждое взвешивание дает количество информации I=log23. Следовательно, для определения фальшивой монеты нужно сдклать не менее k взвешиваний, где kудовлетворяет неравенству Log23k >=Log2192.
Отсюда, k>=5, т.е. k=4 или 5, если считать последнее очевидное взвешивание

Слайд 10

Выводы
Формула Р.Хартли отвлечена от семантических и качественных, индивидуальных свойств системы (качества

информации в проявлениях системы с помощбю рассматриваемых N состояний системы). Это основная и положительная сторона формулы.
Отрицательная сторона – формула не учитывет различимость и различность рассматриваемых N состояний системы.
Уменьшение (увеличение) H может свидетельствовать об уменьшении (уменьшении) увеличении разнообразия состояний N системы. Обратное, как следует из формулы Р.Хартли, так жк верно.

Слайд 11

Мера К.Шеннона
Формулв Шеннона дает оценку информации независимо, отвлеченно от ее смысла
n

– число состояний системы
pi -вероятность перехода системы в состояние i. Причем, сумма всех pi равна 1.
Если все состояния равновероятны, т.е. pi =1/n, то I=log2n

Слайд 12

К.Шеноном доказана теорема о единственности меры количества информации.
Для случая равномерного

закона распределения плотности вероятности марв Шеннона совпадает с мерой Хартли.
В общем случае

Слайд 13

Если выбор i-го варианта предопределен заранее (т.е. выбра нет, pi=1) ,

то I=0.
Сообщение о наступлении события с меньшей вероятностью несет в себе больше информации, чем сообщение о наступлении события с меньшей вероятностью. Сооющение о наступлении достоверного события несет в себе нулевую информацию (событие все равно произойдет).

Слайд 14

Пример
Если положение точки в системе известно, например она в k-ой клетке,

т.е. все pi=0 и только одно pk=1, то I=log21=0. Мы здесь новой информации не получаем.

Слайд 15

Пример
Сколько бит информации несет в себе произвольное двузначное число со всеми

значащими цифрами.
Т.к. таких цифр может быть 90(10-99), то информации будет количество то I=log290, приблизительно 6,5.
Т.к. в таких цифрах значащая первая цифра имеет 9 значений, а вторая 10, то I=log290=log29+log210

Слайд 16

Если в формуле Шеннона
обозначить fi=-nlog2pi, то получим, что I можно

понимать как среднеарифметическое величин fi.
Отсюда, fi можно интерпретировать как информационное содержание символа алфавита с индексом i и величиной pi вероятности появления этого символа в сообщении, передающем информацию

Слайд 17

Пример
Пусть рассматривается алфавит из двух символов русского языка - "к" и

"а". Относительные частоты встречаемости этих букв в частотном словаре русского языка равны соответственно p1=0.028, p2=0.062. Возьмем произвольное слово p длины N из k букв "к" и m букв "а«, (k+m=N), над этим алфавитом. Число всех та-ких возможных слов, как это следует из комбинаторики, равно n=N!/(k!-m!). Оценим количество информации в таком слове:
I=log2n=ln(n)/ln2=log2e[ln(N!)-ln(k!)-ln(m!)].
Используя известную формулу Стирлинга и ее следствие (эта формула достаточно точна при больших N, например, при N>100) lnN!≈N(lnN-1),
получаем оценку количества информации (в битах) на 1 символ любого слова:
I1=I/N≈(log2e/N)[(k+m)(lnN -1) - k(ln(k)-1) - m(ln(m)-1)]=
=(log2e/N)[k ln(N/k) - m ln(N/m)]=- log2e[(k/N) ln(k/N) + (m/N) ln(m/N)]-log2e[p1ln(p1)+p2(ln( p2 )]=
=-log2e[0,028 ln0,028+0,062 ln0,062]≈ 0,235.

Слайд 18

Пример
В сообщении 4 буквы "a", 2 буквы "б", 1 буква "и",

6 букв "р".
Определим количество информации в одном таком (из всех возможных) сообщений.
Число N различных сообщений длиной 13 букв будет равно величине: N=13!/(4!×2!×1!×6!)=180180.
Количество информации I в одном сообщении будет равно величине:
I=log2(N)=log2180180≈18 (бит).

Слайд 19

Энтропия (мера хаоса)
Если в формуле k - коэффициент Больцмана, известный

в
физике как k=1.38×10-16 эрг/град, то это выражение в термодинамике известно как энтропия, или мера хаоса, беспорядка в системе.
Сравнивая выражения I и S, видим, что I можно понимать как информационную энтропию (энтропию из-за нехватки информации о системе).
Л. Больцман дал статистическое определение энтропии в 1877 г. и заметил, что энтропия характеризует недостающую информацию. Спустя 70 лет, К. Шен- нон сформулировал постулаты теории информации, а затем было замечено, что формула Больцмана инвариантна информационной энтропии, и была выявле-на их системная связь, системность этих фундаментальных понятий.
Важно отметить следующее:
- Нулевой энтропии соответствует максимальная информация.
Основное соотношение между энтропией и информацией
I+S(log2e)/k=const,

Слайд 20

При переходе от состояния S1 с информацией I1 к состоянию S2

с информацией I2 возможны случаи:
1. S1 < S2 (I1 >I2) - уничтожение (уменьшение) старой информации в системе;
2. S1 = S2 (I1 = I2) - сохранение информации в системе;
3. S1 > S2 (I1 < I2) - рождение новой (увеличение) информации в системе.

Слайд 21

Преимущества и недостатки формулы Шеннона
Преимущества:
Отвлеченность от семантических и качественных, индивидуальных свойств

системы.
В отличие от формулы Хартли, учитывает различность, разноверо-ятность состояний - формула имеет статистический характер (учитывает структуру сообщений), делающий эту формулу
удобной для практических вычислений.
Недостатки:
1. Не различает состояния (с одинаковой вероятностью
достижения),
2. Не может оценивать состояния сложных и открытых систем и примени-ма лишь для замкнутых систем, отвлекаясь от смысла информации.

Слайд 22

Теория Шеннона разработана как теория передачи данных по каналам связи,

а мера Шеннона - мера количества данных и не отражает семантичес-кого смысла.
Увеличение (уменьшение) меры Шеннона свидетельствует об уменьшении (увеличении) энтропии (организованности) системы. При этом энтропия может являться мерой дезорганизации систем от полного хаоса (S=Smax) и полной информационной неопределенности (I=Imin) до полного порядка (S=Smin) и полной информационной
определённости (I=Imax) в системе.

Слайд 23

Термодинамическая мера
Информационно-термодинамический подход связывает величину энтропии систе-мы с недостатком информации о

внутренней
структуре системы (не восполняемым принци-пиально, а не просто нерегистрируемым).
При этом число состояний определяет, по существу, степень неполноты наших сведений о системе.

Слайд 24

Пусть дана термодинамическая система (процесс) S, а Н0, Н1 –

термодинамические энтропии системы S в началь-ном (равновесном) и конечном состояниях термодинами-ческого процесса, соответственно. Тогда, термодинами-ческая мера информации (неэнтропия) определяется формулой:
Н(Н0,Н1)=Н0 - Н1.
Эта формула универсальна для любых термодинами-ческих систем. Уменьшение Н(Н0,Н1) свидетельствует о приближении термодинамической системы S к состоя-нию статического равновесия (при данных доступных ей ресурсах), а увеличение - об удалении.

Слайд 25

Энергоинформационная (квантово-механическая) мера
Энергия (ресурс) и информация (структура) - две фундаменталь-ные

характеристики систем реального мира, связывающие их вещественные, пространственные, временные характеристики.
Если А - именованное множество с носителем так называемого "энергетического происхождения", а В - именованное множество с носителем "информационного происхождения", то можно определить энергоинформационную меру f: A -> B, например, можно принять отношение именования для именованного множества с носителем (множеством имен) А или В.
Отношение именования должно отражать механизм взаимосвязей физико-информационных и вещественно-энергетических структур и процессов в системе.

Слайд 26

Другие меры информации
мера, базирующаяся на понятии цели (А. Харкевич и другие);

мера, базирующаяся на понятии тезаурус Т=, где X, Y, Z - множества, соответственно, имен, смыслов и значений (прагматики) этих знаний (Ю. Шрейдер и другие);
мера сложности восстановления двоичных слов (А. Колмогоров и другие);
меры апостериорного знания (Н. Винер и другие);
мера успешности принятия решения (Н. Моисеев и другие);
меры информационного сходства и разнообразия.

Слайд 27

Тестовый вопрос 1
Вариант1
Какое определение – правильное
количество информации – числовая характеристика порядка

в системе
количество информации – число букв, знаков в сообщении о системе
количество информации – число состояний системы
количество информации – числовая функция от числа букв, знаков

Вариант2
Термодинамическая мера более применима к системам:
далеким от теплового равновесия
живой природы
замкнутым
находящимся в тепловом равновесии

Слайд 28

Тестовый вопрос 2
Вариант 1
Уменьшение количества инфор-мации в системе (по Шеннону) говорит:
об

уменьшении энтропии системы
о постоянстве энтропии системы
об увеличении энтропии системы
о замкнутости системы

Вариант2
Неверно утверждение:
количество информации отражает меру порядка в системе
энтропия - мера дезорганизации систем
энтропия - мера порядка в системе
негэнтропия - мера организации в системе

Слайд 29

Тестовый вопрос 3
Вариант 1
Верно утверждение:
нулевой энтропии соответствует минимальная информация
максимальной энтропии

соответствует минимальная информация
максимальной энтропии соответствует максимальная информация
нулевой энтропии соответствует нулевая информация

Вариант2
Увеличение количества информации в системе (по Шеннону) говорит:
об уменьшении энтропии системы
о замкнутости системы
о постоянстве энтропии системы
об увеличении энтропии системы

Слайд 30

Тестовый вопрос 4
Вариант 1
Верно утверждение:
с ростом информации о системе растет

энтропия системы
с убылью информации о системе растет негэнтропия системы
с убылью информации о системе растет энтропия системы
с ростом информации о системе убывает негэнтропия системы

Вариант 2
Формула Хартли имеет вид: H=log2N, где N - количество:
равновозможных (равновероятных) состояний системы
наименее возможных (вероятных) состояний системы
разновозможных (разновероятных) состояний системы
наиболее возможных (вероятных) состояний системы

Мера информации в системе

Содержание

Информация - приращение, развитие, актуализация знаний, возникающее в процессе целеполагающей интеллектуальной

Основные понятияКоличество информации – это числовая величина, адекватно характеризующая актуализируюмую информацию

Мера Р. ХартлиПусть имеется N состояний системы S или N опытов

Мера Р. Хартли - в эспоненциальной системе k=1, H=lnN (нат)в двоичной

ПримерОпределить положение точки в системе из двух клеток. Для этого нужно

Утверждение Р. ХартлиЕсли в некоторм множестве X={x1,x2,…,xn} необходимо найти некоторый элемент

ПримерИмеется 12 монеты. Одна из них фальшивая более легкого веса). Определить,

РешениеЕсли положить на вемы равное количество монет, то получим три возможных

ВыводыФормула Р.Хартли отвлечена от семантических и качественных, индивидуальных свойств системы (качества

Мера К.ШеннонаФормулв Шеннона дает оценку информации независимо, отвлеченно от ее смыслаn

К.Шеноном доказана теорема о единственности меры количества информации. Для случая равномерного

Если выбор i-го варианта предопределен заранее (т.е. выбра нет, pi=1) ,

ПримерЕсли положение точки в системе известно, например она в k-ой клетке,

ПримерСколько бит информации несет в себе произвольное двузначное число со всеми

Если в формуле Шеннона обозначить fi=-nlog2pi, то получим, что I можно

ПримерПусть рассматривается алфавит из двух символов русского языка - "к" и

ПримерВ сообщении 4 буквы "a", 2 буквы "б", 1 буква "и",

Энтропия (мера хаоса) Если в формуле k - коэффициент Больцмана, известный