Семантический подход к измерению количества информации

Сентябрь 2, 2022

Главная
Алгебра
Семантический подход к измерению количества информации

Содержание

3. Семантический уровень Идея: Проблемы связаны с формализацией и учетом смысла передаваемой информации. Проблемы этого уровня чрезвычайно
4. Тезаурусный метод измерения информации Под тезаурусом (от греческого сокровище) понимается некий обобщенный справочник, определяющий уровень знаний
5. зависимость семантической инфомации в одном и том же сообщении от тезауруса пользователя Т- состояние тезауруса получателя
6. Измерение количества информации на основе изменения логической вероятности Под логической вероятностью понимается степень подтверждения той или
7. Посылки: Очевидно, уменьшение степени подтверждение гипотезы после получения сообщения изменяет априорный запас знаний (тезаурус) получателя информации
8. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 6. Измерение информации 6.8. Прагматическийподход к измерению количества
9. Прагматическая мера определяет ценность информации, ее полезность для достижения цели управления Изучение отношений между знаками и
10. Идея: Мера ценности информации связывается с вероятностью достижения цели при получении этой информации. Мера ценности информации
11. Идея: Вводится понятие «полезная информация» Тем самым сообщение связывается с тем, какую задачу решает получатель, что
12. Цель: показать, как символическая логика и теория семантической информации могут быть использованы для анализа аспетов человеческой
13. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7. Кодирование информации
14. Любое сообщение, подлежащее передаче по каналу связи, сохранению на запоминающем устройстве или переработке, должно быть предварительно
15. Кодирование: основные термины Кодирование можно определить как процесс представления информации в виде некоторых символов и их
16. Кодирование: основные термины Пусть имеется некоторая система X, которая случайным образом может принимать одно из своих
17. Выбор таких комбинаций и установление соответствия между передаваемым сообщением и этими комбинациями и называется кодированием в
18. Кодирование: основные термины Согласно строгой терминологии кодированием называется отображение произвольного множества A в множество конечных последовательностей
19. Кодирование: основные термины Конечное множество знаков (букв, цифр и др. символов), применяемых в том или ином
20. Требования, предъявляемые к системе кодирования взаимная однозначность преобразований отображаемого множества в отображающее множество при кодирование и
21. Основные классы кодов равномерные коды неравномерные коды неизбыточные избыточные обнаруживающие коды корректирующие коды систематическими несистематическими
22. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7. Кодирование информации 7.1. Помехоустойчивое кодирование
24. мешающие влияния в каналах связи
25. Виды линий связи проводные линии связи радиотракты-радиорелейные прямой видимости тропосферные космические (через ИСЗ и с дальними
26. Помехи в каналах связи возникают, прежде всего, по техническим причинам: плохое качество линий связи, незащищенность друг
27. Основные проблемы при работе с кодированной информацией установления самого факта того, что произошло искажение информации выяснения
28. Устойчивость языка к помехам в словох всо глосноо зомононо боквой о
29. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7.1. Помехоустойчивое кодирование 7.1.1. Общее представление об избыточночти
30. Коэффициент избыточности сообщения Коэффициент избыточности r сообщения А r=(Imax-I)/Imax I - количество информации в сообщении А;
31. Естественный язык, как способ кодирования. Общее представление об избыточности Имеется алфавит объемом a символов. Определить, какое
32. Естественный язык, как способ кодирования N=a n n=1 32 однобуквенных слова n=2 1024 двухбуквенных слова n=3
33. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7.1. Помехоустойчивое кодирование 7.1.1. Контролируемая избыточность – основа
34. Впервые теоретическое исследование эффективного кодирования предпринял Клод Шеннон. Шенноном была разработана специальная теория кодирования, дающая методы
35. пропускная способность канала - это максимальное число переданных двоичных единиц (бит) в единицу времени при сколь
36. Теорема Шеннона с каждым каналом связано измеряемое в битах в секунду и называемое пропускной способностью канала
37. Выводы из теоремы Шеннона построение слишком хороших каналов является расточительством; экономически выгоднее использовать кодирование мощность сигнала,
38. Общие свойства систем кодирования Использование избыточности. Закодированные цифровые сообщения всегда содержат дополнительные, или избыточные, символы. Эти
39. Асинхронное и синхронное кодирование В асинхронном режиме применяют коды, в которых явно выделены границы каждого символа
40. Способы контроля правильности передачи данных Различают коды, обнаруживающие ошибки, и корректирующие коды, которые дополнительно к обнаружению
41. Краткая классификация помехоустойчивых кодов
42. Информационные процессы и информационные технологии. 1. Понятие информационного процесса и информационной процедуры
44. Скачать презентацию

Слайд 2

Слайд 3

Семантический уровень
Идея:
Проблемы связаны с формализацией и учетом смысла передаваемой информации.
Проблемы этого

уровня чрезвычайно сложны, так как смысловое содержание информации больше зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке.
На данном уровне:
Анализируется сведения, которые отражает информация
Выявляется смысл информации
Выявляется содержание информации
Осуществляется обобщение информации

Слайд 4

Тезаурусный метод измерения информации
Под тезаурусом (от греческого сокровище) понимается некий обобщенный

справочник, определяющий уровень знаний получателя сообщений. Такой справочник включает не только описание понятий, но и связи между ними и т. д.
Идея (Норберт Винер): для понимания и использования информации ее получатель должен обладать определенным запасом знаний
Тезаурусная мера (Ю.А. Шрейдер): основана на учете запаса знаний получателя (приемника) информации
Сообщения, которые содержат новую для получателя семантическую информацию, изменяют его тезаурус. Под этим понимается не только появление новых понятий, но и установление новых связей между существующими понятиями, ликвидацию устаревших связей или понятий и т.д.
Если сообщение не вносит ничего нового в тезаурус получателя, то семантическая информация, содержащаяся в сообщении, равна нулю
Из двух сообщений больше семантической информации будет нести то, которая вносит в тезаурус более существенные изменения

Слайд 5

зависимость семантической инфомации в одном и том же сообщении от тезауруса

пользователя

Т- состояние тезауруса получателя информации в данной области знания

Ic- количество смысловой информации в сообщении

Ic=F(T)

Ic max

Слайд 6

Измерение количества информации на основе изменения логической вероятности
Под логической вероятностью понимается

степень подтверждения той или иной гипотезы
Идея (Р Карнап, Бар-Хиллел):
Посылки:
Пусть выдвинута некоторая априорная (доопытная) гипотеза и оценена степень подтверждения (логическая вероятность) гипотезы
Поступающие сообщения могут либо уменьшать степень подтверждения гипотезы, либо оставлять ее неизменной
Вывод:
Количество семантической информации в сообщении будет тем выше, чем больше уменьшится степень подтверждения гипотезы после получения сообщения

Слайд 7

Посылки:
Очевидно, уменьшение степени подтверждение гипотезы после получения сообщения изменяет априорный запас

знаний (тезаурус) получателя информации
Если же гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то логическая вероятность гипотезы не изменяется и сообщение не несет для получателя никакой новой информации
Вывод:
Мера, основанная на изменении логической вероятности, смыкается с тезаурусной, т.к. учитывает запас знаний и гипотез получателя информации

Связь меры, основанной на изменении логической вероятности и тезаурусной меры

Слайд 8

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение информации
6.8.

Прагматическийподход к измерению количества информации

Слайд 9

Прагматическая мера определяет ценность информации, ее полезность для достижения цели управления
Изучение

отношений между знаками и их потребителями с точки зрения использования получаемой информации и влияния знаков на поведение систем составляет основу прагматической теории информации
Для всех подходов здесь характерно стремление связать понятие прагматической информации с целью, целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации

Прагматический подход к измерению количества информации: общие положения

Слайд 10

Идея:
Мера ценности информации связывается с вероятностью достижения цели при получении этой

информации.
Мера ценности информации определяется как изменение вероятности достижения цели после получения сообщения

Мера А.А. Харкевича

Слайд 11

Идея:
Вводится понятие «полезная информация»
Тем самым сообщение связывается с тем, какую задачу

решает получатель, что он знает до прихода сообщения и как его истолковывает
Этот подход имеет вероятностно-алгебраическую сущность и носит более общий характер, чем подход, предложенный А.А. Харкевичем

Подход М.М. Бонгарда

Слайд 12

Цель:
показать, как символическая логика и теория семантической информации могут быть использованы

для анализа аспетов человеческой коммуникации
Создана:
модель того, как разумный получатель оценивает последовательность сообщений на основе определенных семантических и прагматических свойств «логическая модель коммуникаций»
Предлагается:
обеспечить получателя «программой обработки сообщений», с помощью которой извлекается из получаемых сообщений «годная к употреблению сумма сообщений»
Именно к этому результату переработки сообщений, а не к сообщениям в их первоначальной форме могут быть применены количественные меры информации
Созданная Харрахом логическая модель коммуникации служит тем языковым каркасом, в рамках которого программа может быть образована и применена

Подход Д. Харраха

Слайд 13

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7. Кодирование информации

Слайд 14

Любое сообщение, подлежащее передаче по каналу связи, сохранению на запоминающем устройстве

или переработке, должно быть предварительно закодировано.

Слайд 15

Кодирование: основные термины
Кодирование можно определить как процесс представления информации в виде

некоторых символов и их последовательностей (кодовых комбинаций), причем эти символы могут быть в свою очередь представлены (перекодированы) в виде совокупности физических сигналов той или иной природы
Вообще кодированием называется отображение состояние одной физической системы X с помощью состояния некоторой другой системы Y

Слайд 16

Кодирование: основные термины
Пусть имеется некоторая система X, которая случайным образом может

принимать одно из своих возможных состояний
x1,x2, … xn
Требуется закодировать ее с помощью другой системы Y, возможные состояния которой
y1,y2, … ym
в этом случае каждое состояние системы X можно закодировать при помощи одного состояния (буквы, символа, сигнала и т.д.) системы Y
в этом случае состояния системы X приходится кодировать при помощи определенных комбинаций (последовательностей) состояний системы Y

Слайд 17

Выбор таких комбинаций и установление соответствия между передаваемым сообщением и этими

комбинациями и называется кодированием в узком смысле этого слова

Слайд 18

Кодирование: основные термины
Согласно строгой терминологии кодированием называется отображение произвольного множества A

в множество конечных последовательностей (слов) в некотором алфавите B, а декодированием—обратное отображение
Отображающее множество B, включающее в себя множество знаков (символов) и слов (кодовых комбинаций), составленных из этих знаков по определенным правилам и предназначенных для однозначного отображения множества A называется кодом

Слайд 19

Кодирование: основные термины
Конечное множество знаков (букв, цифр и др. символов), применяемых

в том или ином языке, называется алфавитом данного языка, а количество различных символов алфавита называют объемом алфавита
Таким образом, при рассмотрении вопросов кодирования можно говорить об алфавите кода

Слайд 20

Требования, предъявляемые к системе кодирования
взаимная однозначность преобразований отображаемого множества в отображающее

множество при кодирование и обратного преобразования при декодировании
экономичность кодирования,
обеспечиваемая оптимизацией средней длины кодовой комбинации, что обеспечивает снижение времени, необходимого для передачи и обработки информации, экономию носителей информации
помехоустойчивость,
т.е. возможность обнаружения и исправления ошибок в кодовых комбинациях

Слайд 21

Основные классы кодов
равномерные коды
неравномерные коды
неизбыточные
избыточные
обнаруживающие коды
корректирующие коды
систематическими
несистематическими

Слайд 22

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7. Кодирование информации
7.1.

Помехоустойчивое кодирование

Слайд 23

Слайд 24

мешающие влияния в каналах связи

Слайд 25

Виды линий связи
проводные линии связи
радиотракты-радиорелейные прямой видимости
тропосферные
космические (через ИСЗ и

с дальними космическими кораблями)
магистральные коротковолновые линии связи
линии радиосвязи с наземными подвижными объектами
телефонные каналы
внутриаппаратные тракты магнитной записи-считывания и шины информационного обмена в компьютерах

Слайд 26

Помехи в каналах связи возникают, прежде всего, по техническим причинам: плохое

качество линий связи, незащищенность друг от друга различных потоков информации, передаваемой по одним и тем же каналам и т.д. Передача сообщений при наличии помех является серьезной теоретической и практической задачей. Ее значимость возрастает в связи с повсеместным внедрением компьютерных телекоммуникаций, в которых помехи неизбежны

Слайд 27

Основные проблемы при работе с кодированной информацией
установления самого факта того, что

произошло искажение информации
выяснения того, в каком конкретно месте передаваемого текста это произошло
исправления ошибки, хотя бы с некоторой степенью достоверности

Слайд 28

Устойчивость языка к помехам
в словох
всо глосноо зомононо боквой о

Слайд 29

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7.1. Помехоустойчивое кодирование
7.1.1.

Общее представление об избыточночти

Слайд 30

Коэффициент избыточности сообщения
Коэффициент избыточности r сообщения А r=(Imax-I)/Imax
I - количество

информации в сообщении А;
Imax — максимально возможное количество информации в сообщении той же длины, что и А
Наличие избыточности позволяет ставить вопрос о сжатии информации без ее потери в передаваемых сообщениях.

Слайд 31

Естественный язык, как способ кодирования. Общее представление об избыточности
Имеется алфавит объемом a

символов.
Определить, какое количество N различных слов длиной n символов можно составить в этом алфавите?
N=a n
Обычно принимают, что объем русского алфавита раве 32 символа.

Слайд 32

Естественный язык, как способ кодирования
N=a n
n=1
32 однобуквенных слова
n=2
1024 двухбуквенных слова
n=3
32 768

трехбуквенных слов
n=4
более миллиона четырехбуквенных слов
n=5
более 30 миллионов пятибуквенных слов
n=6
более миллиарда шестибуквенных слов

Слайд 33

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7.1. Помехоустойчивое кодирование
7.1.1.

Контролируемая избыточность – основа помехоустойчивого кодирования

Слайд 34

Впервые теоретическое исследование эффективного кодирования предпринял Клод Шеннон.
Шенноном была разработана специальная

теория кодирования, дающая методы борьбы с шумом
Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным
За счет этого потеря какой-то части информации при передаче может быть компенсирована
Однако нельзя делать избыточность слишком большой. Это приведёт к задержкам и удорожанию связи

Слайд 35

пропускная способность канала - это максимальное число переданных двоичных единиц (бит)

в единицу времени при сколь угодно малой вероятности ошибок.
Реально получаемое число передаваемых бит в единицу времени называют скоростью передачи.
При неограниченно малой вероятности ошибок скорость передачи всегда меньше пропускной способности.
В канале с ошибками максимальное значение скорости получают путем использования помехоустойчивого кодирования, что требует введения избыточности в передаваемый сигнал.
Если код согласован с каналом, введенная избыточность становится оправданной. Если код не согласован с каналом, ошибки могут быть не только не исправлены, но и размножены кодом.
Для согласования кода с каналом связи необходимо иметь максимальный объем сведений о возможных мешающих влияниях в каналах.

Слайд 36

Теорема Шеннона
с каждым каналом связано измеряемое в битах в секунду и

называемое пропускной способностью канала число С
Если требуемая от системы связи скорость передачи информации R (измеряемая в битах в секунду) меньше С, то, используя коды, контролирующие ошибки, для данного канала можно построить такую систему связи, что вероятность ошибки на выходе будет сколь угодно мала

Слайд 37

Выводы из теоремы Шеннона
построение слишком хороших каналов является расточительством; экономически выгоднее

использовать кодирование
мощность сигнала, шум в канале и полоса частот ограничивают лишь скорость передачи, а не ее точность

Слайд 38

Общие свойства систем кодирования
Использование избыточности. Закодированные цифровые сообщения всегда содержат дополнительные,

или избыточные, символы. Эти символы используют для того, чтобы подчеркнуть индивидуальность каждого сообщения. Их всегда выбирают так, чтобы сделать маловероятной потерю сообщением его индивидуальности из-за искажения при воздействии помех достаточно большого числа символов.
Усреднение шума. Эффект усреднения достигается за счет того, что избыточные символы зависят от нескольких информационных символов.

Слайд 39

Асинхронное и синхронное кодирование
В асинхронном режиме применяют коды, в которых явно

выделены границы каждого символа (байта) специальными стартовым и стоповым символами.
В синхронном режиме синхронизм поддерживается во время передачи всего информационного блока без обрамления каждого байта.

Слайд 40

Способы контроля правильности передачи данных
Различают коды, обнаруживающие ошибки, и корректирующие коды,

которые дополнительно к обнаружению еще и исправляют ошибки
Помехозащищенность достигается с помощью введения избыточности.
Устранение ошибок с помощью корректирующих кодов (такое управление называют Forward Error Control) реализуют в симплексных каналах связи.
В дуплексных каналах достаточно применения кодов, обнаруживающих ошибки (Feedback or Backward Error Control), так как сигнализация об ошибке вызывает повторную передачу от источника.

Слайд 41

Краткая классификация помехоустойчивых кодов

Слайд 42

Информационные процессы и информационные технологии.
1. Понятие информационного процесса и информационной

процедуры

Семантический подход к измерению количества информации

Содержание

Семантический уровеньИдея:Проблемы связаны с формализацией и учетом смысла передаваемой информации.Проблемы этого

Тезаурусный метод измерения информацииПод тезаурусом (от греческого сокровище) понимается некий обобщенный

зависимость семантической инфомации в одном и том же сообщении от тезауруса

Измерение количества информации на основе изменения логической вероятностиПод логической вероятностью понимается

Посылки:Очевидно, уменьшение степени подтверждение гипотезы после получения сообщения изменяет априорный запас

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 6. Измерение информации6.8.

Прагматическая мера определяет ценность информации, ее полезность для достижения цели управленияИзучение

Идея:Мера ценности информации связывается с вероятностью достижения цели при получении этой

Идея:Вводится понятие «полезная информация»Тем самым сообщение связывается с тем, какую задачу

Цель:показать, как символическая логика и теория семантической информации могут быть использованы

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7. Кодирование информации

Любое сообщение, подлежащее передаче по каналу связи, сохранению на запоминающем устройстве

Кодирование: основные терминыКодирование можно определить как процесс представления информации в виде

Кодирование: основные терминыПусть имеется некоторая система X, которая случайным образом может

Выбор таких комбинаций и установление соответствия между передаваемым сообщением и этими

Кодирование: основные терминыСогласно строгой терминологии кодированием называется отображение произвольного множества A

Кодирование: основные терминыКонечное множество знаков (букв, цифр и др. символов), применяемых

Требования, предъявляемые к системе кодированиявзаимная однозначность преобразований отображаемого множества в отображающее

Основные классы кодов равномерные кодынеравномерные кодынеизбыточныеизбыточные обнаруживающие кодыкорректирующие кодысистематическиминесистематическими

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7. Кодирование информации7.1.

мешающие влияния в каналах связи

Виды линий связипроводные линии связирадиотракты-радиорелейные прямой видимоститропосферные космические (через ИСЗ и

Помехи в каналах связи возникают, прежде всего, по техническим причинам: плохое

Основные проблемы при работе с кодированной информациейустановления самого факта того, что

Устойчивость языка к помехамв словохвсо глосноо зомононо боквой о

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7.1. Помехоустойчивое кодирование7.1.1.

Коэффициент избыточности сообщения Коэффициент избыточности r сообщения А r=(Imax-I)/ImaxI - количество

Естественный язык, как способ кодирования. Общее представление об избыточностиИмеется алфавит объемом a

Естественный язык, как способ кодированияN=a nn=132 однобуквенных словаn=21024 двухбуквенных словаn=332 768

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 7.1. Помехоустойчивое кодирование7.1.1.

Впервые теоретическое исследование эффективного кодирования предпринял Клод Шеннон.Шенноном была разработана специальная

пропускная способность канала - это максимальное число переданных двоичных единиц (бит)

Теорема Шеннонас каждым каналом связано измеряемое в битах в секунду и

Выводы из теоремы Шеннонапостроение слишком хороших каналов является расточительством; экономически выгоднее

Общие свойства систем кодированияИспользование избыточности. Закодированные цифровые сообщения всегда содержат дополнительные,

Асинхронное и синхронное кодированиеВ асинхронном режиме применяют коды, в которых явно

Способы контроля правильности передачи данныхРазличают коды, обнаруживающие ошибки, и корректирующие коды,

Краткая классификация помехоустойчивых кодов

Информационные процессы и информационные технологии. 1. Понятие информационного процесса и информационной

Похожие презентации

Семантический уровень
Идея:
Проблемы связаны с формализацией и учетом смысла передаваемой информации.
Проблемы этого

Тезаурусный метод измерения информации
Под тезаурусом (от греческого сокровище) понимается некий обобщенный

Измерение количества информации на основе изменения логической вероятности
Под логической вероятностью понимается

Посылки:
Очевидно, уменьшение степени подтверждение гипотезы после получения сообщения изменяет априорный запас

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение информации
6.8.

Прагматическая мера определяет ценность информации, ее полезность для достижения цели управления
Изучение

Идея:
Мера ценности информации связывается с вероятностью достижения цели при получении этой

Идея:
Вводится понятие «полезная информация»
Тем самым сообщение связывается с тем, какую задачу

Цель:
показать, как символическая логика и теория семантической информации могут быть использованы

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7. Кодирование информации

Кодирование: основные термины
Кодирование можно определить как процесс представления информации в виде

Кодирование: основные термины
Пусть имеется некоторая система X, которая случайным образом может

Кодирование: основные термины
Согласно строгой терминологии кодированием называется отображение произвольного множества A

Кодирование: основные термины
Конечное множество знаков (букв, цифр и др. символов), применяемых

Требования, предъявляемые к системе кодирования
взаимная однозначность преобразований отображаемого множества в отображающее

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7. Кодирование информации
7.1.

Виды линий связи
проводные линии связи
радиотракты-радиорелейные прямой видимости
тропосферные
космические (через ИСЗ и

Основные проблемы при работе с кодированной информацией
установления самого факта того, что

Устойчивость языка к помехам
в словох
всо глосноо зомононо боквой о

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7.1. Помехоустойчивое кодирование
7.1.1.

Коэффициент избыточности сообщения
Коэффициент избыточности r сообщения А r=(Imax-I)/Imax
I - количество

Естественный язык, как способ кодирования. Общее представление об избыточности
Имеется алфавит объемом a

Естественный язык, как способ кодирования
N=a n
n=1
32 однобуквенных слова
n=2
1024 двухбуквенных слова
n=3
32 768

ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
7.1. Помехоустойчивое кодирование
7.1.1.

Впервые теоретическое исследование эффективного кодирования предпринял Клод Шеннон.
Шенноном была разработана специальная

Теорема Шеннона
с каждым каналом связано измеряемое в битах в секунду и

Выводы из теоремы Шеннона
построение слишком хороших каналов является расточительством; экономически выгоднее

Общие свойства систем кодирования
Использование избыточности. Закодированные цифровые сообщения всегда содержат дополнительные,

Асинхронное и синхронное кодирование
В асинхронном режиме применяют коды, в которых явно

Способы контроля правильности передачи данных
Различают коды, обнаруживающие ошибки, и корректирующие коды,

Информационные процессы и информационные технологии.
1. Понятие информационного процесса и информационной