Кодирование информации. Язык и алфавит. Дискретность. Алфавитный подход кизмерению количества информации

Содержание

Слайд 2

Кодирование информации § 5. Язык и алфавит

Кодирование информации

§ 5. Язык и алфавит

Слайд 3

Язык Язык — это система знаков, используемая для хранения, передачи и обработки информации. Иероглифы:

Язык

Язык — это система знаков, используемая для хранения, передачи и обработки

информации.

Иероглифы:

Слайд 4

Алфавитное письмо Алфавит — это набор знаков, который используется в языке.

Алфавитное письмо

Алфавит — это набор знаков, который используется в языке.

Мощность алфавита

— это количество знаков в алфавите.

АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ

0123456789 .,;?!-:…«»()

мощность 56

Слово — это последовательность символов алфавита, которая используется как самостоятельная единица и имеет определённое значение.

Слайд 5

Сообщения Сообщение — это любая последовательность символов некоторого алфавита. Пример: алфавит

Сообщения

Сообщение — это любая последовательность символов некоторого алфавита.

Пример: алфавит @ #

$ %.

Сообщения длины 1: @ # $ %.

Сообщения длины 2:
@@ @# @$ @%
#@ ## #$ #%
$@ $# $$ $%
%@ %# %$ %%

всего 16

всего 4

Слайд 6

Количество возможных сообщений Если алфавит языка состоит из N символов (имеет

Количество возможных сообщений

Если алфавит языка состоит из N символов (имеет мощность

N), количество различных сообщений длиной L знаков равно

Q = NL

Сколько
возможных 5-буквеных слов в русском языке?
возможных 3-буквеных слов в английском языке?

335

263

Слайд 7

Какие бывают языки? 1. e2-e4 e7-e5… Формальный язык – это язык,

Какие бывают языки?

1. e2-e4 e7-e5…

Формальный язык – это язык, в котором

однозначно определяется значение каждого слова, а также правила построения предложений и придания им смысла.
Слайд 8

Естественные и формальные языки результат развития общества для общения в быту

Естественные и формальные языки

результат развития общества
для общения в быту
значения

слов зависят от контекста
есть синонимы
есть омонимы
нет строгих правил образования предложений
есть исключения

созданы людьми
в специальных областях знаний
значения слов не зависит от контекста
синонимов нет
омонимов нет
правила образования предложений строго определены
нет исключений

Естественные

Формальные

Слайд 9

Задачи Сколько различных пятизначных чисел можно записать с помощью цифр 4

Задачи

Сколько различных пятизначных чисел можно записать с помощью цифр 4 и

2?
В языке разрешены только четырёхбуквенные слова, которые можно образовывать из букв алфавита в любых комбинациях. Словарный запас языка составляет 81 слово. Какова мощность алфавита?
Какое наименьшее число символов должно быть в алфавите, чтобы с помощью всевозможных трёхбуквенных слов можно было передать не менее 9 различных сообщений?
Слайд 10

Кодирование информации § 6. Кодирование

Кодирование информации

§ 6. Кодирование

Слайд 11

Что такое кодирование? Кодирование — это представление информации в форме, удобной

Что такое кодирование?

Кодирование — это представление информации в форме, удобной для

её хранения, передачи и обработки. Правило такого преобразования называется кодом.

Текст:
в России: Привет, Вася!
передача за рубеж (транслит): Privet, Vasya!
Windows-1251: CFF0E8E2E52C20C2E0F1FF21
стенография:
шифрование: Рсйгжу-!Гбта”

Числа:
для вычислений: 25
прописью: двадцать пять
римская система: XXV

Слайд 12

Код Морзе •— — •— ••• •—•— ВАСЯ •— —•— ВА, АК, ПТ, ЕМЕТ?

Код Морзе

•— — •— ••• •—•—

ВАСЯ

•— —•—

ВА, АК, ПТ, ЕМЕТ?

Слайд 13

Двоичное кодирование Двоичное кодирование — это кодирование с помощью двух знаков.

Двоичное кодирование

Двоичное кодирование — это кодирование с помощью двух знаков.

АБАВГБ

000100101101

Количество сообщений длиной I битов:

N = 2I

Пример. Нужно закодировать номер спортсмена от 1 до 200. Сколько битов потребуется?

8 битов

27 < 200 ≤ 28 = 256

Равномерный код:

Слайд 14

Задачи Шахматная доска состоит из 8 столбцов и 8 строк. Какое

Задачи

Шахматная доска состоит из 8 столбцов и 8 строк. Какое минимальное

количество битов потребуется для кодирования координат одной шахматной фигуры?
Для кодирования значений температуры воздуха (целое число в интервале от –50 до 40) используется двоичный код. Какова минимальная длина двоичного кода?
Дорожный светофор подаёт шесть видов сигналов (непрерывные красный, жёлтый и зелёный, мигающие жёлтый и зелёный, мигающие красный и жёлтый одновременно). Подряд записано 100 сигналов светофора. Определите информационный объём этого сообщения в битах.
Слайд 15

Задачи Автомобильный номер длиной 6 символов составляется из заглавных букв (всего

Задачи

Автомобильный номер длиной 6 символов составляется из заглавных букв (всего используется

12 букв) и десятичных цифр в любом порядке. Каждый символ кодируется одинаковым и минимально возможным количеством битов, а каждый номер — одинаковым и минимально возможным количеством байтов. Определите объём памяти, необходимый для хранения 32 автомобильных номеров.
Слайд 16

Декодирование Декодирование — это восстановление сообщения из последовательности кодов. •— —

Декодирование

Декодирование — это восстановление сообщения из последовательности кодов.

•— — •— •••

•—•—

ВАСЯ

Все кодовые слова заканчиваются на листьях дерева!

Слайд 17

Декодирование 1100000100110 110 Г 000 01 001 10 А В Д

Декодирование

1100000100110

110

Г

000

01

001

10

А

В

Д

Б

Префиксный код — это код, в котором ни одно кодовое слово

не совпадает с началом другого кодового слова (условие Фано). Сообщения декодируются однозначно.
Слайд 18

Задачи Для передачи сообщения, состоящего только из букв А, Б, В,

Задачи

Для передачи сообщения, состоящего только из букв А, Б, В, Г,

решили использовать неравномерный код:
A = 0, Б = 10, В = 110.
Как нужно закодировать букву Г, чтобы длина кода была минимальной и допускалось однозначное декодирование?
Для передачи сообщения, состоящего только из букв А, Б, В, Г, решили использовать неравномерный код:
A = 0, Б = 100, В = 101.
Как нужно закодировать букву Г, чтобы длина кода была минимальной и допускалось однозначное декодирование?
Слайд 19

Постфиксные коды Постфиксный код — это код, в котором ни одно

Постфиксные коды

Постфиксный код — это код, в котором ни одно кодовое

слово не совпадает с окончанием другого кодового слова. Сообщения декодируются однозначно (с конца!).

011000110110

10

01

011

100

01

Б

Д

Г

Б

В

Слайд 20

Неоднозначное декодирование АБАГД АБВГА 010100111101 Декодирование может быть неоднозначным…

Неоднозначное декодирование

АБАГД

АБВГА

010100111101

Декодирование может быть неоднозначным…

Слайд 21

Задача *Докажите, что все сообщения, закодированные этим кодом, декодируются однозначно. 01000011001011110000100

Задача

*Докажите, что все сообщения, закодированные этим кодом, декодируются однозначно.

01000011001011110000100

Слайд 22

Кодирование информации § 7. Дискретность

Кодирование информации

§ 7. Дискретность

Слайд 23

Аналоговые сигналы и устройства Аналоговый сигнал — это сигнал, который в

Аналоговые сигналы и устройства

Аналоговый сигнал — это сигнал, который в любой

момент времени может принимать любые значения в заданном диапазоне.

Аналоговые компьютеры

невозможно «очистить» сигнал от помех
при измерении сигнала вносится ошибка
при копировании аналоговая информация искажается

Слайд 24

Дискретные (цифровые) сигналы Дискретный сигнал — это последовательность значений, каждое из

Дискретные (цифровые) сигналы

Дискретный сигнал — это последовательность значений, каждое из которых

принадлежит некоторому конечному множеству.

Свойства:
сигнал изменяется только в отдельные моменты времени (дискретность по времени);
принимают только несколько возможных значений (дискретность по уровню).

Слайд 25

Дискретность Цель – максимально точно передавать сообщения при сильных помехах. Pacta

Дискретность

Цель – максимально точно передавать сообщения при сильных помехах.

Pacta sunt servanda.

•—

— •— ••• •—•—

01000011001

… закодированную с помощью конечного количества знаков некоторого алфавита.

Слайд 26

Дискретизация Дискретизация — это представление единого объекта в виде множества отдельных элементов. π

Дискретизация

Дискретизация — это представление единого объекта в виде множества отдельных элементов.

π


Слайд 27

Дискретизация 6 ч. 36,7° 9 ч. 36,8° 12 ч. 36,9° 15

Дискретизация

6 ч. 36,7°
9 ч. 36,8°
12 ч. 36,9°
15 ч. 36,7°
18 ч. 36,5°
21 ч. 36,5°
24 ч. 36,6°

дискретная информация

Слайд 28

Непрерывность и дискретность аналоговые данные дискретные данные

Непрерывность и дискретность

аналоговые
данные

дискретные
данные

Слайд 29

Непрерывность и дискретность

Непрерывность и дискретность

Слайд 30

Кодирование информации § 8. Алфавитный подход к измерению количества информации

Кодирование информации

§ 8. Алфавитный подход к измерению количества информации

Слайд 31

Алфавитный подход Количество информации в битах определяется длиной сообщения в двоичном

Алфавитный подход

Количество информации в битах определяется длиной сообщения в двоичном коде.

10101100

8

битов

вперёд
назад
вправо
влево

00

01

10

11

00101010010111

14 битов

Слайд 32

Алфавитный подход определяем мощность алфавита N; определяем количество битов информации i,

Алфавитный подход

определяем мощность алфавита N;
определяем количество битов информации i, приходящихся на

один символ, — информационную ёмкость (объём) символа:
количество информации в сообщении:
где L – количество символов в сообщении.

I = L·i

Слайд 33

Алфавитный подход каждый символ несёт одинаковое количество информации частота появления разных

Алфавитный подход

каждый символ несёт одинаковое количество информации
частота появления разных символов (и

сочетаний символов) не учитывается
количество информации определяется только длиной сообщения и мощностью алфавита
смысл сообщения не учитывается
Слайд 34

Задача Определить количество информации в 10 страницах текста (на каждой странице

Задача

Определить количество информации в 10 страницах текста (на каждой странице 32

строки по 64 символа) при использовании алфавита из 256 символов.

информационная ёмкость символа:
256 = 28 ⇒ i = 8 бит = 1 байт
количество символов на странице:
32·64 = 25 ·26 = 211
общее количество символов:
L = 10·211
информационный объём сообщения:
I = L·i = 10·211·1 байтов = 20 Кбайт

Слайд 35

Конец фильма ПОЛЯКОВ Константин Юрьевич д.т.н., учитель информатики ГБОУ СОШ №

Конец фильма

ПОЛЯКОВ Константин Юрьевич
д.т.н., учитель информатики
ГБОУ СОШ № 163, г. Санкт-Петербург
kpolyakov@mail.ru

ЕРЕМИН Евгений Александрович
к.ф.-м.н., доцент кафедры мультимедийной дидактики и ИТО ПГГПУ, г. Пермь
eremin@pspu.ac.ru