Теоретические основы информатики

Август 23, 2022

Главная
Информатика
Теоретические основы информатики

Содержание

2. 07.11.2021 Лекция 1. Введение в дисциплину «Теоретические основы информатики"
3. 07.11.2021 Понятие информации Информация (от лат. informātiō «разъяснение, представление, понятие о чём-либо»— сведения независимо от формы
4. 07.11.2021 Свойства информации Значимость. Свойство информации сохранять свою потребительскую ценность для получения в течение времени, то
5. 07.11.2021 Понятие информатики Информатика — фундаментальная естественная наука, изучающая общие свойства информации, процессы, методы и средства
6. 07.11.2021 Понятие количества информации Формулу для вычисления количества информации в случае различных вероятностей событий предложил К.
7. Частота встречаемости букв русского алфавита
8. Частота встречаемости букв английского алфавита
9. Количество информации в сообщении Простейшей единицей измерения информации является бит — единица измерения количества информации, принимающая
10. Алгоритм Хаффмана 2) Построить дерево Узел дерева будет образован набором символов и числом - суммарным количеством
11. Алгоритм Хаффмана. Пример построения дерева
12. Код Фано
13. Код Фано Цена кодирования (средняя длина кодового слова является критерием степени оптимальности кодирования. Это сумма произведений
14. Оценка информационной значимости признаков (ак. Журавлев Ю.И.) Пусть задана таблица бинарных признаков для случая двух классов.
15. Оценка информативности признаков
16. Задания на самостоятельную работу 1.Выполнить кодирование по Хаффману и по Фано произвольного короткого текстового сообщения (с
18. Скачать презентацию

Слайд 2

07.11.2021
Лекция 1. Введение в дисциплину
«Теоретические основы информатики"

Слайд 3

07.11.2021
Понятие информации
Информация (от лат. informātiō «разъяснение, представление, понятие о чём-либо»— сведения независимо от формы их

представления[ -сведения, передаваемые людьми устным, письменным или каким-либо другим способом (с помощью условных сигналов, технических средств и т. д.);
В общенаучном понятии, включающее обмен сведениями
Информация
- знания о предметах, фактах, идеях и т. д., которыми могут обмениваться люди в рамках конкретного контекста (ISO/IEC 10746-2:1996);
знания относительно фактов, событий, вещей, идей и понятий, которые в определённом контексте имеют конкретный смысл (ISO/IEC 2382:2015);
сведения, воспринимаемые человеком и (или) специальными устройствами как отражение фактов материального или духовного мира в процессе коммуникации (ГОСТ 7.0-99).
Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности.
Информационная энтропия — мера неопределённости (Entropy) некоторой системы, в частности непредсказуемость появления какого-либо символа алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.

Слайд 4

07.11.2021
Свойства информации
Значимость. Свойство информации сохранять свою потребительскую ценность для получения в течение времени, то есть не подвергаться

моральному старению.
Полезность. Полезность информации оценивается по тем задачам, которые можно решить с ее использованием.
Актуальность. Информация актуальна (своевременна), если она важна в данный момент времени.
Достоверность (правдивость). Информация считается достоверной, если она не противоречит реальной действительности, правильно ее объясняет и подтверждается.
Объективность. Информация может быть объективной или субъективной (зависеть или не зависеть от чьего суждения).
Понятность. Информация понятна, если при ее восприятии нет необходимости в дополнительных сообщениях (не возникает вопросов).

Слайд 5

07.11.2021
Понятие информатики
Информатика — фундаментальная естественная наука, изучающая общие свойства информации, процессы,

методы и средства ее обработки (сбор, хранение, преобразование, перемещение, выдача) (Ершов А.П.)
Информатика — наука о способах получения, накопления, хранения, преобразования, передачи, защиты и использования информации
Исторически сложилось так, что исследованием непосредственно информации занимаются две комплексные отрасли науки — кибернетика и информатика.
Информатика, сформировавшаяся как наука в середине XX века, отделилась от кибернетики и занимается исследованиями в области способов получения, хранения, передачи и обработки семантической информации.
Исследования смыслового содержания информации основываются на комплексе научных теорий под общим названием семиотика.

Слайд 6

07.11.2021
Понятие количества информации
Формулу для вычисления количества информации в случае различных вероятностей

событий предложил К. Шеннон в 1948 году. В этом случае количество информации определяется по формуле:

где I - количество информации;
N - количество возможных событий;
рi - вероятность i-го события.
Эта величина также называется средней энтропией (Entropy) сообщения.
Для частного, случая, когда события равновероятны (pi= 1/N), величину количества информации I можно рассчитать по формуле Р. Хартли:

Слайд 7

Частота встречаемости букв русского алфавита

Слайд 8

Частота встречаемости букв английского алфавита

Слайд 9

Количество информации в сообщении
Простейшей единицей измерения информации является бит — единица измерения количества информации, принимающая

2 логических значения: да или нет, истина или ложь, включено или выключено; 1 или 0 в двоичной системе счисления.
Количество информации в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.
Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.
Алгоритм Хаффмана основывается на том, что символы в текстах как правило встречаются с различной частотой. некоторые символы встречаются чаще, а некоторые реже − можно записать часто встречающиеся символы в небольшом количестве бит, а для редко встречающихся символов использовать более длинные коды. Тогда суммарная длина закодированного текста может стать меньше.
Пример: 1)подсчитать количество вхождений каждого символа в тексте «Сжатие Хаффмана». Таблица частот»

Слайд 10

Алгоритм Хаффмана
2) Построить дерево
Узел дерева будет образован набором символов и числом

- суммарным количеством вхождений данных символов в тексте. Назовем указанное число - весом узла.
Листьями дерева будут узлы, образованные одним символом:
Циклически:
1) Ищем среди узлов, не имеющих родителя, два узла, имеющих в сумме наименьший вес.
2) Создаем новый узел, его потомками будут два выбранных узла. Его весом будет сумма весов выбранных улов. Его набор символов будет образован в результате объединения наборов символов выбранных узлов.
Для каждого узла, имеющего потомков, пометим дуги, идущие вниз, на одной дуге напишем 0, на другой 1. Чтобы получить код символа, надо, начиная с корня дерева идти вниз до листа соответствующего данному символу.

Слайд 11

Алгоритм Хаффмана. Пример построения дерева

Слайд 12

Код Фано

Слайд 13

Код Фано
Цена кодирования (средняя длина кодового слова является критерием степени оптимальности

кодирования. Это сумма произведений длины кода на вероятность появления кода. =1·0.4+3·0.2+3·0.1+4·0.1+4·0.1+4·0.05+4·0.05=2.5

Слайд 14

Оценка информационной значимости признаков (ак. Журавлев Ю.И.)
Пусть задана таблица бинарных

признаков для случая двух классов.
Определение 1: тестом таблицы называется совокупность столбцов таких, что после удаления из таблицы всех прочих столбцов все пары строк, принадлежащие разным классам, различны.
Определение 2: тест называется тупиковым, если никакая его истинная часть не является тестом.
Таким образом, тест – это минимальный набор признаков, для которого отсутствуют одинаковые векторы-строки в разных классах обучающей выборки.
Тупиковый тест - это не сжимаемое далее описание, которое содержит все сведения о разделении исходного множества объектов на классы.
Тупиковый тест не содержит внутри себя другие тесты с меньшим числом признаков.

Слайд 15

Оценка информативности признаков

Слайд 16

Задания на самостоятельную работу
1.Выполнить кодирование по Хаффману и по Фано произвольного

короткого текстового сообщения (с повторяющимися буквами)
2.Определить количество информации в русском алфавите по Шеннону
3. Определить тесты для заданной таблицы с учебной выборкой по методу академика Ю.И.Журавлева.

Теоретические основы информатики

Содержание

07.11.2021Лекция 1. Введение в дисциплину«Теоретические основы информатики"

07.11.2021Понятие информацииИнформация (от лат. informātiō «разъяснение, представление, понятие о чём-либо»— сведения независимо от формы их

07.11.2021Свойства информацииЗначимость. Свойство информации сохранять свою потребительскую ценность для получения в течение времени, то есть не подвергаться

07.11.2021Понятие информатикиИнформатика — фундаментальная естественная наука, изучающая общие свойства информации, процессы,

07.11.2021Понятие количества информацииФормулу для вычисления количества информации в случае различных вероятностей