Технологии обработки информации. (Лекция 1)

Август 3, 2022

Главная
Информатика
Технологии обработки информации. (Лекция 1)

Содержание

2. Содержание Структура курса Основные понятия – информация, данные, знания Виды информации Обработка данных и ее виды
3. Структура курса Итоговая аттестация — экзамен
4. Выписка из ГОС Студент должен знать: основные виды и процедуры обработки информации, модели и методы решения
5. Лекции Введение. Понятие информации, данных, знаний. Типы данных. Общие задачи обработки информации. Задачи обработки данных различных
6. Лабораторные работы Методы и алгоритмы сжатия информации (8 часов) Методы и алгоритмы обработки текстовой информации. Алгоритмы
7. Учебно-методическое обеспечение дисциплины Программные продукты: Microsoft SQL Server 2008 Analysis Services Microsoft Visual Studio 2010 Borland
8. Введение. Основные понятия В чем разница между данными, информацией и знаниями?
9. Понятие информации (1) Понятие информации переживает свою эволюцию Философы: информация - это передача, отражение разнообразия в
10. Понятие информации, данных (2) Информация (от лат. informatio, разъяснение, изложение, осведомленность) — сведения о чем-либо, независимо
11. Понятие информации, данных (3) Информация - это потенциальное свойство данных, которое может быть реализовано одним воспринявшим
12. Виды информации Текстовая — передаваемая в виде символов, предназначенных обозначать лексемы языка Числовая — в виде
13. Способы обработки информации неавтоматизированный автоматизированный
14. Обработка данных (1) Обработка - преобразование объектов обработки, которое придает им новые, необходимые свойства. Это преобразование
15. Обработка данных (2) Алгоритм - это точное, т. е. сформулированное на определенном языке, конечное описание того
16. Модель процесса обработки данных. Конечные автоматы Конечным автоматом называется набор из пяти объектов , в котором:
17. Модель процесса обработки данных. Сети Петри В сетях Петри события и условия представлены абстрактными символами из
18. Типичные цели обработки данных собрать всю доступную информацию, представленную в данных различной природы отделить существенную информацию,
19. Общие задачи обработки данных (1) сбор данных оценка качества данных ввод данных в различные информационные системы
20. Общие задачи обработки данных (2) доступ к данным поиск нужных данных в накопленных массивах данных контроль
21. Общие задачи обработки данных (3) представление данных, как то: наглядные представления данных: текстовое представление данных табличное
22. Общие задачи обработки данных. Выводы ввод (в т.ч. оцифровка) поиск сортировка фильтрация классификация (интерпретация) сжатие (компрессия)
23. Этапы процесса обработки данных
24. Понятие анализа данных Анализ данных — область математики и информатики, занимающаяся построением и исследованием наиболее общих
25. OLAP OLAP (англ. online analytical processing, оперативная аналитическая обработка) — технология обработки данных, заключающаяся в подготовке
26. Структура OLAP-куба
27. Обработка тестовых данных (1) поиск (в т.ч. по ключевым словам) семантический анализ тематическая и жанровая классификация
28. Обработка тестовых данных (2) Результаты обработки текстов песен-победителей "Евровидения« с 1956 по 2010 гг.
29. Обработка изображений Геометрические преобразования Цветовая коррекция Сравнение двух и более изображений Комбинирование изображений различными способами Интерполяция
30. Обработка числовой информации Задачи Классификация Кластеризация Сокращение описания Ассоциация Прогнозирование Анализ отклонений Оценивание Анализ связей Статические
31. Что такое Data Mining Data Mining – «добыча данных» Извлечение новых знаний и неочевидных зависимостей из
32. Прикладные области обработки данных (1) Астрономия Медицина и биотехнологии Бухгалтерский учёт и инвентаризация Издательское дело Компьютерная
33. Прикладные области обработки данных (2) Обучение Представление знаний Прикладная статистика Экономическая кибернетика Экспериментальная психология
35. Скачать презентацию

Слайд 2

Содержание
Структура курса
Основные понятия – информация, данные, знания
Виды информации
Обработка данных и ее

виды
Модели процессов обработки данных
Общие задачи обработки данных
Понятие анализа данных. Технология OLAP
Задачи обработки данных различных типов
Прикладные области обработки данных
,

Слайд 3

Структура курса
Итоговая аттестация — экзамен

Слайд 4

Выписка из ГОС
Студент должен знать:
основные виды и процедуры обработки информации, модели

и методы решения задач обработки информации (генерация отчетов, поддержка принятия решений, анализ данных, искусственный интеллект, обработка изображений)
Студент должен уметь:
осуществлять математическую и информационную постановку задач по обработке информации, использовать алгоритмы обработки информации для различных приложений
Студент должен владеть:
инструментальными средствами обработки информации

Слайд 5

Лекции
Введение. Понятие информации, данных, знаний. Типы данных. Общие задачи обработки информации.

Задачи обработки данных различных типов
Принципы и методы оцифровки аналоговых данных. Стандарты представления различных видов цифровой информации
Технология обработки графической информации. Кодирование и сжатие изображений
Технология обработки текстовой информации
Задачи анализа. Сжатие данных
Аналитическая обработка информации. Технология OLAP
Технология обработки числовой информации. Статистические методы. Технология Data Mining. Методы визуализации данных
Методы и технологии интеграции данных
Задачи анализа. Технологии поиска информации

Слайд 6

Лабораторные работы
Методы и алгоритмы сжатия информации (8 часов)
Методы и алгоритмы обработки

текстовой информации. Алгоритмы поиска и сортировки информации (8 часов)
Технология обработки графической информации. Практическое изучение и освоение возможностей методов бинарного анализа при решении задач выделение контуров, выпуклых областей и связных компонент (8 часов)
Интеллектуальные методы и алгоритмы обработки информации. Алгоритмы классификации (8 часов)

Слайд 7

Учебно-методическое обеспечение дисциплины
Программные продукты:
Microsoft SQL Server 2008 Analysis Services
Microsoft Visual

Studio 2010
Borland Delphi, C++ Builder
Источники:
Интернет-портал дисциплины ТОИ http://portal.tpu.ru/departments/kafedra/vt/Disciplines_VT/Tehnology_obrabotki_informacii
MIT OpenCourseWare http://ocw.mit.edu
Школа анализа данных Яндекс http://shad.yandex.ru/
Юрий Лифшиц - курс "Алгоритмы для Интернета" http://yury.name/internet/
Чубукова И.А. Data Mining: учебное пособие – 2-е изд., испр. – М.: Интернет-Университет Информационных технологий; БИНОМ. Лаборатория знаний, 2010. – 382 с.
Назаров С.В. и др. Основы информационных технологий. Курс на портале Интернет-университета Информационных технологий http://www.intuit.ru/department/informatics/fundamentti/1/

Слайд 8

Введение. Основные понятия
В чем разница между данными, информацией и знаниями?

Слайд 9

Понятие информации (1)
Понятие информации переживает свою эволюцию
Философы:
информация - это

передача, отражение разнообразия в любых объектах и процессах живой и даже неживой природы
Математики, физики и специалисты по системам связи:
информация - фактор и мера уменьшения, снятия неопределенности в результате получения сообщения
Кибернетики:
информация - сообщение, неразрывно связанное с управлением в единстве синтаксических, семантических и прагматических характеристик
Для социологов важны аксиологические (т. е. связанные с ценностью, полезностью) свойства информации, для ИТ-специалистов наиболее существенным является знаковое представление информации и т.д.

Слайд 10

Понятие информации, данных (2)
Информация (от лат. informatio, разъяснение, изложение, осведомленность) —

сведения о чем-либо, независимо от формы их представления (Википедия)
Информация - новые знания, полученные в результате интерпретации данных (Энциклопедия технологий баз данных)
Данные - факты, идеи, сведения, представленные в знаковой (символьной) форме, позволяющей производить их передачу, обработку и интерпретацию
Данные – представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе (Википедия)

Слайд 11

Понятие информации, данных (3)
Информация - это потенциальное свойство данных, которое может

быть реализовано одним воспринявшим их человеком и не реализовано другим
Объектом машинной обработки являются данные, а не информация!
Знание — форма существования и систематизации результатов познавательной деятельности человека, субъективный образ реальности в форме понятий и представлений (Википедия)
Сведения - это знания, выраженные в сигналах, сообщениях, известиях, уведомлениях и т.д.

Слайд 12

Виды информации
Текстовая — передаваемая в виде символов, предназначенных обозначать лексемы языка
Числовая

— в виде цифр и знаков, обозначающих математические действия
Графическая — в виде изображений, предметов, графиков
Звуковая — устная или в виде записи и передачи лексем языка аудиальным путём
другие виды

Слайд 13

Способы обработки информации
неавтоматизированный
автоматизированный

Слайд 14

Обработка данных (1)
Обработка - преобразование объектов обработки, которое придает им новые,

необходимые свойства. Это преобразование осуществляется в форме процесса, протекающего во времени
Технология – система взаимосвязанных способов обработки материалов и приемов изготовления продукции в производственном процессе
Информационная технология – совокупность методов, способов, приемов и средств обработки документированной информации, включая прикладные программные средства, и регламентированного порядка их применения
Важное свойство процесса обработки – этапность, стадийность

Слайд 15

Обработка данных (2)
Алгоритм - это точное, т. е. сформулированное на определенном

языке, конечное описание того или иного общего метода, основанного на применении исполнимых элементарных тактов обработки
Виды обработки:
последовательная
параллельная
Формальные модели обработки данных:
конечные автоматы
сети Петри
процессы Хоара
системы и сети массового обслуживания и др.

Слайд 16

Модель процесса обработки данных. Конечные автоматы
Конечным автоматом называется набор из пяти

объектов , в котором:
- входной алфавит;
- выходной алфавит);
- множество внутренних состояний автомата;
- функция перехода в следующее состояние (переходная функция);
- функция выхода (выходная функция).

Слайд 17

Модель процесса обработки данных. Сети Петри
В сетях Петри события и условия

представлены абстрактными символами из двух непересекающихся алфавитов, называемых соответственно множеством переходов и множеством мест

В процессе функционирования сети происходит смена разметок мест, как результат срабатывания ее переходов. Сеть останавливается, если ни один из ее переходов не может сработать

Слайд 18

Типичные цели обработки данных
собрать всю доступную информацию, представленную в данных различной

природы
отделить существенную информацию, представленную данными, от несущественной, для рассмотрения в данный момент
представить существенную информацию в виде, наиболее удобном для восприятия человеком

Слайд 19

Общие задачи обработки данных (1)
сбор данных
оценка качества данных
ввод данных в

различные информационные системы
автоматический ввод данных
ручной ввод данных
контроль и исправление ошибок ручного ввода
накопление данных
хранение накопленных данных, в том числе:
учёт и инвентаризация данных
сортировка данных
классификация данных

Слайд 20

Общие задачи обработки данных (2)
доступ к данным
поиск нужных данных в

накопленных массивах данных
контроль доступа и защита данных
передача данных и обмен данными
интеграция данных
упаковка данных
маркировка данных
надёжность передачи данных

Слайд 21

Общие задачи обработки данных (3)
представление данных, как то:
наглядные представления данных:

текстовое представление данных
табличное представление данных
графическое представление данных
иное визуальное представление данных
форматы представления данных в различных информационных системах

Слайд 22

Общие задачи обработки данных. Выводы
ввод (в т.ч. оцифровка)
поиск
сортировка
фильтрация
классификация (интерпретация)
сжатие (компрессия)
представление (форматы,

визуализация)

Слайд 23

Этапы процесса обработки данных

Слайд 24

Понятие анализа данных
Анализ данных — область математики и информатики, занимающаяся построением

и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений
Интеллектуальный анализ данных (Business intelligence, BI) — это особый метод анализа данных, который фокусируется на моделировании и открытии данных, а не на их описании

Слайд 25

OLAP
OLAP (англ. online analytical processing, оперативная аналитическая обработка) — технология обработки

данных, заключающаяся в подготовке суммарной (агрегированной) информации на основе больших массивов данных, структурированных по многомерному принципу
Агрегатные функции образуют многомерный (и, следовательно, нереляционный) набор данных (называемый гиперкубом или метакубом), оси которого содержат параметры, а ячейки — зависящие от них агрегатные данные. Вдоль каждой оси данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации

Слайд 26

Структура OLAP-куба

Слайд 27

Обработка тестовых данных (1)
поиск (в т.ч. по ключевым словам)
семантический анализ
тематическая и

жанровая классификация сообщений на основе лексико-статистического анализа (в т.ч. фильтрация спама)
отбор сообщений на основе структурно-статистических признаков
оценка достоверности
сокращения избыточности представления (реферирование и аннотирование)
сжатие текстовых данных

Слайд 28

Обработка тестовых данных (2)
Результаты обработки текстов песен-победителей "Евровидения« с 1956 по

2010 гг.

Слайд 29

Обработка изображений
Геометрические преобразования
Цветовая коррекция
Сравнение двух и более изображений
Комбинирование изображений различными способами
Интерполяция

и сглаживание
Разделение изображения на области (сегментация изображений).
Редактирование и ретуширование
Фильтрация изображений
Распознавание текста
Машинное зрение
Сжатие изображений

Слайд 30

Обработка числовой информации
Задачи
Классификация
Кластеризация
Сокращение описания
Ассоциация
Прогнозирование
Анализ отклонений
Оценивание
Анализ связей
Статические методы
Машинное обучение

Слайд 31

Что такое Data Mining
Data Mining – «добыча данных»
Извлечение новых знаний и

неочевидных зависимостей из больших объемов сложных данных
Предмет интереса:
Нетривиальные знания
Неявные зависимости
Предварительно неизвестные знания
Потенциально полезные знания
Синонимы
Интеллектуальный анализ данных - Business Intelligence
Открытие знаний в БД
Базы знаний. Извлечение знаний
Анализ паттернов

Слайд 32

Прикладные области обработки данных (1)
Астрономия
Медицина и биотехнологии
Бухгалтерский учёт и инвентаризация
Издательское дело
Компьютерная

графика и обработка изображений
Конкурентная разведка
Криптография
Нанотехнологии
Обработка результатов экспериментов
Обработка сигналов

Слайд 33

Технологии обработки информации. (Лекция 1)

Содержание

СодержаниеСтруктура курсаОсновные понятия – информация, данные, знанияВиды информацииОбработка данных и ее

Структура курсаИтоговая аттестация — экзамен

Выписка из ГОССтудент должен знать:основные виды и процедуры обработки информации, модели

ЛекцииВведение. Понятие информации, данных, знаний. Типы данных. Общие задачи обработки информации.

Лабораторные работыМетоды и алгоритмы сжатия информации (8 часов)Методы и алгоритмы обработки

Учебно-методическое обеспечение дисциплиныПрограммные продукты:Microsoft SQL Server 2008 Analysis Services Microsoft Visual

Введение. Основные понятияВ чем разница между данными, информацией и знаниями?

Понятие информации (1) Понятие информации переживает свою эволюциюФилософы: информация - это

Понятие информации, данных (2)Информация (от лат. informatio, разъяснение, изложение, осведомленность) —

Понятие информации, данных (3)Информация - это потенциальное свойство данных, которое может

Виды информацииТекстовая — передаваемая в виде символов, предназначенных обозначать лексемы языкаЧисловая

Способы обработки информациинеавтоматизированныйавтоматизированный

Обработка данных (1)Обработка - преобразование объектов обработки, которое придает им новые,

Обработка данных (2)Алгоритм - это точное, т. е. сформулированное на определенном

Модель процесса обработки данных. Конечные автоматыКонечным автоматом называется набор из пяти

Модель процесса обработки данных. Сети ПетриВ сетях Петри события и условия

Типичные цели обработки данныхсобрать всю доступную информацию, представленную в данных различной

Общие задачи обработки данных (1)сбор данных оценка качества данныхввод данных в

Общие задачи обработки данных (2)доступ к данным поиск нужных данных в

Общие задачи обработки данных (3)представление данных, как то: наглядные представления данных:

Общие задачи обработки данных. Выводыввод (в т.ч. оцифровка)поисксортировкафильтрацияклассификация (интерпретация)сжатие (компрессия)представление (форматы,