СППР, хранилища и витрины данных, интеллектуальный анализ данных

Сентябрь 4, 2022

Главная
Информатика
СППР, хранилища и витрины данных, интеллектуальный анализ данных

Содержание

2. «Заглядывай вперед или окажешься позади» Бенджамин Франклин «Планировать – это хлопотать по поводу наилучшего метода получения
3. « Человека, который преуспел в руководстве, но не искушен в выполнении трех интеллектуальных функций управления (формирование
4. « Планирование – это проектирование желаемого будущего и эффективных путей его достижения. Это орудие мудрых, но
5. Технология Data Мining (также называемая Knowledge Discovery in Data) изучает процесс нахождения новых, действительных и потенциально
6. Системы поддержки принятия решений - СППР (DSS, Decision Support Systems) Основная задача СППР - предоставить аналитикам
7. Компьютерный анализ ситуаций, создаваемый СППР
8. Классы задач анализа данных Информационно-поисковый: СППР осуществляет поиск необходимых данных. Характерной чертой такого анализа является выполнение
10. OLTP (Online Transaction Processing), транзакционная система — обработка транзакций в реальном времени. Способ организации БД, при
11. Хранилища данных В основе концепции ХД лежит идея разделения данных, используемых для оперативной обработки и для
12. ОИД - оперативные источники данных
14. Проблемы создания физического ХД: необходимость интеграции данных из неоднородных источников в распределенной среде; потребность в эффективном
15. Buтpина данных (ВД) - это упрощенный вариант ХД, содержащий только тематически объединенные данные.
16. Архитектура ХД
17. Состав ХД Детальными являются данные, переносимые непосредственно из ОИД. Они соответствуют элементарным событиям, фиксируемым OL ТР
18. Состав ХД Для удобства работы с ХД необходима информация о содержащихся в нем данных. Такая информация
19. Информационные потоки в ХД Входной поток (Inflow) образуется данными, копируемыми из оперативных источников данных (ОИД) в
20. ЕТL- процесс (Еxtraction, Тransformation, Loading)
21. Очистка данных Уровень ячейки таблицы: Орфографические ошибки (опечатки) Oтсутствие данных Фиктивные значения Логически неверные значения Закодированные
22. ОLАР-системы Многомерная модель данных Измерение - это последовательность значений одного из анализируемых параметров. Например, для параметра
23. Гиперкуб
24. Операция среза (slice)
25. Операция вращения (rotate)
26. Консолидация (Drill Up) и детализация (Drill Down)
27. Двенадцать правил Кодда Многомерность Прозрачность Доступность Постоянная производительность при разработке отчетов Клиент-серверная архитектура Равноправие измерений Динамическое
28. Дополнительные правила Кодда Пакетное извлечение против интерпретации Поддержка всех моделей ОLАР-анализа Обработка ненормализованных данных Сохранение результатов
29. Тест FASMI F AST (Быстрый) ANALYSIS (Анализ) SHARED (Разделяемой) МULТIDIМЕNSIONАL (Mногомерной) INFORMAТION (Информации)
30. OLAP-серверы MOLAP - многомерный (multivаriаtе) ОLАР. Для реализации многомерной модели используют многомерные БД; ROLAP - реляционный
31. MOLAP Каждый «кубик» преобразуется в отдельную строку таблицы:
32. MOLAP Преимущества: поиск и выборка данных осуществляются значительно быстрее, легко включить в информационную модель разнообразные встроенные
33. MOLAP – когда использовать? объем исходных данных для анализа не слишком велик (не более нескольких гигабайт),
34. ROLAP – схема «звезда» В центре – таблица фактов, по краям – таблицы измерений
35. ROLAP – схема «снежинка»
37. Скачать презентацию

Слайд 2

«Заглядывай вперед или окажешься позади»
Бенджамин Франклин
«Планировать – это хлопотать по

поводу наилучшего метода получения случайного результата»
Амброз Бирс
« Решить – смириться с перевесом одних внешних влияний над другими»
Амброз Бирс

Слайд 3

« Человека, который преуспел в руководстве, но не искушен в выполнении

трех интеллектуальных функций управления (формирование политики, принятие решений и контроль), можно сравнить с циркачом на одноколесном велосипеде – он демонстрирует виртуозные трюки во время представления, но мальчик посыльный на обычном велосипеде движется более устойчиво и перевозит полезный груз»
Стаффорд Бир

Слайд 4

« Планирование – это проектирование желаемого будущего и эффективных путей его

достижения.
Это орудие мудрых, но не одних только их.
В руках же мелких людей оно часто превращается в бесполезный ритуал, который порождает кратковременную успокоенность, а не творит будущее, к которому стремятся.
Лучшие образцы планирования являются в такой же степени творениями искусства, как и науки. Здесь, как нигде, важно их гармоническое сочетание.»
Р.Л. Акофф

Слайд 5

Технология Data Мining
(также называемая Knowledge Discovery in Data) изучает процесс нахождения

новых, действительных и потенциально полезных знаний в базах данных.
Data Мining лежит на пересечении нескольких наук, главные из которых - это системы баз данных, статистика и искусственный интеллект.

Слайд 6

Системы поддержки принятия решений - СППР
(DSS, Decision Support Systems)
Основная задача

СППР - предоставить аналитикам инструмент для выполнения анализа данных. Необходимо отметить, что для эффективного использования СППР ее пользователь-аналитик должен обладать соответствующей квалификацией.
Система не генерирует правильные решения, а только предоставляет аналитику данные в соответствующем виде (отчеты, таблицы, графики и т. п.) для изучения и анализа.
СППР решают три основные задачи: сбор, хранение и анализ хранимой информации.

Слайд 7

Компьютерный анализ ситуаций, создаваемый СППР

Слайд 8

Классы задач анализа данных
Информационно-поисковый: СППР осуществляет поиск необходимых данных. Характерной чертой

такого анализа является выполнение заранее определенных запросов.
Оперативно-аналитический: СППР производит группирование и обобщение данных в любом виде, необходимом аналитику. В отличие от информационно-поискового анализа в данном случае невозможно заранее предсказать необходимые аналитику запросы. Применяется многомерное представлений данных.
Интеллектуальный: СППР осуществляет поиск функциональных и логических закономерностей в накопленных данных, построение моделей и правил. которые объясняют найденные закономерности и/или прогнозируют развитие некоторых процессов (с определенной вероятностью).

Слайд 9

Слайд 10

OLTP (Online Transaction Processing), транзакционная система — обработка транзакций
в реальном

времени. Способ организации БД, при котором система работает с небольшими
по размерам транзакциями, но идущими большим потоком, и при этом клиенту требуется
от системы минимальное время отклика.
Термин OLTP применяют также к системам (приложениям). OLTP-системы предназначены
для ввода, структурированного хранения и обработки информации (операций, документов)
в режиме реального времени.

Слайд 11

Хранилища данных
В основе концепции ХД лежит идея разделения данных, используемых для

оперативной обработки и для решения задач анализа.
Хранилище данных - предметно ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений.

Слайд 12

ОИД - оперативные источники данных

Слайд 13

Слайд 14

Проблемы создания физического ХД:
необходимость интеграции данных из неоднородных источников в распределенной

среде;
потребность в эффективном хранении и обработке очень больших объемов информации;
необходимость наличия многоуровневых справочников метаданных;
повышенные требования к безопасности данных.

Слайд 15

Buтpина данных (ВД) - это упрощенный вариант ХД, содержащий только тематически

объединенные данные.

Слайд 16

Архитектура ХД

Слайд 17

Состав ХД
Детальными являются данные, переносимые непосредственно из ОИД. Они соответствуют элементарным

событиям, фиксируемым OL ТР системами. (Haпример, продажи, эксперименты и др.). Принято разделять все данные на измерения и факты.
Измерениями называются наборы данных, необходимые для описания событий (например, города, товары, люди и т. п.).
Фактами называются данные, отражающие сущность события (например, количество проданного товара, результаты экспериментов и т. п.).
На основании детальных данных могут быть получены агрегированные (обобщенные) данные.

Слайд 18

Состав ХД
Для удобства работы с ХД необходима информация о содержащихся в

нем данных. Такая информация называется метаданными (данные о данных).
Coгласно концепции Дж. Захмана, метаданные должны отвечать на следующие вопросы
что (описание объектов),
кто (описание пользователей),
где (описание места хранения),
как (описание действий),
когда (описание времени)
и почему (описание причин).

Слайд 19

Информационные потоки в ХД
Входной поток (Inflow) образуется данными, копируемыми из оперативных

источников данных (ОИД) в ХД;
поток обобщения (Upflow) образуется аrреrированием детальных дaнных и их сохранением в ХД;
архивный поток (Downflow) образуется перемещением детальных дaнных, количество обращений к которым снизилось;
поток метаданных (MetaFlow) образуется переносом информации о данных в репозиторий данных;
выходной поток (Outf1ow) образуется данными, извлекаемыми пользователями;
обратный поток (Feedback Flow) образуется очищенными данными, записываемыми обратно в ОИД.

Слайд 20

ЕТL- процесс (Еxtraction, Тransformation, Loading)

Слайд 21

Очистка данных
Уровень ячейки таблицы:
Орфографические ошибки (опечатки)
Oтсутствие данных
Фиктивные значения
Логически

неверные значения
Закодированные значения
Составные значения

Слайд 22

ОLАР-системы Многомерная модель данных
Измерение - это последовательность значений одного из анализируемых

параметров. Например, для параметра "время" это последовательность календарных дней, для параметра "реrион" это может быть список городов.
По ученому Кодду, многомерное концептуальное представление (multidimel1siol1al conceptual view) - это множественная перспектива, состоящая из нескольких независимых измерений, вдоль которых могут быть проанализированы определенные совокупности данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ.

Слайд 23

Гиперкуб

Слайд 24

Операция среза (slice)

Слайд 25

Операция вращения (rotate)

Слайд 26

Консолидация (Drill Up) и детализация (Drill Down)

Слайд 27

Двенадцать правил Кодда
Многомерность
Прозрачность
Доступность
Постоянная производительность при разработке отчетов
Клиент-серверная архитектура
Равноправие измерений
Динамическое

управление разреженными матрицами.
Поддержка многопользовательского режима
Неограниченные перекрестные операции
Интуитивная манипуляция данными
Гибкие возможности получения отчетов
Неограниченная размерность и число уровней агрегации

Слайд 28

Дополнительные правила Кодда
Пакетное извлечение против интерпретации
Поддержка всех моделей ОLАР-анализа
Обработка ненормализованных

данных
Сохранение результатов OLAP: хранение их отдельно от исходных данных
Исключение отсутствующих значений
Обработка отсутствующих значений

Слайд 29

Тест FASMI
F AST (Быстрый)
ANALYSIS (Анализ)
SHARED (Разделяемой)
МULТIDIМЕNSIONАL (Mногомерной)

INFORMAТION (Информации)

Слайд 30

OLAP-серверы
MOLAP - многомерный (multivаriаtе) ОLАР. Для реализации многомерной модели используют многомерные

БД;
ROLAP - реляционный (relаtiоnаl) OLAP. Для реализации многомерной модели используют реляционные БД;
HOLAP - гибридный (hybrid) OLAP. Для реализации многомерной модели используют и многомерные, и реляционные БД.

Слайд 31

MOLAP
Каждый «кубик» преобразуется в отдельную строку таблицы:

Слайд 32

MOLAP
Преимущества:
поиск и выборка данных осуществляются значительно быстрее,
легко включить в информационную

модель разнообразные встроенные функции.
Недостатки:
большой объем,
сложно хранить разреженные данные,
чувствительны к изменениям структуры многомерной модели.

Слайд 33

MOLAP – когда использовать?
объем исходных данных для анализа не слишком велик

(не более нескольких гигабайт), т. е. уровень агрегации данных достаточно высок;
набор информационных измерений стабилен;
время ответа системы на нерегламентированные запросы является наиболее критичным параметром;
требуется широкое использование сложных встроенных функций.

Слайд 34

ROLAP – схема «звезда»
В центре – таблица фактов, по краям –

таблицы измерений

Слайд 35

СППР, хранилища и витрины данных, интеллектуальный анализ данных

Содержание

«Заглядывай вперед или окажешься позади» Бенджамин Франклин«Планировать – это хлопотать по

« Человека, который преуспел в руководстве, но не искушен в выполнении

« Планирование – это проектирование желаемого будущего и эффективных путей его

Технология Data Мining(также называемая Knowledge Discovery in Data) изучает процесс нахождения

Системы поддержки принятия решений - СППР (DSS, Decision Support Systems)Основная задача

Компьютерный анализ ситуаций, создаваемый СППР

Классы задач анализа данныхИнформационно-поисковый: СППР осуществляет поиск необходимых данных. Характерной чертой

OLTP (Online Transaction Processing), транзакционная система — обработка транзакций в реальном

Хранилища данныхВ основе концепции ХД лежит идея разделения данных, используемых для

ОИД - оперативные источники данных

Проблемы создания физического ХД:необходимость интеграции данных из неоднородных источников в распределенной

Buтpина данных (ВД) - это упрощенный вариант ХД, содержащий только тематически

Архитектура ХД

Состав ХДДетальными являются данные, переносимые непосредственно из ОИД. Они соответствуют элементарным

Состав ХДДля удобства работы с ХД необходима информация о содержащихся в

Информационные потоки в ХДВходной поток (Inflow) образуется данными, копируемыми из оперативных

ЕТL- процесс (Еxtraction, Тransformation, Loading)

Очистка данных Уровень ячейки таблицы:Орфографические ошибки (опечатки) Oтсутствие данныхФиктивные значения Логически

ОLАР-системы Многомерная модель данныхИзмерение - это последовательность значений одного из анализируемых