Содержание
- 2. Гомогенные и гетерогенные распределенные БД РБД можно классифицировать на гомогенные и гетерогенные. Гомогенной РБД управляет один
- 3. Гомогенные и гетерогенные распределенные БД Гомогенные РБД значительно проще проектировать и сопровождать. Кроме того, подобный подход
- 4. Интеграция данных главной проблемой подхода к хранению информации в РБД является разнородность и удаленность источников данных
- 5. Модель интеграции данных включает: приложения - это решения, созданные поставщиками в соответствии с требованиями клиентов, которые
- 6. Методы интеграции 1 2 3 4 5 Извлече- ние Преобразование Загрузка в БД Распростране-ние данных Федерализа-ция
- 7. Консолидация данных Консолидация — комплекс методов и процедур, направленных на извлечение данных из различных источников, обеспечение
- 8. Необходимость консолидации данных Задачи бизнес-аналитики: Данные на предприятии расположены в различных источниках самых разнообразных форматов и
- 9. Цели консолидации доведение данных до приемлемого уровня качества и информативности организация интегрированного хранения данных в структурах,
- 10. Основа консолидации Консолидация данных является начальным этапом реализации любой аналитической задачи или проекта. В основе консолидации
- 11. Основные критерии оптимальности с точки зрения консолидации данных: обеспечение высокой скорости доступа к данным; компактность хранения;
- 12. Источники данных Источник данных — объект, содержащий структурированные данные, которые могут оказаться полезными для решения аналитической
- 13. Основные задачи консолидации данных выбор источников данных, определение типа источников, определение методики организации доступа к источникам
- 14. Выбор источников данных данные, хранящиеся в отдельных (локальных) файлах преимущества: могут легко создаваться и редактироваться, не
- 15. Разработка стратегии консолидации При разработке стратегии консолидации данных необходимо учитывать характер расположения источников данных — локальный,
- 16. Обогащение данных Обогащение данных— процесс дополнения данных некоторой информацией, позволяющей повысить эффективность решения аналитических задач. Обогащение
- 17. Очистка данных Очистка данных — комплекс методов и процедур, направленных на устранение причин, мешающих корректной обработке:
- 18. Обобщенная схема процесса консолидации
- 19. Процесс ETL В основе процедуры консолидации лежит процесс ETL (extraction, transformation, loading). Процесс ETL решает задачи:
- 20. Обобщенная структура процесса ETL Перемещение данных в процессе ETL можно разбить на последовательность процедур, представленных следующей
- 21. Извлечение данных в ETL Начальным этапом процесса ETL является процедура извлечения записей из источника данных и
- 22. 1. Извлечение данных с помощью специализированных программных средств Преимущества: позволяет, избежать необходимости оснащать разрабатываемые системы средствами
- 23. 2. Извлечение данных средствами той системы, в которой они хранятся Поскольку средства «самовыгрузки» разрабатываются с учетом
- 24. Схема организации ETL После извлечения данные помещаются в так называемую промежуточную область, где для каждого источника
- 25. Процесс преобразования данных в ETL В процессе преобразования данных в рамках ETL чаще всего выполняются следующие
- 26. Преобразование структуры данных Во многих случаях данные поступают в хранилище, интегрируясь из множества источников, которые создавались
- 27. Агрегирование данных Как правило, в качестве источников данных для хранилищ выступают системы оперативной обработки данных (OLTP-системы),
- 28. Агрегирование данных Фактически при агрегировании производится объединение нескольких записей в одну с вычислением агрегированного значения на
- 29. Пример агрегирования
- 30. Агрегирование данных Из всех возможных вариантов агрегирования следует выбрать наиболее значимые с точки зрения планируемых направлений
- 31. Перевод значений Часто данные в источниках хранятся с использованием специальных кодировок, которые позволяют сократить избыточность данных
- 32. Создание новых данных В процессе загрузки в ХД может понадобиться вычисление некоторых новых данных на основе
- 33. Очистка данных Сбор данных в процессе ETL производится из большого числа источников, многие из которых не
- 34. Загрузка данных в хранилище
- 35. Постзагрузочные операции После завершения загрузки выполняются дополнительные операции над данными, только что загруженными в ХД, перед
- 36. Пример верификационных тестов при суммировании продаж по одному измерению результат должен совпадать с соответствующей суммой, полученной
- 37. Пример консолидации данных предприятия Процесс сбора, хранения и оперативной обработки данных на типичном предприятии обычно содержит
- 38. Пример консолидации данных предприятия Из источников данных всех перечисленных уровней информация в соответствии с некоторым регламентом
- 39. Консолидация данных Консолидация данных является сложной многоступенчатой процедурой и важнейшей составляющей аналитического процесса, обеспечивающей высокий уровень
- 40. Виртуализации данных В основе федерализации лежит виртуализация данных виртуализация - абстрагировании данных от конкретной формы их
- 41. Общая схема виртуализации данных данные, физически оставаясь на месте, объединяются в один виртуальный пул, а затем
- 42. Процесс виртуализации: Виртуализация данных — процесс предоставления данных пользователям посредством интерфейса, скрывающего все технические аспекты хранения
- 43. Технические приемы виртуализации федерирующий сервер, единообразно представляющий данные из разных источников, с тем чтобы приложения видели
- 44. Федерализация данных Федерализация данных — одна из возможных форм организации данных в гетерогенных хранилищах, предусматривающая единообразный
- 45. Компоненты системы виртуализации
- 46. Федерализация данных федерализация данных - это обеспечение единой виртуальной картины одного или нескольких источников исходных данных.
- 47. Федерализация данных все необходимые преобразования данных осуществляются при их извлечении из источников некоторые федеративные решения могут
- 48. Преимущества федерализации данных федеративный подход - обеспечивает доступ к текущим данным и избавляет от необходимости консолидировать
- 49. Недостатки федерализации данных федерализация данных не очень хорошо подходит для: извлечения и согласования больших массивов данных
- 50. Распространение данных приложения распространения данных осуществляют копирование данных из одного места в другое эти приложения обычно
- 52. Скачать презентацию