Модель типового проекта создания хранилища данных

Содержание

Слайд 2

Создание хранилища данных Проектировщик хранилища данных должен иметь план проектирования хранилища

Создание хранилища данных

Проектировщик хранилища данных должен иметь план проектирования хранилища данных.
Каждый

член команды должен знать, какова цель проекта, какие задачи решаются в рамках проекта, какие задачи и в какие сроки должен решить каждый член команды.
Плохо спроектированная структура хранилища данных обычно приводит к сложности реализации хранилища данных и к увеличению сроков проекта. Плохо организованный проект создания хранилища данных, даже при качественном проектировании, часто приводит к провалу проекта.
Слайд 3

Жизненный цикл разработки хранилища данных

Жизненный цикл разработки хранилища данных

Слайд 4

Подготовка данных Точная идентификация бизнес-информации, которая должна храниться в хранилище данных.

Подготовка данных

Точная идентификация бизнес-информации, которая должна храниться в хранилище данных.
Идентификация предметных

областей, которые составят набор предметных областей хранилища данных.
Управление границами каждой предметной области.
Разработка масштабируемой архитектуры, точное определение и выбор структурных компонент.
Определение процедур извлечения, очистки, агрегации, преобразования и проверки данных.
Определение корректных уровней суммирования числовых показателей для поддержки бизнес-решений.
Определение и разработка процедур своевременного обновления данных.
Разработка дружественных интерфейсов и мощных инструментов аналитической обработки данных.
Разработка словаря метаданных для обеспечения общения с хранилищем данных пользователей.
Обучение персонала для работы с приложениями хранилища данных.
Определение и регламентирование процесса сопровождения и обслуживания хранилища данных.
Слайд 5

Модель жизненного цикла хранилища данных Жизненный цикл продукта – набор определенным

Модель жизненного цикла хранилища данных

Жизненный цикл продукта – набор определенным образом

расположенных во времени этапов, которые проходит продукт от момента его создания до момента его утилизации.
Стадии процесса создания и разработки хранилища данных:
планирование;
формулирование требований к системе складирования данных;
анализ;
проектирование;
конструирование;
внедрение;
поддержка.
Слайд 6

Планирование Задачи: выбор стратегии реализации и методологии разработки; анализ задач, для

Планирование

Задачи:
выбор стратегии реализации и методологии разработки;
анализ задач, для которых создается хранилище

данных;
анализ ресурсов разработки;
выбор архитектуры хранилища данных;
определение бюджета проекта;
разработка сценариев использования хранилища данных;
сбор метаданных для хранилища данных.
Слайд 7

Разработка требований Задачи: определение требований владельца хранилища данных; определение требований конечных

Разработка требований

Задачи:
определение требований владельца хранилища данных;
определение требований конечных пользователей;
определение технологических требований;
определение

архитектурных требований.
Слайд 8

Анализ Задачи: разработка логической модели данных для хранилища данных и киосков

Анализ

Задачи:
разработка логической модели данных для хранилища данных и киосков данных;
определение набора

инструментальных средств для работы с хранилищем данных.
Слайд 9

Проектирование Задачи: проектирование архитектуры данных (логическое и физическое проектирование); проектирование архитектуры

Проектирование

Задачи:
проектирование архитектуры данных (логическое и физическое проектирование);
проектирование архитектуры приложений (анализ запросов

и фиксация процессов взаимодействия хранилища данных с внешними источниками и пользователями).
Слайд 10

Построение Цель этапа – разработка программ и физической базы данных под

Построение

Цель этапа – разработка программ и физической базы данных под хранилище

данных.
Результат этапа – комплекс программ, работающих с хранилищем данных.
Слайд 11

Внедрение Результат этапа – всесторонняя подготовка перехода хранилища данных в промышленную эксплуатацию.

Внедрение

Результат этапа – всесторонняя подготовка перехода хранилища данных в промышленную эксплуатацию.

Слайд 12

Поддержка Поддержка работоспособности и масштабируемости программно-аппаратного обеспечения хранилища данных. Сбор, очистка,

Поддержка

Поддержка работоспособности и масштабируемости программно-аппаратного обеспечения хранилища данных.
Сбор, очистка, преобразование, загрузка

и актуализация данных в соответствии с установленными процедурами.
Поддержка автоматизированных мест пользователей.
Техническая поддержка со стороны разработчика хранилища данных.
Слайд 13

Бизнес-модель типового проекта создания хранилища данных

Бизнес-модель типового проекта создания хранилища данных

Слайд 14

Процесс разработки хранилища данных Этапы: формулирование требований; моделирование данных; разработка приложений

Процесс разработки хранилища данных

Этапы:
формулирование требований;
моделирование данных;
разработка приложений хранилища данных;
создание вычислительной среды;
проектирование

аналитических отчетов;
определение процедур извлечения, преобразования и загрузки данных (ETL);
проверка качества;
настройка производительности;
передача системы складирования данных в эксплуатацию.
Слайд 15

Формулирование требований Задача – идентификация требований заказчика хранилища данных и оформление

Формулирование требований

Задача – идентификация требований заказчика хранилища данных и оформление их

в виде документа.
Время выполнения – от двух недель до двух месяцев.
Результат – каталог требований, утвержденный заказчиком, и уточненный план проекта, который точно определяет используемые ресурсы и даты контрольных точек проверки хода выполнения проекта.
Потенциальные опасности – конфликт внутрикорпоративных интересов и необходимость наладить коммуникации для успешного выполнения и этапа и проекта в целом.
Слайд 16

Создание вычислительной среды Задача – создание информационно-вычислительной среды, в которой будет

Создание вычислительной среды

Задача – создание информационно-вычислительной среды, в которой будет разрабатываться

хранилище данных.
Время выполнения – от двух до четырех недель.
Результат – спецификации на программно-аппаратное обеспечение и программное обеспечение.
Потенциальные опасности – использование одного сервера базы данных для моделирования различных вычислительных сред.
Слайд 17

Моделирование данных Задача – разработка логической и физической моделей данных для

Моделирование данных

Задача – разработка логической и физической моделей данных для хранилища

данных.
Время выполнения – от двух недель до двух месяцев.
Результат – перечень источников данных и их описание, а также логическая и физическая модели данных.
Потенциальные опасности – недостаточная осведомленность проектировщиков о предметной области хранилища данных и низкое качество информации, поставляемой аналитиками предметной области.
Слайд 18

Определение процедур извлечения, преобразования и загрузки данных Задача – идентификация и

Определение процедур извлечения, преобразования и загрузки данных

Задача – идентификация и определение

процедур извлечения, очистки (фильтрации), преобразования и загрузки данных.
Время выполнения – от одной недели до полутора месяцев.
Результат – схема соответствия данных исходных систем и хранилища данных, программы или ETL-инструменты.
Потенциальные опасности – недооценка временных параметров, стремление сделать процесс ETL как можно более всеобъемлющим.
Слайд 19

Проектирование аналитических отчетов Задача – проектирование и разработка аналитических отчетов на

Проектирование аналитических отчетов

Задача – проектирование и разработка аналитических отчетов на спроектированной

структуре данных.
Время выполнения – до двух недель.
Результат – спецификация кубов данных (измерения и метрики) и разработанные отчеты.
Потенциальные опасности – не уделяется достаточного внимания оптимизации времени получения отчета.
Слайд 20

Разработка приложений Задача – формирование программной среды, в которой пользователи будут

Разработка приложений

Задача – формирование программной среды, в которой пользователи будут извлекать

данные из хранилища данных и просматривать предопределенные отчеты.
Время выполнения – от одной недели до месяца.
Результат – документация, описывающая механизм доставки пользователям отчетов и спецификации экранных форм.
Потенциальные опасности – ложное представление о достаточной квалификации пользователей хранилища данных для работы с ИТ-технологиями.
Слайд 21

Настройка производительности Задача – добиться оптимальной производительности ЕТL-процессов, производства отчетов и

Настройка производительности

Задача – добиться оптимальной производительности ЕТL-процессов, производства отчетов и их

доставки конечному пользователю.
Время выполнения – не более двух недель.
Результат – перечень рекомендаций по настройке производительности.
Потенциальные опасности – использование вычислительной среды разработки хранилища данных, которая не масштабируется к вычислительной среде эксплуатации хранилища данных.
Слайд 22

Проверка качества Задача – убедиться, что хранилище данных готово к эксплуатации.

Проверка качества

Задача – убедиться, что хранилище данных готово к эксплуатации.
Время выполнения

– от одной до четырех недель.
Результат – план тестирования хранилища данных и заключение о готовности хранилища данных к эксплуатации.
Потенциальные опасности – недостаточная квалификация людей, проверяющих хранилище данных, в области складирования данных.
Слайд 23

Передача в эксплуатацию Задача – передача системы складирования данных заказчику и

Передача в эксплуатацию

Задача – передача системы складирования данных заказчику и представление

ее конечным пользователям.
Время выполнения – от одного дня до нескольких недель.
Результат – акт приемки-сдачи.
Потенциальные опасности – неготовность потенциальных пользователей к работе с хранилищем данных.