Методы обогащения данных

Проблема

Решение

Комплекс мер по улучшению качества данных

Стандартизация: понятие

Стандартизация – это унификация представления и приведение к единому формату

Стандартизация: парсинг

Парсинг – грамматический или лексический анализ текста. Осуществляет деление поля

Стандартизация: словари

Использование машинных словарей (справочников имен, телефонных кодов, КЛАДР, БИК…) позволяет

Стандартизация: регулярные выражения

Регулярные выражения позволяют производить манипуляции с данными, используя шаблоны:
находить

Очистка данных: понятие

Очистка данных – процесс выявления и исправления ошибок, позволяющий

Очистка: частотный анализ

Метод основывается на анализе частоты появления определенного значения или

Очистка: контрольные числа

В основе алгоритма контрольных чисел лежит расчет определенных функций,

Очистка: схожесть строк

Анализ строк выявляет «похожесть» записей с помощью алгоритмов сравнения

Очистка: дедубликация

Дедубликация основывается на поиске совпадающих и похожих объектов по определенным

Очистка: другие методы

Для очистки данных используются и другие методы:
Формализованные правила: накладывание

Обогащение – процесс насыщения данных новой информацией, которая позволяет сделать их

Анализ связей исследует взаимосвязанные объекты и определяет закономерности между ними.

Обогащение: анализ

Обогащение: поиск близких объектов

Поиск близких объектов основывается на «схожести» значений признаков

Обогащение: другие методы

Обогащение данных предполагает применение и комбинирование множества методов:
Реорганизация самих