Лекция 5_2011_М.ppt

Методы извлечения знаний
Коммуникативные Текстологические DM&KM
методы методы

Текст – вербализированное представление модели мира автора на ЕЯ

В любом тексте можно выделить:

a). Наличие некоторой системы понятий,
соответственно

Этапы восприятия текста

1. Чтение. Восприятие текста, как последовательности
синтаксических конструкций.

Приобретение знаний
Аналитик Программист
Источники
знаний БЗ
Средства
автоматизации
Источники

Проблемы автоматического распознавания текста

Шрифтовое и размерное разнообразие
Дефекты изображения
Близость изображений символов (контекст)
Посторонние

Задача классификации

Имеется N классов объектов:
Ώ1, Ώ2, . . .

OCR-системы

OCR - Optical Character Recognition
Текст

OCR-системы

OCR - Optical Character Recognition
Текст Сканер Графическое
изображение

OCR-системы

OCR - Optical Character Recognition
Текст Сканер Графическое OCR Цифровое

Принципы OCR

Принцип целостности образа.
В исследуемом объекте всегда есть значимые

Схема автоматического распознавания символа
Шейп Сравнение
с эталоном

Схема автоматического распознавания символа
Шейп Сравнение
с эталоном База
эталонов
Результат

Схема автоматического распознавания символа
Шейп Сравнение
с эталоном База
эталонов
Результат

Классификаторы

Шаблонные
Признаковые
Структурные

Схема работы FineReader

Шаблонный классификатор Признаковый классификатор
Формирование гипотезы 1
Оценка гипотезы

OСR-cистема Cognitive Forms

Создание шаблонов
Сканирование
Сортировка и комплектация
Сортировка удачна

Синтаксический анализ
Задача синтаксического анализа -
выявление связей между элементами,

«Текст- Смысл»

Читаем, слушаем
АНАЛИЗ: Модель «ТЕКСТ -- СМЫСЛ»
«тексты»

Уровни интерпретации текстов

Уровни интерпретации Возможности системы
Синтаксический - Понимание структуры

Синтаксический анализ
Задача синтаксического анализа -
выявление связей между элементами,

Морфологический анализ

с использованием словаря с использованием
основ, таблиц окончаний, словаря

Синтаксический анализ Построение дерева составляющих

Синтаксический анализ Построение дерева подчинения

Неоднозначность результатов синтаксического анализа
Веселые беззаботные студенты из Казани приехали в Москву

Семантический анализ

Семантический анализ – совокупность операций представления смысла текста с

Примеры ЛФ

Ключевое слово Изменение Разгромить Любить Служить
Выражение ЛФ Коренное Наголову Сильно

Тезаурусный метод
Список слов и Алфавитный словарь
ТЕЗАУРУС устойчивых слово- где

Формирование смысла
Уровень синтаксических Уровень глубинных конструкций структур ПОНИМАНИЕ ТЕКСТ «ВТОРОЙ

Уровни понимания смысла текста

Понимание содержания, изложенного в тексте, без привлечения дополнительных

Система автоматизированного восприятия смысла текста