Автоматизированная обработка естественного языка

Сентябрь 7, 2022

Главная
Алгебра
Автоматизированная обработка естественного языка

Содержание

2. NLP: истоки возникло в конце 60-х гг. развивалось в рамках дисциплины «искусственный интеллект». АОЕЯ — разработка
3. Проблема организации взаимодействия с компьютерными Решение этой проблемы коммуникации шло по двум основным путям. 1 -
4. NLP и ЛИНГВИСТИКА Фонология (звуки речи) Морфология (структура и форма слов ЕЯ) Синтаксис (структура и функции
5. NLP: МАТЕМАТИКА и ИНФОРМАТИКА Математическая лингвистика Квантитативная лингвистика (изучение языка/речи количественными методами) Теория формальных языков и
6. NLP и ИСКУССТВЕННЫЙ ИНТЕЛЕКТ Междисциплинарный характер области ИИ: составная часть Computer Science , пересечение (по задачам
7. ОСОБЕННОСТИ ЕЯ ЕЯ – сложная система знаков, возникшая для обмена информацией в процессе человеческой деятельности и
8. ОСОБЕННОСТИ ЕЯ: УРОВНИ Фонологический: звуки ( фонемы )/ буквы – незначащие единицы , средство различения др.
9. ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ: Семантический : набор элементарных единиц – сем Лексический : множество лексем (лексикон) Дискурсивный
10. ⇒ невозможность единожды создать лингв. процессор Сложность системы ЕЯ Взаимосвязь всех уровней Нестандартная сочетаемость (синтактика) единиц
11. Сложность ЕЯ ⇒МОДУЛЬНОСТЬ ЛИНГВ. ПРОЦЕСОРОВ Графематический анализ Морфологический анализ Постморфологический анализ: разрешение морфологической омонимии Предсинтаксис: сегментация
12. Архитектура систем NLP блок анализа речевого сообщения пользователя, блок интерпретации сообщения, блок порождения смысла ответа, блок
13. Блок анализа морфологический анализ словоформ синтаксический и семантический анализ предложений.
14. Блок порождения смысла определение информации, которую следует передать пользователю, предполагаемое членение информации на «порции», соответствующие предложению;
15. Блок синтеза поверхностной структуры высказывания упаковка семантического представления высказывания в синтаксические структуры предложения. Здесь играют существенную
17. Современные речевые технологии Распознавание речи Синтез речи по тексту Выделение ключевых слов в слитной речи
18. ПРИКЛАДНЫЕ ЗАДАЧИ NLP Определение языка сообщений Идентификация диктора Определение эмоционального и физического состояния человека по его
20. Siri англ. Speech Interpretation and Recognition Interface персональный помощник и вопросно-ответная система, адаптированная для iPhone OS.
46. Скачать презентацию

Слайд 2

NLP: истоки
возникло в конце 60-х гг.
развивалось в рамках дисциплины «искусственный

интеллект».
АОЕЯ — разработка методов, технологий и конкретных систем, обеспечивающих общение человека с ЭВМ на естественном или ограниченном естественном языке.

Слайд 3

Проблема организации взаимодействия с компьютерными
Решение этой проблемы коммуникации шло по двум

основным путям.
1 - адаптация языков программирования и операционных систем к конечному пользователю.
2 - разработка систем взаимодействия с ЭВМ на естественном языке или каком-то его ограниченном варианте.

Слайд 4

NLP и ЛИНГВИСТИКА
Фонология (звуки речи)
Морфология (структура и форма слов ЕЯ)

Синтаксис (структура и функции предложений)
Семантика (смысл языковых высказываний)
Прагматика (значение высказываний)
Социолингвистика Психолингвистика
Лексикография (описание лексикона ЕЯ)
Прикладная лингвистика

Слайд 5

NLP: МАТЕМАТИКА и ИНФОРМАТИКА
Математическая лингвистика
Квантитативная лингвистика (изучение языка/речи количественными методами)
Теория

формальных языков и грамматик – возникла из порождающих грамматик Н.Хомского (50-е гг.), для анализа синтаксических структур ЕЯ
Теория алгоритмов
Информатика ( Computer Science )

Слайд 6

NLP и ИСКУССТВЕННЫЙ ИНТЕЛЕКТ
Междисциплинарный характер области ИИ: составная часть Computer Science

, пересечение (по задачам и методам) с АОТ
Задача ИИ – компьютерное моделирование интеллектуальных функций
Первая известная программа ИИ по обработке ЕЯ – Система Т. Винограда (70-е годы);
Пример диалога : Pick up a big red block. (человек) OK (машина) Is there a large block behind a pyramid? Yes, Three of them. Grasp the pyramid. I don’t understand, which pyramid you mean

Слайд 7

ОСОБЕННОСТИ ЕЯ
ЕЯ – сложная система знаков, возникшая для обмена информацией

в процессе человеческой деятельности и постоянно изменяющаяся вместе с ней
Две стороны знака: означаемое – означающее
Сложности ЕЯ
комбинаторная система яз. знаков
многоуровневость системы ЕЯ
каждый уровень (подсистема) – правила сочетания знаков
взаимосвязь уровней
Разнообразие языков и языковые универсалии

Слайд 8

ОСОБЕННОСТИ ЕЯ: УРОВНИ
Фонологический: звуки ( фонемы )/ буквы – незначащие

единицы , средство различения др. единиц
Морфологический – слова ( словоформы )
подуровень морфем
Синтаксический – предложения (фразы) ЕЯ
подуровень словосочетаний
надуровень сверхфразовых единств ( ≈ абзацев) – предложений, объединяющихся по смыслу
⇒ возможность построить практически бесконечное число высказываний (смыслов)

Слайд 9

ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ:
Семантический : набор элементарных единиц – сем
Лексический

: множество лексем (лексикон)
Дискурсивный (уровень связного текста): схематические структуры текстов (патентные формулы, деловые письма и т.п.)

Слайд 10

⇒ невозможность единожды создать лингв. процессор
Сложность системы ЕЯ
Взаимосвязь всех

уровней
Нестандартная сочетаемость (синтактика) единиц ЕЯ на всех уровнях
Большая системность (число уровней)
Асиметрия связи единиц и выражаемых ими смыслов: полисемия, синонимия, омонимия

Слайд 11

Сложность ЕЯ ⇒МОДУЛЬНОСТЬ ЛИНГВ. ПРОЦЕСОРОВ
Графематический анализ
Морфологический анализ
Постморфологический анализ:

разрешение морфологической омонимии
Предсинтаксис: сегментация текста на предложения
Синтаксический анализ предложений
Семантический и прагматический анализ

Слайд 12

Архитектура систем NLP
блок анализа речевого сообщения пользователя,
блок интерпретации сообщения,
блок

порождения смысла ответа,
блок синтеза поверхностной структуры высказывания,
диалоговый компонент

Слайд 13

Блок анализа
морфологический анализ словоформ
синтаксический и семантический анализ предложений.

Слайд 14

Блок порождения смысла
определение информации, которую следует передать пользователю,
предполагаемое членение информации

на «порции», соответствующие предложению;
определение последовательности «порций» смысла;
построение семантического представления отдельных предложений

Слайд 15

Блок синтеза поверхностной структуры высказывания
упаковка семантического представления высказывания в синтаксические структуры

предложения.
Здесь играют существенную роль категории коммуникативной организации смысла высказывания — тема, рема, данное, новое

Слайд 16

Слайд 17

Современные речевые технологии
Распознавание речи
Синтез речи по тексту
Выделение ключевых слов в

слитной речи

Слайд 18

ПРИКЛАДНЫЕ ЗАДАЧИ NLP
Определение языка сообщений
Идентификация диктора
Определение эмоционального и физического

состояния человека по его голосу.
Шумоочистка
Разделение дикторов
Music Spotting

Слайд 19

Слайд 20

Siri
англ. Speech Interpretation and Recognition Interface
персональный помощник и вопросно-ответная система, адаптированная

для iPhone OS.
использует обработку естественной речи, чтобы отвечать на вопросы и давать рекомендации
приспосабливается к каждому пользователю индивидуально, изучая его предпочтения в течение долгого времени.

Слайд 21

Слайд 22

Слайд 23

Слайд 24

Слайд 25

Слайд 26

Слайд 27

Слайд 28

Слайд 29

Слайд 30

Слайд 31

Слайд 32

Слайд 33

Слайд 34

Слайд 35

Слайд 36

Слайд 37

Слайд 38

Слайд 39

Слайд 40

Слайд 41

Слайд 42

Слайд 43

Слайд 44

Автоматизированная обработка естественного языка

Содержание

NLP: истокивозникло в конце 60-х гг. развивалось в рамках дисциплины «искусственный

Проблема организации взаимодействия с компьютернымиРешение этой проблемы коммуникации шло по двум

NLP и ЛИНГВИСТИКАФонология (звуки речи) Морфология (структура и форма слов ЕЯ)

NLP: МАТЕМАТИКА и ИНФОРМАТИКАМатематическая лингвистикаКвантитативная лингвистика (изучение языка/речи количественными методами) Теория

NLP и ИСКУССТВЕННЫЙ ИНТЕЛЕКТМеждисциплинарный характер области ИИ: составная часть Computer Science

ОСОБЕННОСТИ ЕЯ ЕЯ – сложная система знаков, возникшая для обмена информацией

ОСОБЕННОСТИ ЕЯ: УРОВНИ Фонологический: звуки ( фонемы )/ буквы – незначащие

ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ: Семантический : набор элементарных единиц – сем Лексический

⇒ невозможность единожды создать лингв. процессор Сложность системы ЕЯ Взаимосвязь всех

Сложность ЕЯ ⇒МОДУЛЬНОСТЬ ЛИНГВ. ПРОЦЕСОРОВ Графематический анализ Морфологический анализ Постморфологический анализ:

Архитектура систем NLPблок анализа речевого сообщения пользователя, блок интерпретации сообщения, блок

Блок анализаморфологический анализ словоформ синтаксический и семантический анализ предложений.

Блок порождения смыслаопределение информации, которую следует передать пользователю, предполагаемое членение информации

Блок синтеза поверхностной структуры высказыванияупаковка семантического представления высказывания в синтаксические структуры

Современные речевые технологииРаспознавание речи Синтез речи по текстуВыделение ключевых слов в

ПРИКЛАДНЫЕ ЗАДАЧИ NLPОпределение языка сообщений Идентификация диктора Определение эмоционального и физического

Siriангл. Speech Interpretation and Recognition Interfaceперсональный помощник и вопросно-ответная система, адаптированная

Похожие презентации