Содержание
- 2. Структура курса Лекции – 34 ч. Лабораторные работы – 17 ч. (4) Самостоятельная работа – 64
- 3. Литература Методичка «Решение задач ИАД» в среде Statistica А.А. Барсегян «Методы и модели анализа данных: OLAP
- 4. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. – М.: Финансы и статистика, 1974. –
- 5. Бериков В.Б. Анализ статистических данных с использованием деревьев решений: Учебное пособие. – Новосибирск. Изд-во НГТУ, 2002.
- 6. 1. Определение ИАД Интеллектуальный анализ данных (ИАД, data mining) представляет собой новое направление в области информационных
- 7. 1. Определение ИАД ИАД (Data Mining) - это процесс поддержки принятия решений, основанный на поиске в
- 8. 1. Определение ИАД Data Mining” – это процесс выделения, исследования и моделирования больших объемов данных для
- 9. 1. Определение ИАД ИАД “Data Mining” – это процесс, цель которого – обнаружить новые значимые корреляции,
- 10. “Data Mining” – технология поиска характеризующих объект скрытых зависимостей и взаимосвязей, проявляющихся через данные о нем.
- 11. ИАД (Data Mining) - процесс аналитического исследования больших массивов информации (обычно экономического характера) с целью выявления
- 12. 1. Определение Data Mining Data Mining – исследование и обнаружение «машиной» (алгоритмами, средствами искусственного интеллекта) в
- 13. 1. Определение Data Mining Основные свойства знаний: - знания должны быть новые, ранее неизвестные. Затраченные усилия
- 14. знания должны быть практически полезны. Знания должны быть применимы на новых данных с достаточно высокой степенью
- 15. 1. Определение KNOWLEDGE DISCOVERY IN DATABASES (POLYANALYST) «ОБНАРУЖЕНИЕ ЗНАНИЙ В БАЗАХ ДАННЫХ») – АНАЛИТИЧЕСКИЙ ПРОЦЕСС ИССЛЕДОВАНИЯ
- 16. 1. Этапы KDD ПОСТАНОВКА ЗАДАЧИ (В ТЕРМИНАХ ЦЕЛЕВЫХ ПЕРЕМЕННЫХ); ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА (ПРЕОБРАЗОВАНИЕ ДАННЫХ К ДОСТУПНОМУ ДЛЯ
- 17. Одно из направлений ИАД: поиск, выбор, синтез методов и средств обработки и анализа данных с учетом
- 18. Отличительная особенность ВМ от обычного (классического) заключается в том, что здесь обязательным является построение и применение
- 19. 2. Классификация задач ИАД 1. Выявление ассоциативных взаимосвязей в данных Ассоциация используется для определения закономерностей в
- 20. Результатом ассоциативного анализа являются правила вида: Если факт А является частью события, то с вероятностью Х%
- 21. 2. Выявление последовательностей Последовательные шаблоны аналогичны ассоциациям с той лишь разницей, что связывают события, разнесенные во
- 22. 3. Кластеризация объектов – разделение исследуемого множества объектов на группы «похожих» объектов, называемых кластерами. В процессе
- 23. 4. Классификация объектов – отнесение объектов к одному из известных классов на основе их характеристик. 2.
- 24. 5. Нахождение исключений, исключительных ситуаций, записей, которые резко отличаются чем-либо от основного множества записей (группы больных).
- 25. 6. Задачи регрессии – задача определения значения одного из параметров анализируемого объекта (характеристики) на основе значений
- 26. 3. Области применения ИАД Сфера применения Data Mining ничем не ограничена - Data Mining нужен везде,
- 27. 3. Области применения ИАД
- 28. 3. Области применения ИАД
- 29. 3. Области применения ИАД
- 30. 3. Области применения ИАД
- 31. 4. Математический аппарат ИАД ИАД – это многодисциплинарный подход, который включает в себя методы математической статистики
- 32. 4. Классификация методов ИАД Методы статистической обработки данных Кибернетические методы оптимизации Традиционные методы решения оптимизационных задач
- 33. Методы статистической обработки данных Предварительный анализ природы статистических данных (проверка гипотез стационарности, нормальности, независимости, однородности, оценка
- 34. Методы статистической обработки данных Достоинства Построенные модели “прозрачны” и допускают интерпретацию. Возможно оценить статистическую значимость полученных
- 35. Методы статистической обработки данных Недостатки Требуют сохранение неизменных условий эксперимента (требования статистического ансамбля). Требуют априорных допущений
- 36. Методы статистической обработки данных Программное обеспечение Statistica (Statsoft), SAS (компания SAS Institute), SPSS (SPSS), Statgraphics (Statistical
- 37. Кибернетические методы оптимизации Нейронные сети (Neural Nets) Генетические алгоритмы (Genetic algorithms) Эволюционное программирование (Еvolutionary programming)
- 38. Нейронные сети Достоинства Не требуют априорных допущений о природе исследуемых данных. Удобны при работе с нелинейными
- 39. Нейронные сети Недостатки “Черный ящик”: модель не может объяснить выявленные знания (не поддается интерпретации). Программное обеспечение
- 40. Генетические алгоритмы Достоинства Красота подхода, близость метода к природному механизму (имитация процесса естественного отбора в природе).
- 41. Генетические алгоритмы Недостатки Невозможно оценить статистическую значимость результата. Сложность использования метода (сложность постановки задачи, сложность определения
- 42. Эволюционное программирование Достоинства Высокая степень автоматизации (автоматическое обнаружение в массивах данных кластеров, случайных выбросов, скрытых закономерностей,
- 43. Эволюционное программирование Недостатки Сложность (невозможность) содержательной интерпретации полученных результатов Программное обеспечение PolyAnalyst (Мегапьютер Интеллидженс).
- 44. Традиционные методы решения оптимизационных задач Методы исследования операций, включающие в себя различные виды математического программирования (линейное,
- 45. Экспертные методы Деревья решений Ассоциативный анализ Предметно-ориентированные системы анализа ситуаций Методы визуализации
- 46. Деревья решений Достоинства Наглядность (возможность графического представления результатов, иерархическая структура дерева). Простота интерпретации полученных результатов.
- 47. Деревья решений Недостатки Проблема оценки статистической значимости результатов. Программное обеспечение С5.0 (RuleQuest, Австралия); Clementine (Integral Solutions,
- 48. Ассоциативный анализ Достоинства Простота (для осуществления прогноза или выбора решения в прошлом находятся аналоги наличной ситуации,
- 49. Ассоциативный анализ Недостатки В процессе решения не создаются модели и правила, обобщающие предыдущий опыт. Программное обеспечение
- 50. Методы визуализации Достоинства Наглядность, простота. Недостатки Высокая доля субъективизма в интерпретации результатов. Отсутствие аналитических моделей. Программное
- 51. Интегрированные технологии, вариативное моделирование Достоинства Эффективность (можно выбирать подходы адекватные задачам, или сравнивать результаты применения разных
- 52. Технология KDD
- 53. Особенности технологий ИАД Технологии ИАД в большей степени ориентированы на практическое приложение полученных результатов, чем на
- 54. Требования к результатам ИАД Результат должен быть понятен пользователю-нематематику. Результат должен быть пригодным для дальнейшей обработки
- 56. Скачать презентацию