Data Mining. Введение

Data Mining — развитие методов анализа, не апеллирующих к их вероятностной природе.Изначально Data Mining использовался для решения задач медицины, биологии, космоса; сегодня эта наука получила широкое распространение и может применяться в любой области, например, экономике, техническом анализе и др. Практически любая информация может быть предметом Data Mining.
Данные, с которыми работает Data Mining могут быть двух типов:
- таблицы объект-свойства
- временные рядыВообще, любое существо, наделенное интеллектом, решает в своей жизни только три задачи:
Запоминание по ассоциациям
Распознавание образов
Принятие решений, задача оптимизацииData Mining включает в себя ряд наук:
Базы данных
Искусственный интеллект
Статистика
Машинное обучение
Визуализация
Оптимизация
Вычислительный интеллект (нейро-фаззи системы, нейронные сети, эволюционные вычисления)
Распознавание образовТаким образом, Интеллектуальный анализ данных по-русски — это наука об извлечении из сырых, грязных, необработанных, неструктурированных данных любой природы заранее неизвестных, нетривиальных знаний, с целью принятия полезных решений.Например, Статистика требует больших выборок и законов распределения, Интеллектуальный анализ данных может работать с:
- данными в реальном времени (так называемый OLAP)
- сверхмалыми выборками (от 3-х элементов)
- порядковыми шкалами
- информацией любой другой природыОсновными задачами, решение которых может быть найдено в Data Mining являются:1. Ассоциации (нахождение правил, характерных для некоторых данных)
2. Последовательность (задача распознавания образов)
3. Классификация (по имеющимся знаниям о принадлежности некоторых объектов классам требуется определить принадлежность нового объекта)
4. Кластеризация (без априорных знаниях о принадлежностях и признаках разбиения требуется разбить множество объектов на некоторые схожие группы)
5. Экстраполяция (прогнозирование)Мифы Data Mining:1. Позволяет получать неожиданные результаты, новые законы.
— Нет, новые законы на основе этой науки открыты быть не могут, однако некоторые гипотезы могут найти подтверждение с помощью этой области.2. Может компенсировать недостатки знаний в предметной области.
— Хороший эксперт всегда примет решение лучше аппарата.3. Может применяться только в конкретной области.
— Нет, любая информация может быть предметом Data Mining.4. Аппарат Data Mining радикально отличается от других.
— Это одна из немногих наук, которая не имеет своего собственного аппарата; все притянуто из других наук; Data Mining — наука сама по себе прикладная.5. Data Mining — это очень сложно.
— ???6. Годится только для анализа больших объемов данных.
— Data Mining может начинаться с трех точек.7. Если у Вас есть большая выборка, ее нужно использовать в полном объеме.
— Нет, лучше разделить ее на две части (+ тестовая) или даже три (кросс-валидация).8. Строит модели на основе конкретных данных, не используя новые наблюдения.
— Может работать с процессами в реальном времени, перманентно обновляя входящие сигналы.