Введение
Интеллектуальные методы анализа данных – это особые методы, направленные на выявление в рассматриваемом объёме данных нетривиальных и практически полезных закономерностей, с помощью которых можно построить модели, позволяющие систематизировать эти данные и предсказать их поведение.
Такие методы оказываются очень эффективными для принятия решений в различных областях человеческой деятельности. Как правило, они объединяют в себе технологии, использующие строго формализованный подход (связанный с количественным анализом данных) и различные способы неформального анализа (отвечающие за качественный анализ данных).
Для интеллектуальных методов анализа данных используется специальное название – Data Mining, что означает «обнаружение знаний».
При применении интеллектуального анализа к решению каких-либо задач стандартно требуется выполнить следующие основные этапы:
- Свободный поиск.
- Прогностическое моделирование.
- Анализ исключений.
Главной особенностью Data Mining является применение всевозможных математических подходов к анализу данных на базе новейших достижений в сфере информационных технологий.
Классификация методов интеллектуального анализа данных
Существует огромное количество методов интеллектуального анализа данных. Их можно классифицировать по различным критериям, перечисленным далее по пунктам.
По принципу работы с исходными данными выделяют:
- методы, предполагающие сохранение данных (кластерный анализ, метод ближайшего соседа, метод к-ближайшего соседа, рассуждение по аналогии);
- методы, основанные на выявлении и использовании формализованных закономерностей (различные логические методы, методы кросс-табуляции, методы визуализации, а также методы, основанные на уравнениях).
По способам обучения математических моделей бывают:
- статистические методы – это методы, относящиеся к 4 категориям, связанным, соответственно, с: предварительным исследованием и описанием исходных данных (проверка гипотез стационарности, нормальности, независимости, однородности, а также рассмотрение графика функции распределения и её параметров); анализом различных взаимосвязей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ); многомерным статистическим анализом (сюда относятся компонентный, дискриминантный, кластерный и многомерный регрессионный анализ) и исследованием временных рядов (в динамических моделях и программировании);
- кибернетические методы – это методы, связанные с искусственными нейронными сетями (методы распознавания, кластеризации и прогноза), деревьями решений, эволюционным программированием, генетическими оптимизационными алгоритмами, ассоциативной памятью (методы поиска аналогов и прототипов), нечёткой логикой, а также с системами обработки экспертных знаний.
По задачам, поставленным перед Data Mining, принято выделять:
- методы для решения задач сегментации, т.е. задач классификации (при помощи деревьев решений, байесовских сетей, линейной регрессии, искусственных нейронных сетей, генетических алгоритмов, методов ближайшего соседа и опорных векторов), а также задач кластеризации (с помощью алгоритмов, основанных на разделении данных; различных иерархических алгоритмов; подходов, основанных на концентрации объектов; а также сеточных и модельных методов);
- методы, предназначенные для решения задач прогнозирования (сюда относятся итеративные методы, такие как алгоритм k-средних, k-медианы, иерархические методы кластерного анализа, самоорганизующиеся карты Кохонена, методы кросс-табличной визуализации и другие).
Информация о различных методах: сходства и отличия
С точки зрения первой классификации методов существуют различия в зависимости от подхода к использованию данных. Так, есть группа методов, предусматривающих хранение данных в явном и чётко систематизированном виде, которые могут непосредственно использоваться на любых стадиях прогностического моделирования и анализа исключений. Это удобно, но в то же время является проблемой при анализе обширных баз данных.
К другой группе относятся методы, в которых осуществляется дистилляция шаблонов, то есть существует некоторый образец информации, который извлекается из исходных данных и преобразуется в особые формальные конструкции, зависящие от используемого метода Data Mining. Данный процесс выполняется на стадии свободного поиска, которая у первой группы методов вообще отсутствует. Далее в таких методах на следующих этапах прогностического моделирования и анализа исключений используются результаты стадии свободного поиска, которые оказываются существенно компактнее по сравнению с начальными базами данных.
Далее подробнее рассмотрим ещё некоторые группы методов, которые были перечислены в общей классификации.
К логическим методам относятся: нечёткие запросы и анализы, символьные правила, деревья решений, генетические алгоритмы.
Методы кросс-табуляции основаны на алгоритмах, связанных с агентами и байесовскими (доверительными) сетями. К этой группе также относят метод кросс-табличной визуализации. И, несмотря на то, что при его использовании невозможно организовать самостоятельный поиск закономерностей аналитической системой, тем не менее, представлении информации в виде кросс-таблиц позволяет осуществить реализацию важной задачи Data Mining, предполагающей удобный поиск шаблонов в рассматриваемых объёмах данных.
Методы на основе уравнений выражают выявленные закономерности в виде математических соотношений и в особенности используются для решения задач прогнозирования. Они могут работать только с численными переменными. К основным методам этой группы относятся статистические методы (такие как корреляция рядов динамики, выявление тенденций динамических рядов, гармонический анализ и др.) и нейронные сети.
К кибернетическим методам относятся способы решения задач, основанные на достижениях компьютерной математики и использовании теории искусственного интеллекта.
