Интеллектуальные методы анализа данных

Введение

Такие методы оказываются очень эффективными для принятия решений в различных областях человеческой деятельности. Как правило, они объединяют в себе технологии, использующие строго формализованный подход (связанный с количественным анализом данных) и различные способы неформального анализа (отвечающие за качественный анализ данных).

При применении интеллектуального анализа к решению каких-либо задач стандартно требуется выполнить следующие основные этапы:

1. Свободный поиск.
2. Прогностическое моделирование.
3. Анализ исключений.

Классификация методов интеллектуального анализа данных

Существует огромное количество методов интеллектуального анализа данных. Их можно классифицировать по различным критериям, перечисленным далее по пунктам.

1. По принципу работы с исходными данными выделяют:

   • методы, предполагающие сохранение данных (кластерный анализ, метод ближайшего соседа, метод к-ближайшего соседа, рассуждение по аналогии);
   • методы, основанные на выявлении и использовании формализованных закономерностей (различные логические методы, методы кросс-табуляции, методы визуализации, а также методы, основанные на уравнениях).

1. По способам обучения математических моделей бывают:

   • статистические методы – это методы, относящиеся к 4 категориям, связанным, соответственно, с: предварительным исследованием и описанием исходных данных (проверка гипотез стационарности, нормальности, независимости, однородности, а также рассмотрение графика функции распределения и её параметров); анализом различных взаимосвязей (корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ); многомерным статистическим анализом (сюда относятся компонентный, дискриминантный, кластерный и многомерный регрессионный анализ) и исследованием временных рядов (в динамических моделях и программировании);
   • кибернетические методы – это методы, связанные с искусственными нейронными сетями (методы распознавания, кластеризации и прогноза), деревьями решений, эволюционным программированием, генетическими оптимизационными алгоритмами, ассоциативной памятью (методы поиска аналогов и прототипов), нечёткой логикой, а также с системами обработки экспертных знаний.

2. По задачам, поставленным перед Data Mining, принято выделять:

   • методы для решения задач сегментации, т.е. задач классификации (при помощи деревьев решений, байесовских сетей, линейной регрессии, искусственных нейронных сетей, генетических алгоритмов, методов ближайшего соседа и опорных векторов), а также задач кластеризации (с помощью алгоритмов, основанных на разделении данных; различных иерархических алгоритмов; подходов, основанных на концентрации объектов; а также сеточных и модельных методов);
   • методы, предназначенные для решения задач прогнозирования (сюда относятся итеративные методы, такие как алгоритм k-средних, k-медианы, иерархические методы кластерного анализа, самоорганизующиеся карты Кохонена, методы кросс-табличной визуализации и другие).

Информация о различных методах: сходства и отличия

С точки зрения первой классификации методов существуют различия в зависимости от подхода к использованию данных. Так, есть группа методов, предусматривающих хранение данных в явном и чётко систематизированном виде, которые могут непосредственно использоваться на любых стадиях прогностического моделирования и анализа исключений. Это удобно, но в то же время является проблемой при анализе обширных баз данных.

К другой группе относятся методы, в которых осуществляется дистилляция шаблонов, то есть существует некоторый образец информации, который извлекается из исходных данных и преобразуется в особые формальные конструкции, зависящие от используемого метода Data Mining. Данный процесс выполняется на стадии свободного поиска, которая у первой группы методов вообще отсутствует. Далее в таких методах на следующих этапах прогностического моделирования и анализа исключений используются результаты стадии свободного поиска, которые оказываются существенно компактнее по сравнению с начальными базами данных.

Далее подробнее рассмотрим ещё некоторые группы методов, которые были перечислены в общей классификации.

К логическим методам относятся: нечёткие запросы и анализы, символьные правила, деревья решений, генетические алгоритмы.

Методы кросс-табуляции основаны на алгоритмах, связанных с агентами и байесовскими (доверительными) сетями. К этой группе также относят метод кросс-табличной визуализации. И, несмотря на то, что при его использовании невозможно организовать самостоятельный поиск закономерностей аналитической системой, тем не менее, представлении информации в виде кросс-таблиц позволяет осуществить реализацию важной задачи Data Mining, предполагающей удобный поиск шаблонов в рассматриваемых объёмах данных.

Методы на основе уравнений выражают выявленные закономерности в виде математических соотношений и в особенности используются для решения задач прогнозирования. Они могут работать только с численными переменными. К основным методам этой группы относятся статистические методы (такие как корреляция рядов динамики, выявление тенденций динамических рядов, гармонический анализ и др.) и нейронные сети.

К кибернетическим методам относятся способы решения задач, основанные на достижениях компьютерной математики и использовании теории искусственного интеллекта.