Моделирование распознавания образов (Дискриминантный анализ)

Тема 5. Моделирование распознавания образов (Дискриминантный анализ) Лекция 1. Дискриминантный анализ План лекции 1. Дискриминантный анализ (ДА) 2. Этапы ДА 1. Дискриминантный анализ (ДА) ДА позволяет предсказать принадлежность объектов к двум или более непересекающимся группам. Примеры ситуаций, в которых было бы весьма желательно вычислить вероятность того или иного исхода в зависимости от совокупности измеряемых переменных: а) подходит ли соискатель работы на ту или иную должность, б) страдает ли психически больной человек шизофренией или психозом, в) вернется ли заключенный в тюрьму или к нормальной жизни после выхода на свободу, г) какие факторы влияют на увеличение риска пациента получить сердечный приступ и т. п. Исходными данными для ДА является множество объектов, разделенных на группы так, что каждый объект может быть отнесен только к одной группе. Допускается при этом, что некоторые объекты не относятся ни к какой группе (являются «неизвестными»). Для каждого из объектов имеются данные по ряду количественных переменных. Такие переменные называются дискриминантными переменными, или предикторами. Задачами ДА является определение: 1) решающих правил, позволяющих по значениям предикторов отнести каждый объект (в том числе и «неизвестный») к одной из известных групп; 2) «веса» каждого предиктора для разделения объектов на группы. ДА основан на составлении уравнения регрессии, использующего номинативную зависимую переменную. ДА представляет собой альтернативу МР (см. тема 4) для случая, когда зависимая переменная представляет собой не количественную, а качественную (номинативную) переменную. При этом ДА решает, по сути, те же задачи, что и МР: предсказание значений «зависимой» перемененной (в данном случае категорий номинативного признака) и определение того, какие «независимые» переменные лучше всего подходят для такого предсказания. Так же как и в случае МР, существует критерий для включения предикторов в уравнение регрессии (по умолчанию таким критерием является F > 3,84) и критерий для исключения предикторов из уравнения регрессии (по умолчанию F < 2,71). Коэффициент k представляет собой отношение внутригрупповой суммы квадратов к общей сумме квадратов и характеризует долю влияния предиктора на дисперсию критерия. Со значением k связаны величины F и р, характеризующие его значимость 2. Этапы ДА ДА состоит из четырех основных этапов. 1. Выбор переменных-предикторов. Исследователь использует свои теоретические знания, практический опыт, догадки и т. п. для того, чтобы составить список переменных, которые могут повлиять на результат группировки (переменную-критерий). 2. Обычно на начальном этапе ДА для предикторов формируется корреляционная матрица. В данном контексте она имеет особый смысл, называется общей внутригрупповой корреляционной матрицей и содержит средние коэффициенты корреляции для двух или более корреляционных матриц (каждая для одной группы). Помимо общей внутригрупповой корреляционной матрицы можно также вычислить ковариационные матрицы для отдельных групп, для всей выборки либо общую внутригрупповую ковариационную матрицу. Нередко исследователи применяют серию t-критериев между двумя группами для каждой переменной либо однофакторный дисперсионный анализ, если число групп оказывается больше двух. Поскольку целью дискриминантного анализа является составление наилучшего уравнения регрессии, дополнительный анализ исходных данных никогда не является лишним. 3. Выбор параметров. В этом разделе будет продемонстрирован один из методов ДА. По умолчанию программа реализует метод, который основан на принудительном включении в регрессионное уравнение всех предикторов, указанных исследователем. В нашем случае используется метод Уилкса (Wilks), относящийся к категории пошаговых методов и основанный на минимизации коэффициента Уилкса (λ) после включения в уравнение регрессии каждого нового предиктора. 4. Интерпретация результатов. Целью ДА является составление уравнения регрессии с использованием выборки, для которой известны значения и предикторов, и критерия. Это уравнение позволяет по известным значениям предикторов определить неизвестные значения критерия для другой выборки. Разумеется, точность рассчитываемых значений критерия для второй выборки в общем случае не выше, чем для исходной. Так, в нашем примере регрессионное уравнение обеспечило около 90% корректных результатов для той выборки, с помощью которой оно было создано. Соответственно, точность предсказания успешности обучения для 10 абитуриентов может достигать 90% лишь в том случае, если выборка претендентов совершенно идентична тем 46 учащимся, данные для которых послужили основой для прогноза. Задача 1. Для решения требуется программа SPSS и файл данных DA-FA-KA.sav. Файл DA-FA-KA.sav содержит данные о 46 учащихся (объекты с 1-го по 46-й), закончивших курс обучения, в отношении которых известны оценки успешности обучения: «зачет» – 1, «незачет» – 0. Кроме того, в файл включены данные предварительного тестирования этих учащихся до начала обучения (13 переменных): • и1, и2, ..., и11 – показатели теста интеллекта; • э_и – показатель экстраверсии по тесту Г. Айзенка; • н – показатель нейротизма по тесту Г. Айзенка. Для 10 абитуриентов (объекты с 47-го по 56-й) известны лишь результаты их предварительного тестирования (13 перечисленных переменных). Значения переменной оценка для них еще неизвестны и в файле данных им соответствуют пустые ячейки. Требуется спрогнозировать успешность обучения 10 абитуриентов на основе предварительного тестирования в предположении, что выборки закончивших обучение и абитуриентов идентичны. 1. Откройте файл данных DA-FA-KA.sav. 2. В меню Analyze (анализ) выберите команду Classify ► Discriminant (классификация > дискриминантный анализ). На экране появится диалоговое окно Discriminant Analysis (дискриминантный анализ) (рис. 1). 3. Переместите переменную оценка в поле Grouping Variable (группирующая переменная). Щелкните па кнопке Define Range (задать диапазон), чтобы открыть диалоговое окно Discriminant Analysis: Define Range (дискриминантный анализ: Задание диапазона) (рис. 2). В поле Minimum (минимум) введите значение 0, в поле Maximum (максимум), введите значение 1 и щелкните на кнопке Continue (продолжить), чтобы вернуться в диалоговое окно Discriminant Analysis (дискриминантный анализ). 4. Переменные от и1 до н переместите в список Independents (независимые переменные), установите переключатель Use stepwise method (использовать пошаговый метод). 5. Щелкните на кнопке Statistics (статистики), чтобы открыть диалоговое окно Discriminant Analysis: Statistics (дискриминантный анализ: статистики) (рис. 3). Установите флажки Means (средние), Box's M (М Бокса), Univariate ANOVAs (однофакторный дисперсионный анализ), Unstardardized (нестандартизированные коэффициенты) и щелкните на кнопке Continue (продолжить), чтобы вернуться в диалоговое окно Discriminant Analysis (дискриминантный анализ). 6. Щелкните па кнопке Method (метод), чтобы открыть диалоговое окно Discriminant Analysis: Stepwise Method (дискриминантный анализ: пошаговый метод) (рис. 4). В поле Entry (ввод), введите значение 1,125, в поле Removal (вывод), введите значение 1 и щелкните на кнопке Continue (продолжить), чтобы вернуться в диалоговое окно Discriminant Analysis (дискриминантный анализ). 7. Щелкните на кнопке Classify (классификация), чтобы открыть диалоговое окно Discriminant Analysis: Classification (дискриминантный анализ: классификация) (рис. 5). Установите флажки Casewise results (результаты для объектов), Summary table (итоговая таблица) и щелкните на кнопке Continue (продолжить), чтобы вернуться в диалоговое окно Discriminant Analysis (дискриминантный анализ). 8. Щелкните на кнопке ОК, чтобы открыть окно вывода. В результате выполнения приведенных инструкций будут сгенерированы коэффициенты (Canonical Discriminant Function Coefficients) для группировки интересующих нас объектов в целях прогнозирования: На основе этих данных можно составить уравнение регрессии (0/1) = – 9,865 + 0,382 (счет в уме) – 0,241 (умозаключения) + + 0,214 (понятливость) + 0,185 (аналогии) + 0,162 (скрытые фигуры) + + 0,157 (заучивание слов) + 0,097 (экстраверсия) или (0/1) = – 9,865 + 0,382 (и4) – 0,241 (и9) + 0,214 (и5) + 0,185 (и7) + 0,162 (и2) + 0,157 (и11) + 0,097 (э_и). Вопросы и задания для самоконтроля 1. Что позволяет предсказать дискриминантный анализ? 2. Что такое обучающая выборка и каков должен быть ее объем? 3. Опишите этапы дискриминантного анализа. 4. Что является результатом дискриминантного анализа является?