Метод главных компонент

Метод главных компонент Метод главных компонент (МГК) применяется для снижения размерности пространства наблюдаемых векторов, не приводя к существенной потере информативности. Предпосылкой МГК является нормальный закон распределения многомерных векторов. В МГК линейные комбинации случайных величин определяются характеристическими векторами ковариационной матрицы. Главные компоненты представляют собой ортогональную систему координат, в которой дисперсии компонент характеризуют их статистические свойства. Пусть дан исходный набор векторов X линейного пространства Lk. Применение метода главных компонент позволяет перейти к базису пространства Lm (m≤k), такому что: первая компонента (первый вектор базиса) соответствует направлению, вдоль которого дисперсия векторов исходного набора максимальна. Направление второй компоненты (второго вектора базиса) выбрано таким образом, чтобы дисперсия исходных векторов вдоль него была максимальной при условии ортогональности первому вектору базиса. Аналогично определяются остальные векторы базиса. В результате, направления векторов базиса выбраны так, чтобы максимизировать дисперсию исходного набора вдоль первых компонент, называемых главными компонентами (или главными осями). Получается, что основная изменчивость векторов исходного набора векторов представлена несколькими первыми компонентами, и появляется возможность, отбросив оставшиеся (менее существенные) компоненты, перейти к пространству меньшей размерности. Результатом применения МГК является вычисление матрицы W размера m*k, осуществляющей проекцию векторов пространства Lk на подпространство, натянутое на главные компоненты: Y = W*(X - μ), Y ∈ Lm, X ∈ Lk. Где X - вектор из исходного набора, Y - координаты вектора в подпространстве главных компонент, μ - математическое ожидание вектора X начального набора. Главные компоненты (векторы базиса), выбираемые с помощью МГК, обладают следующим свойством: обратная проекция вектора Y в Lk дает минимальную ошибку реконструкции (минимальное расстояние до образа вектора Y). Нужно отметить, что корректное применение МГК возможно лишь при предположении о нормальном распределении векторов исходного набора. Пусть имеется реализация (20 наблюдений) двумерного вектора X. На рисунке представлена совокупность наблюдений. Определение главных компонент Y вектора X состоит в определении новых осей координат по условию: направление координаты y1 должно соответствовать максимальному рассеянию наблюдений, направление y2 должно соответствовать направлению с максимальном рассеянием наблюдений среди всех направлений ортогональных y1. Если исходные данные нормировать, то начало координат главных компонент будет соответствовать X = (x1,x2)т , дисперсии компонент, будут равны единице. Решение задачи методом главных компонент сводится к поэтапному преобразованию матрицы исходных данных X. Пусть X – матрица исходных данных размерностью n*k (n – число объектов наблюдения, k – число элементарных аналитических признаков), тогда Z – матрица центрированных и нормированных значений признаков, элементы матрицы вычисляют по формуле: zi,j =( xi,j - xj )/Sj, где: xi,j - i-ое значение j-ой компоненты вектора X, i=1,2, ... ,n; j=1,2, ... ,k, xi,j/n xj - оценка математического ожидания j-ой компоненты вектора X: xj =∑i , Sj - корень квадратный из оценки дисперсии j-ой компоненты вектора X: S2j = ∑i (xi,j - xj )2/(n-1). Матрица оценок парных корреляций R вычисляется по формуле: R=(Zт*Z)/(n-1). Напомним, что оценка ковариационной матрицы C вычисляется по формуле: C = (Xт*X)/(n-1). Далее вычисляется диагональная матрица Λ собственных (характеристических) чисел. Напоминание Пусть A — квадратная матрица. Вектор V называется собственным вектором матрицы A если A*V = λ*V, где число λ называется собственным значением матрицы A. Таким образом преобразование, которое выполняет матрица A над вектором V, сводится к простому растяжению или сжатию с коэффициентом λ. Собственный вектор определяется с точностью до умножения на константу α ≠ 0, т.е. если V — собственный вектор, то и αV — тоже собственный вектор. У матрицы A , размерностью (n*n) не может быть больше чем n собственных значений. Они удовлетворяют характеристическому уравнению det(A − λI) = 0, являющемуся алгебраическим уравнением n-го порядка. Набор собственных значений λ1,..., λn матрицы A называется спектром A. Спектр обладает разнообразными свойствами. В частности det(A) = λ1×...×λn, Sp(A) = λ1+...+λn. Собственные значения произвольной матрицы могут быть комплексными числами, однако если матрица симметричная (Aт = A), то ее собственные значения вещественны. Пусть имеется матрица A: 1 2 4 3 тогда det(A − λI) = (1 - λ)*(3 - λ) - 2*4 = λ2 - 4*λ - 5 = 0 λ1 = 5, λ2 = -1; det(A) = λ1*λ2 = 5*(-1) = -5; Cобственные вектора: Sp(A) = λ1 + λ2 = 5 - 1 = 4 V1 = (0,7, 0,7)т и V2 = (0,89, -0,45)т A*V1 = λ1*V1 = (3,5, 3,5)т = 5*(0,7, 0,7)т ; A*V2 = λ2*V2 = (-0,89, 0,45)т = -1*(0,89, -0,45)т Квадратную (в частности симметричную) матрицу A можно привести к диагональному виду преобразованием подобия A = ΛT−1 Здесь Λ = diag(λ1,..., λn) — это диагональная матрица, элементами которой являются собственные значения матрицы A, а T — это матрица, составленная из соответствующих собственных векторов матрицы A, т.е. T = (V1,...,Vn). Множество решений λj находят решением характеристического уравнения |R - λI| = 0. Характеристики вариации λj - показатели оценок дисперсий каждой главной компоненты. Суммарное значение Σλj равно сумме оценок дисперсий элементарных признаков xj. При условии стандартизации исходных данных, эта сумма равна числу элементарных признаков k. Решив характеристическое уравнение, находят его корни λj. После этого вычисляют собственные векторы матрицы R. Реально это означает решение k систем линейных уравнений для каждого при j = 1, ..., k. В общем виде система имеет вид: (1-λj )*v1j + r12*v2j +r13*v3j + ... +r1k*vkj = 0, r21*v1j + (1-λj )*v2j +r23*v3j + ... +r2k*vkj = 0, ............................................................................... rk1*v1j + rk2*v2j +rk3*v3j + ... +(1-λj )*vkj = 0, Приведенная система объединяет однородные линейные уравнения, и так как число ее уравнений равно числу неизвестных, она имеет бесконечное множество решений. Конкретные значения собственных векторов при этом можно найти, задавая произвольно по крайней мере величину одной компоненты каждого вектора. Далее вычисляется матрица A – матрица компонентного отображения, ее элементы akj – весовые коэффициенты. Вначале A имеет размерность k*k – по числу элементарных признаков Xj, затем в анализе остается m наиболее значимых компонент, m ≤ k. Вычисляют матрицу A по известным данным матрицы собственных чисел Λ и нормированных собственных векторов V по формуле A = V*Λ1/2. G – матрица значений главных компонент размерностью k*n, G = A-1Zт . Эта матрица в общем виде записывается: g11 g12 ... g1n g21 g22 ... g2n ... gk1 ... gk1 ... ... gkn ... Эта матрица показывает значения всего набора главных компонент (число главных компонент равно k). При снижении размерности до m главных компонент размер матрицы будет m*n. Величина m либо назначается пользователем, либо определяется по значениям λj. Например, в ППП "Statgraphics" по умолчанию остаются только те главные компоненты, собственные числа которых не меньше единицы. Пример использования метода главных компонент Пусть имеются следующие показатели экономической деятельности предприятия: трудоемкость (x1), удельный вес покупных изделий в продукции (x2), коэффициент сменности оборудования (x3), удельный вес рабочих в составе предприятия (x4), премии и вознаграждения на одного работника (x5), рентабельность (y). Значения показателей представлены в таблице x1 x2 x3 x4 x5 y 0,51 0,2 1,47 0,72 0,67 9,8 0,36 0,64 1,27 0,7 0,98 13,2 0,23 0,42 1,51 0,66 1,16 17,3 0,26 0,27 1,46 0,69 0,54 7,1 0,27 0,37 1,27 0,71 1,23 11,5 0,29 0,38 1,43 0,73 0,78 12,1 0,01 0,35 1,5 0,65 1,16 15,2 0,02 0,42 1,35 0,82 2,44 31,3 0,18 0,32 1,41 0,8 1,06 11,6 0,25 0,33 1,47 0,83 2,13 30,1 Линейная регрессионная модель должна иметь вид: y = b0 + b1*x1 + b2*x2 + b3*x3 + b4*x4 + b5*x5 Оценивание коэффициентов b0, ..., b5 дает следующие результаты: После удаления из модели незначимого коэффициента b4 имеем: Теперь попытаемся уменьшить размерность модели применив метод главных компонент. Результат применения метода свидетельствует, что входные переменные x1 , x2 , x3, x5 могут быть заменены двумя переменными (главными компонентами): При этом, 80% рассеяния выходного контролируемого параметра y будет обусловлено изменениями этих переменных (главных компонент). Обозначим эти компоненты как U1 и U2. Из приведенной таблицы результата применения метода главных компонент видно, что U1 = 0,41*x1 - 0,57*x2 + 0,49*x3 - 0,52*x5 U2 = 0,61*x1 + 0,38*x2 - 0,53*x3 - 0,44*x5 Корреляция между этими переменными отсутствует по определению. Поэтому единственная линейная регрессионная модель зависимости математического ожидания y от переменных U1 и U2 согласно результатам оценивания представленным в таблице ниже имеет вид: y = 15,92 - 3,74*U1 - 3,87*U2 Таким образом, размерность задачи снижена с 4-х до 2-х ( в два раза) без особого ущерба точности объяснения данных. Полученная модель объясняет 80% изменчивости y по отношению к модели с входными переменными x1 , x2 , x3, x5. В этом и состоит назначение метода главных компонент - снижение размерности задачи моделирования. Задача. Имеются значения показателей социально-экономического развития областей Центрального экономического округа. По представленным данным провести компонентный анализ, дать экономическую интерпретацию главным компонентам, ранжировать области по первой главной компоненте. x1 - среднемесячная номинальная начисленная заработная плата, руб.; x2 - средняя обеспеченность населения жильем, кв.м.; x3 - валовый региональный продукт на душу населения, руб.; x4 - уровень экономической активности населения, %. Решение. 1. Ввести данные в программу STATISTICA. 2. Выполнить команду меню Statistics - Multivariate exploratory techniques Principal components and classification analysis. 3. В появившемся диалоговом окне выбрать переменные для анализа. В числе предложенных групп первая группа является основной и участвует в компонентном анализе, т.е. в выделении главных компонент. Остальные переменные являются дополнительными. Не допускается включение одной и той же переменной в состав одновременно основной и дополнительных групп. 4. В диалоговом окне факторного анализа нажать ОК. Откроется окно результатов компонентного анализа. 5. Нажать на кнопку Факторные координаты переменных. Откроется таблица координат исходных переменных в пространстве главных компонент, которая, в свою очередь, представляет собой матрицу факторных нагрузок. 6. Перейти на опцию Факторные координаты наблюдений. Откроется матрица координат наблюдения в пространстве главных компонент. 7. Выбрать опцию Собственные числа. В первом столбце открывшейся таблицы представлены собственные значения главных компонент, во втором - доля объясненной дисперсии исходных переменных каждой компонентой, в третьем и четвертом столбцах - накопленные значения собственных чисел и объясненной дисперсии соответственно. 8. Перейти на опцию График распределения переменных в пространстве факторов (Plot var. factor coordinates, 2D). Откроется окно выбора переменных, в котором нужно задать в качестве координатных осей выделенные компоненты. 9. Нажать на кнопку График распределения объектов наблюдения в пространстве факторов (Plot case factor coordinates, 2D) и задать оси координат. 10. В окне результатов анализа можно просмотреть Критерий каменистой осыпи. 11. На вкладке Переменные нажать на кнопку Общности. В открывшемся окне представлена матрица общностей переменных, т.е. накопленная доля общности переменных. 12. Нажать на кнопку Вклад переменных. Откроется матрица вкладов переменных в вариацию компонент. 13. Выбрать опцию Собственные вектора для просмотра матрицы собственных векторов главных компонент. 14. В окне результатов компонентного анализа перейти на вкладку Наблюдения, выбрать опцию Факторные значения. Откроется матрица значений главных компонент. 15. Нажать на кнопку Коэффициенты факторных значений. Откроется матрица, элементы которой являются коэффициентами линейных уравнений зависимости компонент от исходных переменных. 16. Нажать на кнопку Вклады наблюдений. Откроется матрица со значениями вкладов наблюдений в вариацию главных компонент. 17. Нажать на кнопку Квадраты косинусов. Откроется таблица значений квадратов косинусов угла, образованного радиус-вектором наблюдения и факторной осью. Значения квадрата косинуса характеризуют общность переменных для каждого наблюдения, обусловленную влиянием главных компонент. 18. На вкладке Описательные статистики представлены возможности описательного анализа, корреляционного анализа, а также графического представления переменных. Выводы: В результате проведения компонентного анализа размерность исходного информационного пространства снижена до двух главных компонент. Выделенные компоненты объясняют 90,35% вариации исходных переменных. Первая главная компонента интерпретируется как "уровень экономического развития", вторая компонента - как "уровень социального развития". Результаты ранжирования областей по первой главной компоненте приведены в нижеследующей таблице. Factor coordinates of cases, based on correlations (Component_data) Factor 1 г. Москва5) Московская область5) Липецкая область Ярославская область Калужская область Смоленская область Владимирская область Костромская область Тульская область 6,27140 0,40451 0,28972 0,28616 0,17823 -0,00924 -0,22235 -0,22471 -0,28074 Ивановская область Тверская область Белгородская область Орловская область Тамбовская область Брянская область Воронежская область Курская область Рязанская область -0,33494 -0,53689 -0,57105 -0,72811 -0,83107 -0,84012 -0,90320 -0,91026 -1,03735