Элементы регрессионного и корреляционного анализа

1 Òåîðèÿ âåðîÿòíîñòåé. Ìàòåìàòè÷åñêàÿ ñòàòèñòèêà. ÐÝÓ èì. Ã.Â. Ïëåõàíîâà 2020-2021 Ýëåìåíòû ðåãðåññèîííîãî è êîððåëÿöèîííîãî àíàëèçà Ïóñòü (ξ, η)  íåïðåðûâíàÿ äâóìåðíàÿ ñëó÷àéíàÿ âåëè÷èíà, f (x, y)  ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ ýòîé ñ.â., fξ (x)  ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ ñ.â. ξ . ñ.â. η ïðè óñëîâèè ξ = x (îáîçíà÷àåòñÿ f (y|x)) îïðåäåëÿåòñÿ ôîðìóëîé f (x, y)/fξ (x). Óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ η ïðè M (η|ξ = x), M (η|x) èëè Óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì ñ.â. (îáîçíà÷àåòñÿ Mx (η)) íàçûâàåòñÿ ì.î. ñ.â. η , âû÷èñëåííîå â ïðåäïîëîæåíèè, ÷òî ñ.â. ξ ïðèíÿëà çíà÷åíèå x. Ó.ì.î. ìîæíî îïðåäåëèòü äëÿ äèñêðåòíûõ è íåïðåðûâíûõ ñ.â. +∞ R Åñëè ñ.â. íåïðåðûâíàÿ, òî M (η|x) = y · f (y|x)dy. óñëîâèè 2 ξ=x −∞ Ôóíêöèÿ g(ξ) = M (η|ξ) íàçûâàåòñÿ η ïî ξ . Åñëè ýòà ôóíêöèÿ ëèíåéíàÿ (ò.å. . . . ), òî îíà íàçûâàåòñÿ . ôóíêöèåé ðåãðåññèè ôóíêöèåé ëèíåéíîé ðåãðåññèè Åñëè îáå ôóíêöèè ðåãðåññèè M (η|ξ) è M (ξ|η) ëèíåéíû, òî ãîâîðÿò, ÷òî ξ è η ñâÿçàíû . ëèíåéíîé êîððåëÿöèîííîé çàâèñèìîñòüþ 3 Ïóñòü ax = M (ξ), ay = M (η), σx =  êîýôôèöèåíò êîððåëÿöèè ξ è η. Åñëè äâóìåðíàÿ ñ.â. (ξ, η) p p D(ξ), σy = D(η), ρ ðàñïðåäåëåíà ïî íîðìàëüíîìó çàêîíó, ò.å. h  2ρ(x−ax )(y−ay ) (x−ax )2 1 − exp − 2(1−ρ + 2 2) · σx σy σx p f (x, y) = 2πσx σy 1 − ρ2 òî ξ è η i ñâÿçàíû ëèíåéíîé êîððåëÿöèîííîé çàâèñèìîñòüþ M (η|ξ) = ay + ρ 4 (y−ay )2 σy2 σy (ξ − ax ), σx M (ξ|η) = ax + ρ σx (η − ay ). σy , 5 Ìåòîä íàèìåíüøèõ êâàäðàòîâ Ïóñòü ñ.â. ξ è η ñâÿçàíû ôîðìóëîé âèäà (1) η = aξ + b + ε, ãäå ε  öåíòðèðîâàííàÿ ñ.â., çàäàþùàÿ ñëó÷àéíûå îøèáêè, ξ è ε íåçàâèñèìû. Ïîñòðîèì îöåíêó ýòîé çàâèñèìîñòè: (2) η=e aξ + eb. Íàèëó÷øèå îöåíêè e a è eb ìîãóò íàèìåíüøèõ êâàäðàòîâ, áûòü ïîëó÷åíû ìåòîäîì ò.å. ðåøåíèåì çàäà÷è M (η − e aξ − eb)2 → min . 6 cov (ξ, η) , D(ξ) e a= eb = M (η) − cov (ξ, η) · M (ξ) . D(ξ) Ôóíêöèþ eaξ + eb íàçûâàþò ëèíåéíîé ñðåäíåêâàäðàòè÷åñêîé ðåãðåññèåé Åñëè ôóíêöèÿ ðåãðåññèè M (η|ξ) η íà (3) ξ. ëèíåéíàÿ, òî îíà ñîâïàäàåò ñ ôóíêöèåé ë.ñ.ð. Ïðÿìûå, çàäàííûå óðàâíåíèÿìè σy σx y = ay + ρ (x − ax ), è x = ax + ρ (y − ay ), (4) σ σ x íàçûâàþò y ïðÿìûìè ñðåäíåêâàäðàòè÷åñêîé ðåãðåññèè η íà ξ è ξ íà η. 7 Åñëè ρ = 0, Åñëè ρ = ±1, òî ïðÿìûå â (4) òî ïðÿìûå â ðàñïîëîæåíû . . . (4) ... Âûáîðî÷íûå óðàâíåíèÿ ïðÿìûõ ñðåäíåêâàäðàòè÷åñêîé ðåãðåññèè Ïóñòü (x1, y1), . . . , (xn, yn)  âûáîðêà èç ã.ñ., ïðåäñòàâëÿþùåé äâóìåðíóþ ñ.â. (ξ, η). Çàìåíèì â óðàâíåíèÿõ (4) òåîðåòè÷åñêèå ïàðàìåòðû èõ âûáîðî÷íûìè îöåíêàìè. Ïðÿìûå, çàäàííûå óðàâíåíèÿìè y = y+ρ· íàçûâàþò Sy · (x − x), Sx è x = x+ρ· âûáîðî÷íûìè ïðÿìûìè ñðåäíåêâàäðàòè÷åñêîé ðåãðåññèè 8 Sx · (y − y), Sy η íà ξ è ξ íà (5) η.