Центральная предельная теорема и теоремы непрерывности . Многомерное нормальное распределение.Дискретный и общий случай.

Êðàòêèé êîíñïåêò ëåêöèé ïî ìàòåìàòè÷åñêîé ñòàòèñòèêå (II-é êóðñ, âåñåííèé ñåìåñòð, ìîäóëü III) ëåêòîð Ñ.Â. Øàïîøíèêîâ 1. Öåíòðàëüíàÿ ïðåäåëüíàÿ òåîðåìà è òåîðåìû íåïðåðûâíîñòè. (Öåíòðàëüíàÿ ïðåäåëüíàÿ òåîðåìà) Ïóñòü {ξn }  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí, ïðè÷åì Eξ1 = µ è Dξ1 = σ 2 . Òîãäà äëÿ âñåõ t ∫ t ( ξ + . . . + ξ − nµ ) 1 2 1 √ n e−y /2 dy, lim P 6t = √ n→∞ σ n 2π −∞ ò. å. ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí Òåîðåìà 1.1. ξ1 + . . . + ξn − nµ √ σ n ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå, èìåþùåé íîðìàëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðàìè 0 è 1. Äëÿ ïðèìåíåíèÿ öåíòðàëüíîé ïðåäåëüíîé òåîðåìû íà ïðàêòèêå âàæíóþ ðîëü èãðàþò òàê íàçûâàåìûå òåîðåìû î íåïðåðûâíîñòè. Íàïîìíèì, ÷òî ïîñëåäîâàòåëüíîñòü ξn ñõîäèòñÿ ïî âåðîÿòíîñòè ê ξ , åñëè äëÿ âñÿêîãî ÷èñëà ε > 0 âåðíî ðàâåíñòâî: lim P (|ξn − ξ| > ε) = 0. n→∞ Åñëè g  íåïðåðûâíàÿ ôóíêöèÿ è ξn ñõîäèòñÿ ê ξ ïî âåðîÿòíîñòè, òî g(ξn ) ñõîäèòñÿ ê g(ξ) ïî âåðîÿòíîñòè. Ïðåäëîæåíèå 1.1. Äîêàçàòåëüñòâî. Ïóñòü C > 0. Íà îòðåçêå [−C, C] ôóíêöèÿ g ðàâíîìåðíî íåïðåðûâíà. Äëÿ âñÿêîãî ε > 0 ñóùåñòâóåò δ > 0 òàêîå, ÷òî èç |x − y| < δ ñëåäóåò |g(x) − g(y)| < ε äëÿ âñåõ x, y ∈ [−C, C]. Ñëåäîâàòåëüíî, èìååò ìåñòî íåðàâåíñòâî P (|g(ξn ) − g(ξ)| > ε) 6 P (|ξn − ξ| > δ) + P (|ξn | > C) + P (|ξ| > C) 6 P (|ξn − ξ| > δ) + P (|ξn − ξ| > C/2) + P (|ξ| > C/2) + P (|ξ| > C). Óñòðåìëÿåì ñíà÷àëà n → ∞, à çàòåì C → ∞. Ïîëó÷àåì lim P (|g(ξn ) − g(ξ)| > ε) = 0. n→∞  Ïîñëåäîâàòåëüíîñòü ξn ñõîäèòñÿ ê ξ ïî ðàñïðåäåëåíèþ, åñëè lim Fξn (t) = Fξ (t) n→∞ â êàæäîé òî÷êå t íåïðåðûâíîñòè Fξ . Ìû çíàåì, ÷òî ýòî îïðåäåëåíèå ýêâèâàëåíòíî ñëåäóþùåìó: limn→∞ Ef (ξn ) = Ef (ξ) äëÿ âñÿêîé íåïðåðûâíîé è îãðàíè÷åííîé ôóíêöèè f . Îòìåòèì, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè âëå÷åò ñõîäèìîñòü ïî ðàñïðåäåëåíèþ. Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ξn ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ξ , òî äëÿ âñÿêîé íåïðåðûâíîé ôóíêöèè g ñëó÷àéíûå âåëè÷èíû g(ξn ) ñõîäÿòñÿ ïî ðàñïðåäåëåíèþ ê g(ξ). Ïðåäëîæåíèå 1.2. Äîêàçàòåëüñòâî. Íåìåäëåííî ñëåäóåò èç îïðåäåëåíèÿ ñõîäèìîñòè ïî ðàñïðåäåëåíèþ. 1  2 Åñëè ξn → a = const ïî âåðîÿòíîñòè è ηn → η ïî ðàñïðåäåëåíèþ, òî ξn ηn → aη è ξn + ηn → a + η ïî ðàñïðåäåëåíèþ. Ïðåäëîæåíèå 1.3. Äîêàçàòåëüñòâî. Ñíà÷àëà äîêàæåì óòâåðæäåíèå äëÿ ñóììû. Ïóñòü ε > 0. Òîãäà P (ξn + ηn 6 t) 6 Fηn (t − a + ε) + P (|ξn − a| > ε) è P (ξn + ηn 6 t) > Fηn (t − a − ε) − P (|ξn − a| > ε). Óñòðåìëÿÿ ñíà÷àëà n → ∞, à çàòåì ε → 0, â òî÷êàõ íåïðåðûâíîñòè Fη (t − a) ïîëó÷àåì òðåáóåìîå ðàâåíñòâî: lim P (ξn + ηn 6 t) = Fη (t − a) = Fa+η (t). n→∞ Äîêàæåì óòâåðæäåíèå äëÿ ïðîèçâåäåíèÿ. Ïóñòü a = 0. Òàê êàê äëÿ âñÿêèõ ε > 0 è C > 0 âåðíî âêëþ÷åíèå ∪ {|ξn ηn | > ε} ⊂ {|ηn | > C} {|ξn | > εC −1 }, òî P (|ξn ηn | > ε) 6 1 − Fηn (C) + Fηn (−C) + P (|ξn | > εC −1 ). Ñëåäîâàòåëüíî, óñòðåìëÿÿ ñíà÷àëà n → ∞, à çàòåì C → ∞, çàêëþ÷àåì, ÷òî ξn ηn → 0 ïî âåðîÿòíîñòè. Îñòàåòñÿ âñïîìíèòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè âëå÷åò ñõîäèìîñòü ïî ðàñïðåäåëåíèþ. Îáùèé ñëó÷àé âûâîäèòñÿ èç óòâåðæäåíèÿ äëÿ ñóììû è òîãî, ÷òî âåëè÷èíû (ξn − a)ηn ñòðåìÿòñÿ ïî âåðîÿòíîñòè ê íóëþ è aηn ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê aη .  Òèïè÷íûå ïðèìåðû ïîñëåäîâàòåëüíîñòåé ξn , ñõîäÿùèõñÿ ê êîíñòàíòå ïî âåðîÿòíîñòè, äîñòàâëÿåò çàêîí áîëüøèõ ÷èñåë. Ïóñòü çàäàíà ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ è îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ξj , ïðè÷åì Eξj = µ è Dξj = σ 2 . Òîãäà ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí 1 ∑ s2n = (ξj − ξ n )2 , n−1 Ïðèìåð 1.1. j ãäå ξ n = (ξ1 + . . . + ξn )/n, ñõîäèòñÿ ïî âåðîÿòíîñòè ê σ 2 . Äëÿ äîêàçàòåëüñòâà ðàñïèøåì n 2 n 1∑ 2 s2n = ξj − ξ . n−1n n−1 n j Òåïåðü îñòàåòñÿ çàìåòèòü, ÷òî ïî çàêîíó áîëüøèõ ÷èñåë 1∑ 2 ξj → σ 2 + µ2 , ξ n → µ n j ïî âåðîÿòíîñòè. Ïðåäëîæåíèå 1.4. Ïóñòü a, hn ∈ R, hn → 0 è f  äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ íà R. Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ξn ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ξ , òî ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí f (a + hn ξn ) − f (a) hn ñõîäèòñÿ ê f ′ (a)ξ ïî ðàñïðåäåëåíèþ. Áîëåå òîãî, åñëè f ′ (a) = 0, òî ñëó÷àéíûå âåëè÷èíû f (a + hn ξn ) − f (a) h2n ñõîäÿòñÿ ê f ′′ (a)ξ 2 /2 ïî ðàñïðåäåëåíèþ. 3 Äîêàçàòåëüñòâî. Èìååò ìåñòî ðàâåíñòâî f (a + hn ξn ) − f (a) = ξn hn ∫ 1 f ′ (a + thn ξn ) dt. Çàìåòèì, ÷òî hn ξn → 0 ïî âåðîÿòíîñòè (ñì. äîêàçàòåëüñòâî ïðåäûäóùåãî ïðåäëîæåíèÿ) è ôóíêöèÿ ∫ 1 g(y) = f ′ (a + ty) dt íåïðåðûâíà. Ñëåäîâàòåëüíî, ∫ 1 f ′ (a + thn ξn ) dt → f ′ (a) ïî âåðîÿòíîñòè. Òåïåðü òðåáóåìîå óòâåðæäåíèå ñëåäóåò èç ïðåäûäóùåãî ïðåäëîæåíèÿ. Àíàëîãè÷íî äîêàçûâàåòñÿ âòîðàÿ ÷àñòü óòâåðæäåíèÿ.  Ðàññìîòðèì òèïè÷íûå ïðèìåðû ïðèìåíåíèÿ òåîðåì íåïðåðûâíîñòè. Ïóñòü çàäàíà ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ è îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ξj , ïðè÷åì Eξj = µ è Dξj = σ 2 > 0. Òîãäà èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû ñëåäóåò, ÷òî ïî ðàñïðåäåëåíèþ √ ¯ n(ξn − µ) → ξ ∼ N (0, 1). σ Ïðèìåð 1.2. Áîëåå òîãî, ò. ê. s2n → σ 2 > 0 ïî âåðîÿòíîñòè, òî èìååò ìåñòî ñõîäèìîñòü ïî ðàñïðåäåëåíèþ âåëè÷èí √ ¯ n(ξn − µ) → ξ ∼ N (0, 1). s2n Ïóñòü çàäàíà ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ è îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ξj , ïðè÷åì Eξj = µ è Dξj = σ 2 > 0. Åñëè h  äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ, òî √ n(h(ξ¯n ) − h(µ)) → ξ ∼ N (0, q 2 ), q = σh′ (µ). Ïðèìåð 1.3. Äåéñòâèòåëüíî, èìååò ìåñòî ðàâåíñòâî ( ) −1/2 σζ h µ + n − h(µ) ¯ n √ (h(ξn ) − h(µ)) n = , σ σn−1/2 ãäå ζn = ξ¯n − µ → ξ ∼ N (0, 1). σn−1/2 2. Ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå. Ïîëîæèì ⟨x, y⟩ = x1 y1 + x2 y2 + . . . + xm ym , (x1 , x2 , . . . , xm ), (y1 , y2 , . . . , ym ) ∈ Rm . Õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ ñëó÷àéíîãî âåêòîðà (ξ1 , . . . , ξm ) îïðåäåëÿåòñÿ ðàâåíñòâîì φξ (y) = Eei⟨ξ,y⟩ . Ïðåäëîæåíèå 2.1. Åñëè φξ = φη , òî ξ è η èìåþò îäèíàêîâûå ðàñïðåäåëåíèÿ. 4 Äîêàçàòåëüñòâî. Çàìåòèì, ÷òî Fξ (x1 , . . . , xm ) = EI6x1 (ξ1 ) · · · I6xm (ξm ). Ïî àíàëîãèè ñ îäíîìåðíûì ñëó÷àåì äîñòàòî÷íî äîêàçàòü, ÷òî Eg1 (ξ1 ) · · · gm (ξm ) = Eg1 (η1 ) · · · gm (ηm ) äëÿ íåïðåðûâíûõ ïåðèîäè÷åñêèõ ôóíêöèé gi (u). Òàêèå ôóíêöèè ïðèáëèæàþòñÿ ëèíåéíûìè êîìáèíàöèÿìè ôóíêöèé âèäà eλi u. Çíà÷èò, äîñòàòî÷íî ïðîâåðÿòü ñîâïàäåíèå âûðàæåíèé E exp(λ1 ξ1 + . . . + λm ξm ) = E exp(λ1 ξ1 + . . . + λm ξm ).  Ñëåäñòâèå 2.1. Ñëó÷àéíûå âåëè÷èíû ξ1 , . . . , ξm íåçàâèñèìû òîãäà è òîëüêî òîãäà, êîãäà φξ (y1 , . . . , ym ) = φξ1 (y1 ) · · · φξm (ym ).  ìíîãîìåðíîì ñëó÷àå ïî àíàëîãèè ñ îäíîìåðíûì ìîæíî îïðåäåëèòü ñõîäèìîñòü ïî ðàñïðåäåëåíèþ è âûâîäèòü åå èç ñõîäèìîñòè õàðàêòåðèñòè÷åñêèõ ôóíêöèé. n ) íåçàâèñèìû, îäèíàêîâî ðàñïðåäåëåíû Ïóñòü ñëó÷àéíûå âåêòîðû (ξ1n , . . . , ξm è èìåþò êîíå÷íûå µi = Eξin , rij = cov(ξi1 , ξj1 ). Òåîðåìà 2.1. Òîãäà âåëè÷èíû ξi1 + . . . + ξin − nµi √ n n ) ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê âåêòàêîâû, ÷òî ïîñëåäîâàòåëüíîñòü âåêòîðîâ (η1n , . . . , ηm òîðó η , õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ êîòîðîãî èìååò âèä ηin = −1 ⟨Ry,y⟩ φη (y) = e−2 , R = (rij ). 1 − µ ). Èç íåçàâèñèìîñòè âûâîäèì Äîêàçàòåëüñòâî. Ïóñòü ζ = (ξ11 − µ1 , . . . , ξm m ( ( y ))n ( )n 1 φηn (y) = φζ √ ⟨Ry, y⟩ + o(1/n) , = 1− 2n n ÷òî ñõîäèòñÿ ê e−2 −1 ⟨Ry,y⟩ ïðè n → ∞.  Ñëó÷àéíûé âåêòîð ζ èìååò íîðìàëüíîå ðàñïðåäåëåíèå èëè ÿâëÿåòñÿ ãàóññîâñêèì, åñëè õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ −1 ⟨Rx,x⟩+i⟨µ,x⟩ φζ (x) = E(exp(i⟨ζ, x⟩)) = e−2 , ãäå µ = (µ1 , µ2 , . . . , µm ) ∈ Rm , R  ñèììåòðè÷íàÿ íåîòðèöàòåëüíî îïðåäåëåííàÿ ìàòðèöà m × m. Äàëåå êðàòêî ïèøåì ζ ∼ N (µ, R). Ñëåäóþùàÿ òåîðåìà ñîäåðæèò ñïèñîê îñíîâíûõ ñâîéñòâ íîðìàëüíîãî ðàñïðåäåëåíèÿ. Äëÿ ïðîñòîòû ôîðìóëèðóåì è äîêàçûâàåì ýòî óòâåðæäåíèå â ðàçìåðíîñòè m = 2. (i) Âåêòîð (ξ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå òîãäà è òîëüêî òîãäà, êîãäà äëÿ âñÿêèõ ÷èñåë c1 , c2 ñëó÷àéíàÿ âåëè÷èíà c1 ξ + c2 η èìååò íîðìàëüíîå ðàñïðåäåëåíèå èëè ÿâëÿåòñÿ êîíñòàíòîé. Òåîðåìà 2.2. (ii) Åñëè (ξ, η) ∼ N (µ, R) è R = (rij ), òî µ1 = Eξ, µ2 = Eη, r11 = Dξ, r22 = Dη, r12 = r21 = cov(ξ, η). (iii) Åñëè (ξ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå, òî íåçàâèñèìîñòü ðàâíîñèëüíà ðàâåíñòâó cov(ξ, η) = 0. 5 (iv) Âåêòîð ζ = (ξ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå N (µ, R) òîãäà è òîëüêî òîãäà, êîãäà ζ = µ + Aν , ãäå âåêòîð ν = (v1 , v2 ) òàêîâ, ÷òî v1 è v2 íåçàâèñèìûå íîðìàëüíî ðàñïðåäåëåííûå ñ ïàðàìåòðàìè 0 è 1 ñëó÷àéíûå âåëè÷èíû, AA∗ = R. (v) Åñëè detR ̸= 0, òî ðàñïðåäåëåíèå ζ ∼ N (µ, R) èìååò ïëîòíîñòü ϱ(x) = ⟨R−1 (x−µ),x−µ⟩ 1 2 √ . e− 2π detR Äîêàçàòåëüñòâî. Óòâåðæäåíèå (i) îáîñíîâûâàåòñÿ ïðîñòûì âû÷èñëåíèåì õàðàêòåðèñòè÷åñêîé ôóíêöèè. Äëÿ äîêàçàòåëüñòâà (ii) äîñòàòî÷íî ïðîäèôôåðåíöèðîâàòü õàðàêòåðèñòè÷åñêóþ ôóíêöèþ. Óòâåðæäåíèå (iii) ñëåäóåò èç òîãî, ÷òî íåçàâèñèìîñòü ðàâíîñèëüíàÿ ðàâåíñòâó: φζ (x1 , x2 ) = φξ (x1 )φη (x2 ). Ïóíêò (iv) ëåãêî ïîëó÷àåòñÿ â ñëó÷àå íåâûðîæäåííîé ìàòðèöû R. Äåéñòâèòåëüíî, âåêòîð ν ìîæíî âûðàçèòü ÷åðåç ζ ñëåäóþùèì îáðàçîì: √ ν = A−1 (ζ − µ) è A = R. Òåïåðü ðàññìîòðèì ñëó÷àé, êîãäà R âûðîæäåííàÿ ìàòðèöà. Íàéäåì òàêîå îðòîãîíàëüíîå ïðåîáðàçîâàíèå, ÷òî U RU ∗ = D  äèàãîíàëüíàÿ ìàòðèöà. Âåêòîð u = (u1 , u2 ) = U (ν − µ) èìååò íîðìàëüíîå ðàñïðåäåëåíèå N (0, D). Åñëè ó ìàòðèöû D íà ãëàâíîé äèàãîíàëè åñòü íîëü, òî ýòî îçíà÷àåò (ïî (ii)), ÷òî ñîîòâåòñòâóþùàÿ êîîðäèíàòà u1 èëè u2 ðàâíà íóëþ ïî÷òè íàâåðíîå. Êîãäà îáå êîîðäèíàòû ïî÷òè íàâåðíîå íóëè, òî â ñèëó íåâûðîæäåííîñòè U ýòî îçíà÷àåò, ÷òî ν = µ ïî÷òè íàâåðíîå. Åñëè îäíà êîîðäèíàòà ðàâíà íóëþ, íàïðèìåð u2 = 0, òî ìîæíî ñ÷èòàòü, ÷òî âåêòîð u ïîëó÷åí èç ν ñ ïîìîùüþ óìíîæåíèÿ íà ìàòðèöó, ó êîòîðîé âñå íóëè êðîìå ïåðâîãî ýëåìåíòà ãëàâíîé äèàãîíàëè, ðàâíîãî 1/d11 . Äëÿ îáîñíîâàíèÿ (v) äîñòàòî÷íî ñäåëàòü çàìåíó êîîðäèíàò.  Ñëåäñòâèå 2.2. Åñëè âåêòîð ζ = (ξ1 , . . . , ξn ) èìååò íîðìàëüíîå ðàñïðåäåëåíèå è âåëè÷èíû ξi íåçàâèñèìû, òî äëÿ âñÿêîé îðòîãîíàëüíîé ìàòðèöû U âåêòîð u = U ζ èìååò íîðìàëüíîå ðàñïðåäåëåíèå è åãî êîîðäèíàòû íåçàâèñèìû. Ñëåäóþùèé ïðèìåð èãðàåò âàæíóþ ðîëü â ñòàòèñòè÷åñêèõ ìåòîäàõ. Ïóñòü ξ = (ξ1 , . . . , ξn )  íåçàâèñèìûå íîðìàëüíî ðàñïðåäåëåííûå ñ ïàðàìåòðàìè µ è ñëó÷àéíûå âåëè÷èíû. Ïîëîæèì ξ1 + . . . + ξn ξ= , ζ = (ξ1 − ξ)2 + . . . + (ξn − ξ)2 n Ïîêàæåì, ÷òî ξ è ζ íåçàâèñèìû. Ïóñòü U  îðòîãîíàëüíàÿ ìàòðèöà, ïåðâàÿ ñòðîêà êîòîðîé èìååò âèä (n−1/2 , n−1/2 , . . . , n−1/2 ). Òîãäà êîîðäèíàòû âåêòîðà u = U ξ ÿâëÿþòñÿ íåçàâèñèìûìè íîðìàëüíî ðàñïðåäåëåííûìè ñëó÷àéíûìè âåëè÷èíàìè, ïðè÷åì ïåðâàÿ êîîðäèíàòà u1 ñîâïàäàåò ñ n1/2 ξ . Îñòàåòñÿ îòìåòèòü, ÷òî èç-çà îðòîãîíàëüíîñòè U èìååò ìåñòî ðàâåíñòâî: Ïðèìåð 2.1. σ2 n ∑ 2 u2i = −u21 + |u|2 = −nξ + |ξ|2 = ζ. i=2 Äëÿ äàëüíåéøåãî ïîëåçíî èìåòü ââèäó, ÷òî ξ èìååò íîðìàëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðàìè µ è σ 2 /n, à ðàñïðåäåëåíèå âåëè÷èíû χ = η12 + . . . + ηn2 , ãäå ηi íåçàâèñèìûå è íîðìàëüíî ðàñïðåäåëåííûå ñ ïàðàìåòðàìè 0 è 1 âåëè÷èíû, íàçûâàþò ðàñïðåäåëåíèåì õè-êâàäðàò c n ñòåïåíÿìè ñâîáîäû è îáîçíà÷àþò ÷åðåç χ2n . Òàêèì îáðàçîì, σ −2 ζ èìååò ðàñïðåäåëåíèå χ2n−1 . Íàéäåì ïëîòíîñòü ðàñïðåäåëåíèÿ χ2n : ∫ √t ∫ t −n/2 n−1 −r2 /2 −n/2 P (χ 6 t) = (2π) ωn r e dr = (2π) ωn s(n−2)/2 e−s/2 ds, ãäå ωn  ïëîùàäü n-ìåðíîé ñôåðû. Òàêèì îáðàçîì, ïëîòíîñòü ðàñïðåäåëåíèÿ èìååò âèä ϱ(s) = (2π)−n/2 ωn s(n−2)/2 e−s/2 I>0 (s). 6 3. Óñëîâíûå ìàòåìàòè÷åñêèå îæèäàíèÿ: äèñêðåòíûé ñëó÷àé. Ïðåäïîëîæèì, ÷òî çàäàíà äèñêðåòíàÿ ñëó÷àéíàÿ âåëè÷èíà ∑ ξ(ω) = xi IAi (ω). i Ðàññìîòðèì ñëåäóþùóþ çàäà÷ó: íàéòè ìàòåìàòè÷åñêîå îæèäàíèå ξ , åñëè äîñòîâåðíî èçâåñòíî, ÷òî ïðîèçîøëî ñîáûòèå B , P (B) > 0. Ïîñêîëüêó ìû çíàåì, ÷òî ñîáûòèå B ïðîèçîøëî, òî íàäî ïåðåñ÷èòàòü âåðîÿòíîñòè Ak ñ ó÷åòîì íîâîé èíôîðìàöèè, à èìåííî, çàìåíèòü P (Ak ) íà P (Ak |B). Òàêèì îáðàçîì, íàäî âû÷èñëèòü ìàòåìàòè÷åñêîå îæèäàíèå íå îòíîñèòåëüíî èñõîäíîé âåðîÿòíîñòíîé ìåðû P , à îòíîñèòåëüíî óñëîâíîé âåðîÿòíîñòè P ( · |B). Èìååì ∑ E(ξIB ) xi P (Ai |B) = E(ξ|B) = . P (B) i Ýòî âûðàæåíèå áóäåì íàçûâàòü óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì ξ îòíîñèòåëüíî ñîáûòèÿ B . Ïóñòü òåïåðü èìååòñÿ ðàçáèåíèå ∪ ∪ ∪ ∩ Ω = B1 B2 . . . BN , Bi Bj = ∅, P (Bk ) > 0. Îáîçíà÷èì ðàçáèåíèå {Bk } ÷åðåç B . Óäîáíî ñîáðàòü âìåñòå çíà÷åíèÿ óñëîâíûõ ìàòåìàòè÷åñêèõ îæèäàíèé E(ξ|B). Ðàññìîòðèì ñëó÷àéíóþ âåëè÷èíó: ∑ Λ(ω) = IBj (ω)E(ξ|Bj ). j Åñëè ω ∈ Bj , òî ýòà ñëó÷àéíàÿ âåëè÷èíà âûäàåò ñðåäíåå çíà÷åíèå ξ ïðè óñëîâèè, ÷òî ïðîèçîøëî ñîáûòèå Bj . Âåëè÷èíó Λ íàçûâàþò óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì ξ îòíîñèòåëüíî ðàçáèåíèÿ B è îáîçíà÷àþò ÷åðåç E(ξ|B). Ñëó÷àéíóþ âåëè÷èíó P (A|B) = E(IA |B) íàçûâàþò óñëîâíîé âåðîÿòíîñòüþ ñîáûòèÿ A îòíîñèòåëüíî ðàçáèåíèÿ B. Ðàññìîòðèì âàæíûé ïðèìåð, êîãäà B = {B, B = Ω \ B}. Òîãäà P (A|B) = IB P (A|B) + IB P (A|B). Åñëè ω ∈ B , òî P (A|B)(ω) = P (A|B). Îïðåäåëåíèå óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ E(ξ|B) äîñëîâíî ïåðåíîñèòñÿ íà ïðîèçâîëüíûå ñëó÷àéíûå âåëè÷èíû ξ . Òåîðåìà 3.1. Èìåþò ìåñòî ñëåäóþùèå ñâîéñòâà óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ: (i) (ëèíåéíîñòü) E(αξ + βη|B) = αE(ξ|B) + βE(η|B), (ii) (ìîíîòîííîñòü) ξ 6 η ñëåäóåò E(ξ|B) 6 E(η|B), ( ) (iii) (àíàëîã ôîðìóëû ïîëíîé âåðîÿòíîñòè) E E(ξ|B) = Eξ , (iv) (íåçàâèñèìîñòü) åñëè ñëó÷àéíàÿ âåëè÷èíà ξ íå çàâèñèò îò ðàçáèåíèÿ B , ò. å. ñëó÷àéíûå âåëè÷èíû ξ è IBj íåçàâèñèìû, òî E(ξ|B) = Eξ . ∑ (v) äëÿ âñÿêîé ñëó÷àéíîé âåëè÷èíû ζ = j cj IBj âåðíî ðàâåíñòâî E(ζξ|B) = ζE(ξ|B). Äîêàçàòåëüñòâî. Îáîñíóåì ïóíêò (iv). Òàê êàê ξ è IBj íåçàâèñèìû, òî E(ξ|Bj ) = EξEIBj E(ξIBj ) = = Eξ. P (Bj ) P (Bj ) 7 Ñëåäîâàòåëüíî, E(ξ|B) = ∑ IBj (ω)E(ξ|Bj ) = j ∑ IBj (ω)Eξ = Eξ. j Äëÿ îáîñíîâàíèÿ (v) äîñòàòî÷íî çàìåòèòü, ÷òî E(ξζ|Bj ) = cj E(ξ|Bj ).  Íàèáîëåå òèïè÷íà ñèòóàöèÿ, êîãäà ðàçáèåíèå B ïîÿâëÿåòñÿ ïîñðåäñòâîì íåêîòîðîé ñëó÷àéíîé âåëè÷èíû ∑ η= yj I B j , j ãäå yj  ðàçëè÷íûå ÷èñëà è P (Bj ) > 0.  ýòîì ñëó÷àå Bj = {ω : η(ω) = yj } è óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E(ξ|B) îáîçíà÷àþò ÷åðåç E(ξ|η) è íàçûâàþò óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì ξ îòíîñèòåëüíî η . Íåñëîæíî ïðåäúÿâèòü ôóíêöèþ F (ýòî ìîæíî ñäåëàòü íåñêîëüêèìè ñïîñîáàìè) òàêóþ, ÷òî E(ξ|η)(ω) = F (η(ω)). Ëåãêî âèäåòü, ÷òî F (yj ) = E(ξ|η = yj ). Ñëåäóþùåå óòâåðæäåíèå ðàñêðûâàåò ãåîìåòðè÷åñêèé ñìûñë óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ. Ïóñòü Eξ 2 < ∞. Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E(ξ|η) ñðåäè âñåõ ñëó÷àéíûõ âåëè÷èí âèäà f (η) ÿâëÿåòñÿ ëó÷øèì ñðåäíåêâàäðàòè÷åñêèì ïðèáëèæåíèåì äëÿ ξ , ò. å. min E|ξ − ζ|2 = E|ξ − E(ξ|η)|2 . Ïðåäëîæåíèå 3.1. ζ : ζ=f (η) Äîêàçàòåëüñòâî. Ïóñòü ζ = f (η). Òîãäà E|ξ − ζ|2 = E|ξ|2 − 2E(ξf (η)) + E|f (η)|2 . Çàìåòèì, ÷òî ( ) E(ξf (η)) = E f (η)E(ξ|η) , ( ) E ξE(ξ|η) = E|E(ξ|η)|2 . Ñëåäîâàòåëüíî, âåðíû íåðàâåíñòâà E|ξ − ζ|2 > E|ξ|2 − E|E(ξ|η)|2 = E|ξ − E(ξ|η)|2 .   äîêàçàòåëüñòâå ïîñëåäíåãî óòâåðæäåíèÿ êëþ÷åâóþ ðîëü èãðàëî ñëåäóþùåå ñâîéñòâî óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ: ( ) E(ξf (η)) = E f (η)E(ξ|η) . Ïðåäïîëîæèì, ÷òî äëÿ íåêîòîðîé ñëó÷àéíîé âåëè÷èíû ζ = g(η) âûïîëíåíî ñâîéñòâî: E(ξf (η)) = E(ζf (η)) äëÿ âñåõ âåëè÷èí f (η). Òîãäà E|E(ξ|η) − ζ|2 = 0 è ζ = E(ξ|η) ïî÷òè íàâåðíîå. Òàêèì îáðàçîì, ñ ãåîìåòðè÷åñêîé òî÷êè çðåíèÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ ïðîåêöèåé ξ íà ïðîñòðàíñòâî ñëó÷àéíûõ âåëè÷èí âèäà f (η) è ïîëíîñòüþ õàðàêòåðèçóåòñÿ òåì ñâîéñòâîì, ÷òî âåêòîð ξ − E(ξ|η) ïåðïåíäèêóëÿðåí óêàçàííîìó ïðîñòðàíñòâó, ÷òî çàïèñûâàåòñÿ c ïîìîùüþ ðàâåíñòâà E(ξf (η)) = E(E(ξ|η)f (η)). 8 4. Óñëîâíûå ìàòåìàòè÷åñêèå îæèäàíèÿ: îáùèé ñëó÷àé. Òåïåðü ìû ìîæåì ñôîðìóëèðîâàòü îïðåäåëåíèå óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ E(ξ|η) óæå áåç ïðåäïîëîæåíèÿ î äèñêðåòíîñòè ðàñïðåäåëåíèÿ η . Ñëó÷àéíàÿ âåëè÷èíà âèäà F (η) íàçûâàåòñÿ óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì E(ξ|η), åñëè ( ) E(ξf (η)) = E E(ξ|η)f (η) äëÿ âñåõ îãðàíè÷åííûõ ñëó÷àéíûõ âåëè÷èí f (η). Ëþáûå äâå ñëó÷àéíûå âåëè÷èíû, óäîâëåòâîðÿþùèå ýòîìó îïðåäåëåíèþ, ïî÷òè íàâåðíîå ñîâïàäàþò. Ôóíêöèþ F (y) îáîçíà÷àþò ÷åðåç E(ξ|η = y) è òðàêòóþò êàê óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ξ ïðè óñëîâèè, ÷òî η = y . Íàäî èìåòü ââèäó, ÷òî èìåííî óñëîâíîå îæèäàíèå F (η) îïðåäåëåíî îäíîçíà÷íî, íî íå ôóíêöèÿ F . Îäíàêî, ðàçëè÷íûå ôóíêöèè F ñîâïàäàþò ïî÷òè íàâåðíîå îòíîñèòåëüíî ðàñïðåäåëåíèÿ µη . Åñëè η èìååò ïîëîæèòåëüíóþ íåïðåðûâíóþ ïëîòíîñòü, òî ðàçëè÷íûå ôóíêöèè F ñîâïàäàþò ïî÷òè âñþäó.  äàëüíåéøåì, åñëè ìû ïèøåì, ÷òî E(ξ|η = y) = f (y), òî èìååòñÿ ââèäó òîëüêî òî, ÷òî E(ξ|η) = f (η). Ïðåäëîæåíèå 4.1. Ïðåäïîëîæèì, ÷òî ðàñïðåäåëåíèå (ξ, η) çàäàíî ñîâìåñòíîé ïëîòíî- ñòüþ ϱξη (x, y). Òîãäà ∫ E(g(ξ)|η = y) = g(x) ϱξη (x, y) dx. ϱη (y) Äîêàçàòåëüñòâî. Èìååò ìåñòî öåïî÷êà ðàâåíñòâ: (∫ ) ∫ ∫ ∫ ϱξη (x, y) E(g(ξ)f (η)) = g(x)f (y)ϱξη (x, y) dx dy = f (y) dx ϱη (y) dy. g(x) ϱη (y)  Ôóíêöèþ ϱξη (x, y) ϱη (y) íàçûâàþò óñëîâíîé ïëîòíîñòüþ ξ îòíîñèòåëüíî η (óñëîâèìñÿ, ÷òî ϱξ|η (x|y) = 0 â òî÷êàõ y , â êîòîðûõ ϱη (y) = 0). Òàêèì îáðàçîì, âåðíû ðàâåíñòâà: ∫ E(ξ|η = y) = xϱξ|η (x|y) dx, ϱξη (x, y) = ϱξ|η (x|y)ϱη (y), ϱξ|η (x|y) = ïîñëåäíåå èç êîòîðûõ ÿâëÿåòñÿ àíàëîãîì õîðîøî çíàêîìîãî íàì ïðàâèëà óìíîæåíèÿ âåðî∩ ÿòíîñòåé P (A B) = P (A|B)P (B). Ñôîðìóëèðîâàííûå âûøå ñâîéñòâà (i)(v) óñëîâíûõ ìàòåìàòè÷åñêèõ îæèäàíèé îòíîñèòåëüíî ðàçáèåíèé è äèñêðåòíûõ âåëè÷èí îñòàþòñÿ âåðíû è â îáùåì ñëó÷àå. Ïðåäëîæåíèå 4.2. Äîêàçàòåëüñòâî. Ëèíåéíîñòü î÷åâèäíà. Äëÿ äîêàçàòåëüñòâà ìîíîòîííîñòè äîñòàòî÷íî ïîêàçàòü, ÷òî èç íåðàâåíñòâà ξ > 0 ñëåäóåò E(ξ|η) > 0 ïî÷òè íàâåðíîå. Äëÿ ýòîãî äîñòàòî÷íî â îïðåäåëåíèè ïîëîæèòü f (η) = 1−sign(E(ξ|η)) > 0 è ó÷åñòü íåðàâåíñòâî E(ξ|η)−|E(ξ|η)| 6 0. Ðàâåíñòâî E(E(ξ|η)) = Eξ ÿâëÿåòñÿ ÷àñòíûì ñëó÷àåì îïðåäåëåíèÿ (íàäî âçÿòü f ≡ 1). Åñëè ξ è η íåçàâèñèìû, òî E(ξf (η)) = EξEf (η) = E(f (η)Eξ). Åñëè ζ = g(η), òî î÷åâèäíî ζE(ξ|η) ÿâëÿåòñÿ óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì ζξ îòíîñèòåëüíî η .  Ñâîéñòâî (v) èìååò ñëåäóþùåå îáîáùåíèå. 9 Ïðåäëîæåíèå 4.3. Äëÿ âñÿêîé íåïðåðûâíîé ôóíêöèè ψ(x, y) âåðíî ðàâåíñòâî E(ψ(ξ, η)|η = y) = E(ψ(ξ, y)|η = y). Äîêàçàòåëüñòâî. Ýòî ðàâåíñòâî î÷åâèäíî äëÿ ψ(x, y) = g(x)h(y), òàê êàê â ýòîì ñëó÷àå ïîëó÷àåì ïðîñòî âàðèàíò ñâîéñòâà (v).  ñèëó ëèíåéíîñòè ïðàâîé è ëåâîé ÷àñòè ïî ψ çàêëþ÷àåì, ÷òî ýòî ðàâåíñòâî âåðíî äëÿ ëèíåéíûõ êîìáèíàöèé ôóíêöèé âèäà g(x)h(y), à òàêèìè ëèíåéíûìè êîìáèíàöèÿìè ìîæíî óæå ïðèáëèçèòü âñÿêóþ íåïðåðûâíóþ ôóíêöèþ.  Óñëîâíîé âåðîÿòíîñòüþ P (A|η) íàçûâàþò ñëó÷àéíóþ âåëè÷èíó E(IA |η), à E(IA |η = y) â ýòîì ñëó÷àå îáîçíà÷àþò ÷åðåç P (A|η = y). Òåïåðü îáñóäèì îáîáùåíèÿ ôîðìóëû Áàéåñà, êîòîðûå ïîÿâëÿþòñÿ â ñâÿçè ñ óñëîâíûìè ìàòåìàòè÷åñêèìè îæèäàíèÿìè. ∑ Îïÿòü ðàññìîòðèì E(ξ|B), ãäå P (B) > 0. Ïóñòü ξ = i xi IAi , P (Ai ) > 0 è Ai îáðàçóþò ðàçáèåíèå Ω. Ïî ôîðìóëå Áàéåñà: ∑ ∑ xi P (B|ξ = xi )P (Ai ) E(ξ|B) = xi P (Ai |B) = i . P (B) i ∑ Ïóñòü òåïåðü η = j yj IBj , ïðè÷åì P (Bj ) > 0. Òîãäà ∑ xi P (η = yj |ξ = xi )P (ξ = xi ) . E(ξ|η = yj ) = ∑i i P (η = yj |ξ = xi )P (ξ = xi ) Åñëè ñîâìåñòíîå ðàñïðåäåëåíèå (ξ, η) çàäàíî ïëîòíîñòüþ, òî ∫ xϱη|ξ (y|x)ϱξ (x) dx ∫ E(ξ|η = y) = . ϱη|ξ (y|x)ϱξ (x) dx Ïîñëåäíåå ðàâåíñòâî ÿâëÿåòñÿ ñëåäñòâèåì òîãî, ÷òî ϱξ|η (x|y)ϱη (y) = ϱη|ξ (y|x)ϱξ (x). Ýòî ðàâåíñòâî ïîâòîðÿåò ðàâåíñòâî P (A|B)P (B) = P (B|A)P (A), êîòîðîå áûëî êëþ÷åâûì â äîêàçàòåëüñòâå ýëåìåíòàðíîé òåîðåìû Áàéåñà.  çàêëþ÷åíèå ðàññìîòðèì åùå îäèí ïðèìåð. Ïóñòü ξ è η  òàêèå ñëó÷àéíûå âåëè÷èíû, ÷òî ñóùåñòâóåò èçìåðèìàÿ ôóíêöèÿ ϱ(x|y), äëÿ êîòîðîé âûïîëíåíî ∫ P (η ∈ B|ξ = y) = ϱ(x|y) dx. B  ýòîì ñëó÷àå ∫ E(h(η)|ξ = y) = h(x)ϱ(x|y) dx. Ïî ôîðìóëå ïîëíîé âåðîÿòíîñòè ðàñïðåäåëåíèå η çàäàíî ïëîòíîñòüþ ϱη (x) = Eϱ(x|ξ). Òàê êàê äëÿ âñÿêîé ñëó÷àéíîé âåëè÷èíû ζ = h(η) èìåþò ìåñòî ðàâåíñòâà E(h(η)E(G(ξ)|η)) = Eh(η)G(ξ) = EG(ξ)E(h(η)|ξ), òî âåðíà ôîðìóëà Áàéåñà EG(ξ)ϱ(x|ξ) . Eϱ(x|ξ) Ïóñòü òåïåðü ξ ïðèíèìàåò äâà çíà÷åíèÿ 0 è 1 ñ âåðîÿòíîñòÿìè p è q ñîîòâåòñòâåííî. Òîãäà E(G(ξ)|η = x) = P (ξ = 0|η = x) = pϱ(x|0) , pϱ(x|0) + qϱ(x|1) P (ξ = 1|η = x) = qϱ(x|1) . pϱ(x|0) + qϱ(x|1) 10 Íàèëó÷øåé îöåíêîé ñëó÷àéíîé âåëè÷èíû ξ ïî âåëè÷èíå η ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E(ξ|η).  îáùåì ñëó÷àå ÿâíîå íàõîæäåíèå ýòîé îöåíêè òðåáóåò çíàíèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäåëåíèÿ è ïðàêòè÷åñêè î÷åíü çàòðóäíèòåëüíî. Åñëè âåêòîð (ξ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå, òî ñèòóàöèÿ çíà÷èòåëüíî óïðîùàåòñÿ. Ïóñòü âåêòîð (ξ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå è Dη > 0. Òîãäà îöåíêà ξ ïî η èìååò âèä cov(ξ, η) E(ξ|η) = Eξ + (η − Eη), Dη à îøèáêà cov 2 (ξ, η) . E|ξ − E(ξ|η)|2 = Dξ − Dη Ïðåäëîæåíèå 4.4. Äîêàçàòåëüñòâî. Ìîæíî ñ÷èòàòü, ÷òî Eξ = Eη = 0. Ðàññìîòðèì Åâêëèäîâî ïðîñòðàíñòâî ñëó÷àéíûõ âåëè÷èí ζ òàêèõ, ÷òî Eζ 2 < ∞ è Eζ = 0. Åñëè âåêòîð (ζ1 , ζ2 ) èìååò íîðìàëüíîå ðàñïðåäåëåíèå è Eζ1 = Eζ2 = 0, òî íåçàâèñèìîñòü ζ1 è ζ2 ðàâíîñèëüíà îðòîãîíàëüíîñòè 0 = ⟨ζ1 , ζ2 ⟩ = Eζ1 ζ2 . Ïîëîæèì ⟨ξ, η⟩ η. ∥η∥2 Âåêòîð (ζ, η) èìååò íîðìàëüíîå ðàñïðåäåëåíèå, ïðè÷åì ⟨ζ, η⟩ = 0. Ñëåäîâàòåëüíî, ζ è η íåçàâèñèìû è ⟨ξ, η⟩ 0 = E(ζ|η) = E(ξ|η) − η. ∥η∥2 Ïî òåîðåìå Ïèôàãîðà ⟨ξ, η⟩2 ∥ζ∥2 = ∥ξ∥2 − . ∥η∥2  ζ =ξ− Òàêèì îáðàçîì, E(ξ|η) âûðàæàåòñÿ ëèíåéíî ÷åðåç η è 1. Àíàëîãè÷íîå óòâåðæäåíèå èìååò ìåñòî è â ìíîãîìåðíîé ñèòóàöèè. Ïóñòü âåêòîð (ξ, η1 , . . . , ηn ) èìååò íîðìàëüíîå ðàñïðåäåëåíèå, ïðè÷åì Dηi > 0, òî n ) ∑ cov(ξ, ηj ) ( E(ξ|η1 , . . . , ηn ) = Eξ + ηj − Eηj . Dηj j=1 Âàæíîñòü è ïîâñåìåñòíîñòü íîðìàëüíîãî ðàñïðåäåëåíèÿ îáúÿñíÿåòñÿ â ïåðâóþ î÷åðåäü öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé. 5. Îöåíêè ïàðàìåòðîâ è èõ ñâîéñòâà. Îñíîâíàÿ çàäà÷à ìàòåìàòè÷åñêîé ñòàòèñòèêè ñîñòîèò â íàõîæäåíèè íåèçâåñòíîãî ðàñïðåäåëåíèÿ. Ïóñòü (X1 , . . . , Xn )  íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåëè÷èíû, ïðè÷åì èçâåñòíî, ÷òî ôóíêöèÿ ðàñïðåäåëåíèÿ âåëè÷èíû X1 ïðèíàäëåæèò íåêîòîðîìó ñåìåéñòâó ôóíêöèé ðàñïðåäåëåíèé Fθ , ïàðàìåòðèçîâàííîìó ïàðàìåòðîì θ. Ìû õîòèì íàó÷èòüñÿ îöåíèâàòü íåèçâåñòíûé ïàðàìåòð θ ïî çíà÷åíèÿì âåëè÷èí (X1 , . . . , Xn ), ò. å. ñòðîèòü òàêóþ ñëó÷àéíóþ âåëè÷èíó θn (X) = θ(X1 , . . . , Xn ), çíà÷åíèÿ êîòîðîé â îïðåäåëåííîì ñìûñëå ìîæíî ñ÷èòàòü ìàëî îòëè÷àþùèìèñÿ îò íåèçâåñòíîãî ïàðàìåòðà θ. Çíà÷åíèÿ ñëó÷àéíîé âåëè÷èíû, èìåþùåé ðàñïðåäåëåíèå Fθ , íàçûâàþò ãåíåðàëüíîé ñîâîêóïíîñòüþ, à âåêòîð çíà÷åíèé (X1 , . . . , Xn ) íàçûâàåòñÿ âûáîðêîé. Âñÿêóþ ñëó÷àéíóþ âåëè÷èíó T (X) íàçûâàþò ñòàòèñòèêîé. 11 Ñôîðìóëèðóåì ñâîéñòâà, êîòîðûìè ìîæåò îáëàäàòü ðàçóìíàÿ îöåíêà θn (X) íåèçâåñòíîãî ïàðàìåòðà θ. I. Íåñìåùåííîñòü. Eθn (X) = θ . Ýòî åñòåñòâåííîå ñâîéñòâî, êîòîðîå îçíà÷àåò, ÷òî â ñðåäíåì îöåíêà äàåò ïðàâèëüíîå çíà÷åíèå íåèçâåñòíîãî ïàðàìåòðà. II. Ñîñòîÿòåëüíîñòü. limn→∞ θn (X) = θ ïî âåðîÿòíîñòè. Áåç ñâîéñòâà ñîñòîÿòåëüíîñòè òåðìèí îöåíêà òåðÿë áû âñÿ÷åñêèé ñìûñë. Îáû÷íî ýòî ñâîéñòâî ÿâëÿåòñÿ ñëåäñòâèåì çàêîíà áîëüøèõ ÷èñåë. III. Ýôôåêòèâíîñòü. Íåñìåùåííàÿ îöåíêà θn (X) íàçûâàåòñÿ ýôôåêòèâíîé, åñëè îíà èìååò íàèìåíüøóþ äèñïåðñèþ ñðåäè âñåõ íåñìåùåííûõ îöåíîê. Ýòî î÷åíü åñòåñòâåííîå òðåáîâàíèå, îñîáåííî, åñëè ïðèíÿòü âî âíèìàíèå íåðàâåíñòâî ×åáûøåâà: P (|θn (X) − θ| > ε) 6 Dθn (X) . ε2 Íåñìåùåííàÿ îöåíêà θn (X) ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé, åñëè ñóùåñòâóåò òàêîå ÷èñëî σ > 0, ÷òî ïîñëåäîâàòåëüíîñòü âåëè÷èí √ n(θn (X) − θ) σ IV. Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü. ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå, èìåþùåé íîðìàëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðàìè 0 è 1. Ýòî óñëîâèå âëå÷åò ñîñòîÿòåëüíîñòü è ïîçâîëÿåò îöåíèâàòü âåðîÿòíîñòè ñîáûòèé α < θn (X) < β ñ ïîìîùüþ íîðìàëüíîãî ðàñïðåäåëåíèÿ. V. Äîñòàòî÷íîñòü. Ñòàòèñòèêà θn (X) íàçûâàåòñÿ äîñòàòî÷íîé, åñëè äëÿ âñÿêîé ñòàòèñòèêè S(X) ñóùåñòâóåò èçìåðèìàÿ ôóíêöèÿ η(y) òàêàÿ, ÷òî äëÿ âñÿêîãî θ âåðíî η(θn (X)) = E(S(X)|θn (X)). Ôàêòè÷åñêè äîñòàòî÷íîñòü îçíà÷àåò, ÷òî ñòàòèñòèêà θn (X) ñîäåðæèò âñþ èíôîðìàöèþ ïðî ïàðàìåòð θ. 6. Äîñòàòî÷íîñòü. Îáñóäèì äîñòàòî÷íûå ñòàòèñòèêè ïîäðîáíåå. Åñòåñòâåííûé âîïðîñ ñîñòîèò â òîì, êàê ïðîâåðèòü ÿâëÿåòñÿ ëè ñòàòèñòèêà äîñòàòî÷íîé èëè íåò. Ïóñòü äëÿ êàæäîãî θ ðàñïðåäåëåíèå Fθ çàäàíî ïîëîæèòåëüíîé íåïðåðûâíîé ïëîòíîñòüþ ϱθ . Òîãäà ðàñïðåäåëåíèå âåêòîðà X = (X1 , . . . , Xn ) çàäàåòñÿ ïëîòíîñòüþ fθ (x) = ϱθ (x1 ) · · · ϱθ (xn ). Äàëåå ïèøåì Eθ (S(X)), åñëè õîòèì ïîä÷åðêíóòü, ÷òî X èìååò ïëîòíîñòü ðàñïðåäåëåíèÿ fθ . Ñòàòèñòèêà T (X) ÿâëÿåòñÿ äîñòàòî÷íîé òîãäà è òîëüêî òîãäà, êîãäà íàéäóòñÿ íåîòðèöàòåëüíûå ôóíêöèè ψ(u, θ) è h(x) òàêèå, ÷òî äëÿ ïî÷òè âñåõ x âåðíî ðàâåíñòâî: Òåîðåìà 6.1. fθ (x) = ψ(T (x), θ)h(x), ïðè÷åì ψ èçìåðèìà ïî u è h èçìåðèìà ïî x. Ýòî ýêâèâàëåíòíî òîìó, ÷òî äëÿ âñÿêèõ θ è θ0 îòíîøåíèå fθ (x)/fθ0 (x) ïî÷òè âñþäó ñîâïàäàåò ñ ôóíêöèåé îò T (x). Äîêàçàòåëüñòâî. Äîêàæåì íåîáõîäèìîñòü. Ïóñòü T  äîñòàòî÷íàÿ ñòàòèñòèêà. Ïîëîæèì r(x) = (fθ (x) + fθ0 (x))/2. Âûðàæåíèå Er (S(X)|T (X)) íå çàâèñèò îò θ è θ0 . Äåéñòâèòåëüíî, âåðíû ðàâåíñòâà Er h(T (X))Er (S(X)|T (X)) = Er h(T (X))S(X) = 2−1 Eθ h(T (X))S(X) + 2−1 Eθ0 h(T (X))S(X) = Er h(T (X))E(S(X)|T (X)) 12 è Er (S(X)|T (X)) = E(S(X)|T (X)). Ïîëîæèì g(x) = fθ (x) . r(x) Åñëè g ïî÷òè âñþäó ñîâïàäàåò ñ ôóíêöèåé îò T (x), òî fθ (x)/fθ0 (x) ïî÷òè âñþäó ñîâïàäàåò ñ ôóíêöèåé îò T (x). Òàê êàê fθ ïîëîæèòåëüíà è íåïðåðûâíà, òî äîñòàòî÷íî äîêàçàòü, ÷òî g(X) = E(g(X)|T (X)). Äëÿ ýòîãî äîñòàòî÷íî îáîñíîâàòü ðàâåíñòâî Er |g(X)|2 = Er |E(g(X)|T (X))|2 . Èñïîëüçóÿ íåçàâèñèìîñòü E(g(X)|T (X)) îò θ ïîëó÷àåì ∫ 2 Er |E(g(X)|T (X))| = E(g(X)|T (X) = z)g(z)r(z) dz = ∫ ∫ E(g(X)|T (X) = z)fθ (z) dz = g(x)2 r(x) dx. Òåïåðü äîêàæåì äîñòàòî÷íîñòü. Ìû ïîêàæåì, ÷òî âåëè÷èíà Eθ0 (S(X)|T (X)) ÿâëÿåòñÿ óñëîâíûì ìàòåìàòè÷åñêèì îæèäàíèåì îòíîñèòåëüíî fθ äëÿ âñÿêîãî θ. Ïóñòü ζ = f (T ). Òîãäà Eθ (ζS(X)) = Er (ζg(X)S(X)) = Er (ζg(X)Er (S(X)|T (X))) = Eθ (ζEr (S(X)|T (X))). Ïî îïðåäåëåíèþ Eθ (S(X)|T (X)) = Er (S(X)|T (X)). Àíàëîãè÷íî äîêàçûâàåòñÿ ðàâåíñòâî Eθ0 (S(X)|T (X)) = Er (S(X)|T (X)). Âåëè÷èíà Eθ0 (S(X)|T (X)) ÿâëÿåòñÿ èçìåðèìîé ôóíêöèåé îò T (X) è ïðè êàæäîì θ ýòà âåëè÷èíà ïî÷òè âñþäó ñîâïàäàåò ñ Eθ (S(X)|T (X)).  Àíàëîãè÷íîå óòâåðæäåíèå èìååò ìåñòî è â äèñêðåòíîì ñëó÷àå, åñëè çàìåíèòü fθ (x) íà âåðîÿòíîñòü P (X1 = x). Åñëè T (X) ÿâëÿåòñÿ äîñòàòî÷íîé ñòàòèñòèêîé è θn (X) ÿâëÿåòñÿ íåñìåùåííîé îöåíêîé θ, òî θn∗ (X) = E(θn (X)|T (X)) (ýòà âåëè÷èíà íà ñàìîì äåëå èìååò âèä h(T (X))) ÿâëÿåòñÿ íåñìåùåííîé îöåíêîé θ è âûïîëíÿåòñÿ íåðàâåíñòâî: Ïðåäëîæåíèå 6.1. E|θn∗ (X) − θ|2 6 E|θn (X) − θ|2 , ïðè÷åì ðàâåíñòâî âîçìîæíî ëèøü â ñëó÷àå, êîãäà θn∗ (X) = θn (X) ïî÷òè íàâåðíîå. Äîêàçàòåëüñòâî. Óòâåðæäåíèå ñëåäóåò èç ñâîéñòâ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ.  Îòìåòèì, ÷òî ïðè íåêîòîðûõ äîïîëíèòåëüíûõ óñëîâèÿõ íà äîñòàòî÷íóþ ñòàòèñòèêó T (X) îöåíêà θn∗ (X) áóäåò ýôôåêòèâíîé îöåíêîé ïàðàìåòðà θ. 7. Ìåòîä ìîìåíòîâ. Èäåÿ ìåòîäà ìîìåíòîâ ïîñòðîåíèÿ îöåíêè íåèçâåñòíîãî ïàðàìåòðà θ ñîñòîèò â ñëåäóþùåì. Èìååòñÿ âûáîðêà (X1 , . . . , Xn ) íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñ ôóíêöèåé ðàñïðåäåëåíèÿ Fθ . Ïóñòü f  íåïðåðûâíàÿ ôóíêöèÿ, ïðè÷åì Eθ f (X1 ) < ∞. Íàõîäèì θn (x) èç óðàâíåíèÿ n ∑ n−1 f (xi ) = Eθ f (X1 ). i=1 13 Äëÿ ýòîãî ïðàâàÿ ÷àñòü ïîñëåäíåãî ðàâåíñòâà äîëæíà çàâèñåòü îò θ òàê, ÷òî óðàâíåíèå a = Eθ f (X1 ) èìååò åäèíñòâåííîå ðåøåíèå θ = h(a). Òîãäà n ( ) ∑ θn (X) = h n−1 f (Xi ) . i=1 Ñâîéñòâà îöåíêè (X). ( θn∑ ) n −1 1. Òàê êàê Eθ n f (X ) = Eθ f (X1 ), òî ïî çàêîíó áîëüøèõ ÷èñåë ïîñëåäîâàòåëüi i=1 ∑ n íîñòü ñëó÷àéíûõ âåëè÷èí n−1 i=1 f (Xi ) ñõîäèòñÿ ïî âåðîÿòíîñòè (è äàæå ïî÷òè íàâåðíîå) ê Eθ f (X1 ). Ñëåäîâàòåëüíî, äëÿ íåïðåðûâíîé ôóíêöèè h çàêëþ÷àåì, ÷òî θn (X) ñõîäèòñÿ ê θ ïî âåðîÿòíîñòè, ò. å. îöåíêà θn (X) ÿâëÿåòñÿ ñîñòîÿòåëüíîé. 2. Ïî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ξn = f (X1 ) + . . . + f (Xn ) − nEθ f (X1 ) √ nDθ f (X1 ) ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå ξ , èìåþùåé ðàñïðåäåëåíèå N (0, 1). Îáîçíà÷èì a = Eθ f (X1 ), D2 = Dθ f (X1 ). Ïðåäïîëîæèì, ÷òî h íåïðåðûâíî äèôôåðåíöèðóåìà è ïðîèçâîäíûå âòîðîãî è òðåòüåãî ïîðÿäêà îãðàíè÷åíû. Òîãäà √ n(θn (X) − θ) h(a + n−1/2 Dξn ) − h(a) = D n−1/2 D ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê h′ (a)ξ . Åñëè h′ (a) ̸= 0, òî îöåíêà θn (X) àñèìïòîòè÷åñêè íîðìàëüíà ñ êîýôôèöèåíòîì σ 2 = |h′ (a)|2 Dθ f (X1 ). 8. Òåîðèÿ èíôîðìàöèè. Ðàññìîòðèì ñëåäóþùóþ ñèòóàöèþ.  ðåçóëüòàòå íåêîòîðîãî ýêñïåðèìåíòà ïîëó÷àþòñÿ çíà÷åíèÿ ñëó÷àéíîé âåëè÷èíû η , íî, ïðåäâàðèòåëüíî, áðîñàíèåì ìîíåòû âûáèðàåòñÿ ïëîòíîñòü ðàñïðåäåëåíèÿ η . Âåðîÿòíîñòü âûïàäåíèÿ ¾îðëà¿ ðàâíà p. Åñëè âûïàë ¾îðåë¿, òî âûáèðàåì ïëîòíîñòü f , à â ïðîòèâîïîëîæíîì ñëó÷àå âûáèðàåì g . Ïóñòü ñëó÷àéíàÿ âåëè÷èíà ξ îïèñûâàåò áðîñàíèå ìîíåòû, P (ξ = 0) = p, P (ξ = 1) = q = 1 − p. Ïî ôîðìóëå Áàéåñà pf (x) qg(x) P (ξ = 0|η = x) = , P (ξ = 1|η = x) = . pf (x) + qg(x) pf (x) + qg(x) Èìååì ln P (ξ = 0|η = x) p f (x) = ln − ln . g(x) P (ξ = 1|η = x) q Åñëè òðàêòîâàòü îòíîøåíèÿ âåðîÿòíîñòåé â ïðàâîé ÷àñòè êàê øàíñû âûïàäåíèÿ ¾îðëà¿, òî (x) ln fg(x)  ðàçíîñòü ëîãàðèôìîâ øàíñîâ äî è ïîñëå ýêñïåðèìåíòà. Ïîýòîìó äàííîå âûðàæåíèå ïðèíèìàþò çà êîëè÷åñòâî èíôîðìàöèè, êîòîðóþ äàåò çíà÷åíèå x. Ñðåäíåå êîëè÷åñòâî èíôîðìàöèè îòíîñèòåëüíî ïëîòíîñòè f âûðàæàåòñÿ ôîðìóëîé ∫ f (x) dx f (x) ln g(x) è íàçûâàåòñÿ ýíòðîïèåé ðàñïðåäåëåíèÿ ñ ïëîòíîñòüþ f îòíîñèòåëüíî ðàñïðåäåëåíèÿ ñ ïëîòíîñòüþ g . Ýíòðîïèÿ îöåíèâàåò ðàññòîÿíèå ìåæäó ðàñïðåäåëåíèÿìè. 14 (Íåðàâåíñòâî èíôîðìàöèè) Ïóñòü f è g  ïîëîæèòåëüíûå âåðîÿòíîñòíûå ïëîòíîñòè, ò. å. ∫ ∫ f > 0, g > 0, f (x) dx = g(x) dx = 1. Ïðåäëîæåíèå 8.1. Òîãäà ∫ f (x) dx > 0 g(x) Áîëåå òîãî, = 0 òîãäà è òîëüêî òîãäà, êîãäà f = g . f (x) ln Äîêàçàòåëüñòâî. Òàê êàê ln òî g(x) f (x) >1− , g(x) f (x) ∫ f (x) dx > 0. g(x) f (x) ln  Ïóñòü X = (X1 , . . . , Xn ) è Xi íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå âåëè÷èíû ñ ôóíêöèåé ðàñïðåäåëåíèÿ Fθ0 . Ïóñòü ϱθ  ïëîòíîñòü ðàñïðåäåëåíèÿ Fθ . Ôóíêöèÿ fθ (x1 , . . . , xn ) = ϱθ (x1 ) · · · ϱθ (xn ) ÿâëÿåòñÿ ïëîòíîñòüþ ðàñïðåäåëåíèÿ X . Ðàññìîòðèì ôóíêöèþ ∫ W (θ) = n−1 E ln fθ (X) = E ln ϱθ (X1 ) = ϱθ0 (x) ln ϱθ (x) dx. Ñîãëàñíî ñêàçàííîìó âûøå, W (θ) 6 W (θ0 ) è ðàâåíñòâî W (θ) = W (θ0 ) îçíà÷àåò, ÷òî θ = θ0 . Äàëåå ïðåäïîëàãàåì, ÷òî ϱθ äîñòàòî÷íî ðåãóëÿðíà, à èìåííî (R) ϱθ ïîëîæèòåëüíà, íåïðåðûâíà è äèôôåðåíöèðóåìà ïî θ, ïðè÷åì îïåðàöèè äèôôåðåíöèðîâàíèÿ è èíòåãðèðîâàíèÿ ïåðåñòàíîâî÷íû. Òàê êàê ∫ ϱθ (x) dx = 1, òî ∫ ϱ′θ (x) dx ∫ = ϱ′′θ (x) dx = 0. Çäåñü è äàëåå øòðèõ îáîçíà÷àåò ïðîèçâîäíóþ ïî θ. Ïðîèçâîäíûå W (θ) â òî÷êå θ0 : W ′ (θ0 ) = 0, ãäå W ′′ (θ0 ) = −I(θ0 ), ∫ |ϱ′θ (x)|2 dx ϱθ (x) íàçûâàåòñÿ èíôîðìàöèåé Ôèøåðà. Åñëè ïðåíåáðå÷ü ñëàãàåìûìè òðåòüåãî è âûøå ïîðÿäêà, òî I(θ0 ) W (θ) ≈ W (θ0 ) − (θ − θ0 )2 . 2 Èíôîðìàöèÿ Ôèøåðà èãðàåò âàæíóþ ðîëü â òåîðèè òî÷å÷íûõ îöåíîê. I(θ) = Ïðåäïîëîæèì, ÷òî âûïîëíÿþòñÿ óñëîâèÿ ðåãóëÿðíîñòè è I(θ) > 0. Òîãäà äëÿ âñÿêîé íåñìåùåííîé îöåíêè θn (X) ïàðàìåòðà θ èìååò ìåñòî íåðàâåíñòâî Òåîðåìà 8.1. Dθn (X) > 1 . nI(θ) 15 Äîêàçàòåëüñòâî. Òàê êàê Eθn (X) = θ, òî ∫ ∫ ′ 1 = θn (x)fθ (x) dx = (θn (x) − θ)fθ′ (x) dx. Äåëèì è óìíîæàåì ïîä èíòåãðàëîì íà fθ è ïðèìåíÿåì íåðàâåíñòâî Êîøè-Áóíÿêîâñêîãî. Ïîëó÷àåì (∫ d )1/2 √ √ √ 2 ln fθ (x) fθ (x) dx = Dθn (X) nI(θ). 1 6 Dθn (X) dθ  Òàêèì îáðàçîì â ðåãóëÿðíîì ñëó÷àå äèñïåðñèÿ íåñìåùåííîé îöåíêè îãðàíè÷èâàåòñÿ ñíèçó âåëè÷èíîé (nI)−1 , ïðè÷åì èç äîêàçàòåëüñòâà ñëåäóåò, ÷òî ðàâåíñòâî èìååò ìåñòî òîëüêî â ñëó÷àå, êîãäà d θn (x) − θ = C(θ) ln fθ (x). dθ Ýòî ïîçâîëÿåò â íåêîòîðûõ ñëó÷àÿõ íàõîäèòü ýôôåêòèâíûå îöåíêè. 9. Ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Ïëîòíîñòü fθ (x) âåêòîðà X ÷àñòî íàçûâàþò ôóíêöèåé ïðàâäîïîäîáèÿ, òàê êàê ÷èñëî fθ (x)|∆|n ïðè ìàëûõ ∆ > 0 ìîæíî òðàêòîâàòü êàê âåðîÿòíîñòü ïîïàäàíèÿ X â êóáèê ñ öåíòðîì â x è ðåáðîì ∆. Ôóíêöèþ L(x, θ) = ln fθ (x) = n ∑ ln ϱθ (xi ) i=1 íàçûâàþò ëîãàðèôìè÷åñêîé ôóíêöèåé ïðàâäîïîäîáèÿ. Ïî çàêîíó áîëüøèõ ÷èñåë âåëè÷èíû n−1 L(x, θ) ñõîäÿòñÿ ïî âåðîÿòíîñòè ê W (θ). Òàê êàê θ0  åäèíñòâåííàÿ (ìû ñ÷èòàåì, ÷òî ïëîòíîñòè ϱθ ðàçëè÷íû ïðè ðàçíûõ θ) òî÷êà ìàêñèìóìà W , òî åñòåñòâåííî îæèäàòü, ÷òî òî÷êà ìàêñèìóìà θn (x) ôóíêöèè L(x, θ) ÿâëÿåòñÿ ñîñòîÿòåëüíîé îöåíêîé äëÿ θ0 . Ïóñòü θ ∈ (α, β), ϱθ (x) íåïðåðûâíà ïî θ è ïðè êàæäîì x ôóíêöèÿ L(x, θ) èìååò ðîâíî îäíó òî÷êó ìàêñèìóìà θn (x) â (α, β). Òîãäà θn (X) ñõîäèòñÿ ïî âåðîÿòíîñòè ê θ0 . Ïðåäëîæåíèå 9.1. Äîêàçàòåëüñòâî. Ïóñòü δ > 0. Çàìåòèì, ÷òî W (θ0 ± δ) < W (θ0 ). Ïî çàêîíó áîëüøèõ ÷èñåë lim P (n−1 L(X, θ ± δ) < n−1 L(X, θ0 )) = 1. n→∞ Åñëè L(x, θ ± δ) < L(X, θ0 ), òî θn (x) ∈ [θ0 − δ, θ0 + δ]. Òàêèì îáðàçîì, èìååì lim P (|θn (X) − θ0 | 6 δ) = 1. n→∞  Òàê êàê θn (x)  òî÷êà ìàêñèìóìà ëîãàðèôìè÷åñêîé ôóíêöèè ïðàâäîïîäîáèÿ L(x, θ), òî îöåíêó θn (X) íàçûâàþò îöåíêîé ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Ôàêòè÷åñêè, â êà÷åñòâå îöåíêè âûáèðàåòñÿ òàêîå çíà÷åíèå θ, ïðè êîòîðîì íàáëþäàåìûå çíà÷åíèÿ (X1 , . . . , XN ) èìåþò ìàêñèìàëüíóþ âåðîÿòíîñòü. Ïðè íåêîòîðûõ äîïîëíèòåëüíûõ óñëîâèÿõ ðåãóëÿðíîñòè îöåíêà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ θn (X) ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé ñ ïàðàìåòðîì σ 2 = I(θ). Òàêèì îáðàçîì, θn (X) àñèìïòîòè÷åñêè ýôôåêòèâíà. Îòìåòèì òàêæå, ÷òî åñëè ñóùåñòâóåò ýôôåêòèâíàÿ íåñìåùåííàÿ îöåíêà θn (X), òî ýòî îáÿçàòåëüíî îöåíêà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. 16 Äåéñòâèòåëüíî, äëÿ ýôôåêòèâíîé îöåíêè âåðíî ðàâåíñòâî d θn (x) − θ = C(θ) L(x, θ), dθ ïîäñòàâëÿÿ â êîòîðîå âìåñòî θ îöåíêó ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ïîëó÷àåì θn − θ = 0. Âñå ðàññìîòðåííûå ðåçóëüòàòû îñòàþòñÿ â ñèëå â äèñêðåòíîì ñëó÷àå, åñëè çàìåíèòü ϱθ (x) íà P (X1 = x). 10. Äîâåðèòåëüíûå èíòåðâàëû. Îáû÷íî ïðåäñòàâëÿåò èíòåðåñ íå òîëüêî ïîñòðîåíèå îöåíêè íåèçâåñòíîãî ïàðàìåòðà, íî è îïðåäåëåíèå ïîãðåøíîñòè ïîëó÷åííîé îöåíêè. Ïóñòü çàäàíû äâå ñòàòèñòèêè θ1 (X) è θ2 (X). Ñëó÷àéíûé èíòåðâàë (θ1 (X), θ2 (X)) íàçûâàåòñÿ äîâåðèòåëüíûì èíòåðâàëîì äëÿ ïàðàìåòðà θ ñ äîâåðèòåëüíûì óðîâíåì 1 − α, åñëè ïðè âñåõ θ âûïîëíÿåòñÿ íåðàâåíñòâî P (θ1 (X) < θ < θ2 (X)) > 1 − α. Åñëè òàêîå íåðàâåíñòâî èìååò ìåñòî ïðè n → ∞, òî èíòåðâàë íàçûâàåòñÿ àñèìïòîòè÷åñêèì. Ðàññìîòðèì òèïè÷íûé ïðèìåð. Ïóñòü θn (X)  îöåíêà ïàðàìåòðà θ, ïðè÷åì √ θn (X) − θ ∼ N (0, 1). n σ Íàéäåì òàêîå zα/2 > 0, ÷òî F (zα/2 ) = 1 − α/2, ãäå F  ôóíêöèÿ ðàñïðåäåëåíèÿ N (0, 1). Òîãäà ëåãêî ïðîâåðèòü, ÷òî ( zα/2 σ zα/2 σ ) P θn (X) − √ < θ < θn (X) + √ = 1 − α. n n Åñëè θn àñèìïòîòè÷åñêè íîðìàëüíàÿ îöåíêà θ, òî ïîñòðîåííûé äîâåðèòåëüíûé èíòåðâàë ÿâëÿåòñÿ àñèìïòîòè÷åñêèì. Ëèòåðàòóðà 1. Øèðÿåâ À.Í. Âåðîÿòíîñòü.  Ì.: Íàóêà, Ãëàâíàÿ ðåäàêöèÿ ôèçèêî-ìàòåìàòè÷åñêîé ëèòåðàòóðû, 1980. 2. Øèðÿåâ À.Í. Âåðîÿòíîñòíî-ñòàòèñòè÷åñêèå ìåòîäû â òåîðèè ïðèíÿòèÿ ðåøåíèé. Ëåêöèè øêîëû àíàëèçà äàííûõ ßíäåêñà, 2011. 3. ×èñòÿêîâ Â.Ï. Êóðñ òåîðèè âåðîÿòíîñòåé.  5-å èçäàíèå  Ì.: Àãàð, 2000. 4. Áîðîâêîâ À.À. Òåîðèÿ âåðîÿòíîñòåé. 2-èçä.  Ì.: Íàóêà, Ãëàâíàÿ ðåäàêöèÿ ôèçèêîìàòåìàòè÷åñêîé ëèòåðàòóðû, 1986. 5. Áîðîâêîâ À.À. Ìàòåìàòè÷åñêàÿ ñòàòèñòèêà: Ó÷åáíèê. 4-èçä, ñòåð.  ÑÏá.: Èçäàòåëüñòâî ¾Ëàíü¿, 2010. 6. Áèêåë Ï., Äîêñàì Ê. Ìàòåìàòè÷åñêàÿ ñòàòèñòèêà. Âûïóñê 1 è Âûïóñê 2. Ìîñêâà ¾Ôèíàíñû è ñòàòèñòèêà¿, 1983. 7. Ëàãóòèí Ì.Á. Íàãëÿäíàÿ ìàòåìàòè÷åñêàÿ ñòàòèñòèêà. 2-å èçä., èñïð. - Ì.: 2009. 8. ×åðâîíåíêèñ À.ß. Êîìïüþòåðíûé àíàëèç äàííûõ. Ëåêöèè øêîëû àíàëèçà äàííûõ ßíäåêñà, 2009.