Субоптимальная процедура. Многоэтапные процедуры

2. Ïëàí ëåêöèè 1 Ïîñòàíîâêà çàäà÷è. 2 Îïèñàíèå îêðåñòíîñòåé. 3 Îïðåäåëåíèå ñóáîïòèìàëüíîé ïðîöåäóðû. 4 Ñóáîïòèìàëüíàÿ ïðîöåäóðà. 5 Ìíîãîýòàïíûå ïðîöåäóðû. 6 Ïðîöåäóðà d0 äëÿ ñëó÷àÿ ýêñïîíåíöèàëüíûõ õâîñòîâ. 7 Ïðîöåäóðà d0 äëÿ ñëó÷àÿ òÿæåëûõ õâîñòîâ. 8 Ðåçóëüòàòû ÷èñëåííîãî ìîäåëèðîâàíèÿ. 9 Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è. 10 Çàìå÷àíèå î χ2 êðèòåðèè. 3. Ïîñòàíîâêà çàäà÷è 1 (X, B)  èçìåðèìîå ïðîñòðàíñòâî (X ⊆ R) ñ σ -àääèòèâíîé ìåðîé µ; x1 , . . . , xn , . . .  íàáëþäåíèÿ, ò.å. çíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí xi : Ω → X , ãäå (Ω, F, P)  íåêîòîðîå âåðîÿòíîñòíîå ïðîñòðàíñòâî; xi í.î.ð. c ïëîòíîñòüþ f (x) îòíîñèòåëüíî ìåðû µ; P1 , . . . , Pm ∈ P  âåðîÿòíîñòíûå ìåðû íà (X, B), àáñîëþòíî íåïðåðûâíûå îòíîñèòåëüíî µ (ñîîòâåòñòâóþùåå ìíîæåñòâî ïëîòíîñòåé îáîçíà÷èì ÷åðåç g1 , . . . , gm ), à òàêæå âçàèìíî àáñîëþòíî íåïðåðûâíûå; Ðàññìàòðèâàåòñÿ çàäà÷à ïðîâåðêè ïðîñòûõ ãèïîòåç: H10 : f = g1 , . . . , Hm : f = gm (1) ïðè íàëè÷èè íåîïðåäåëåííîñòåé â îïèñàíèè âîçìîæíûõ îøèáîê â íàáëþäåíèÿõ. 4. Ïîñòàíîâêà çàäà÷è 2 Ðàññìîòðèì îêðåñòíîñòè Gi 3 gi , ∀i 6= j, i, j = 1, . . . , m, Gi ∩ Gj = ∅. Íà X çàäàíà çàäà÷à ïðîâåðêè ñëîæíûõ ãèïîòåç, êîòîðàÿ ÿâëÿåòñÿ ðàñøèðåíèåì (1): H1 : f ∈ G1 , . . . , Hm : f ∈ Gm . (2) Òèïû ìíîæåñòâ Gi : 1 Ìíîæåñòâî ïëîòíîñòåé, îòíîñèòåëüíîå îòêëîíåíèå êîòîðûõ îò çàäàííûõ gi íå ïðåâîñõîäèò ìàëóþ âåëè÷èíó; 2 Ìíîæåñòâî ïëîòíîñòåé, îòíîñèòåëüíîå îòêëîíåíèå êîòîðûõ îò çàäàííûõ gi íå ïðåâîñõîäèò çàäàííóþ ìàëóþ âåëè÷èíó íà íåêîòîðîì îòðåçêå, à âíå ýòîãî îòðåçêà ïëîòíîñòü íå ïðåâîñõîäèò çàäàííóþ âåëè÷èíó. 5. Îïèñàíèå îêðåñòíîñòåé. 1-é òèï Gi ñîñòîÿò èç ôóíêöèé gei , óäîâëåòâîðÿþùèõ ñëåäóþùèì óñëîâèÿì: |e gi (x) − gi (x)| ≤ εgi (x), x ∈ X, Z gei (x) dµ(x) = 1 (3) (4) X Ìîäåëü ÒüþêèÕóáåðà: P = (1 − λ) Pgi + λ Q, ãäå λ > 0  äîëÿ íàáëþäåíèé, ãåíåðèðóåìûõ ïîñòîðîííèì ðàñïðåäåëåíèåì Q, êîòîðîå ñ÷èòàåòñÿ íåèçâåñòíûì è ìîæåò áûòü âåñüìà ïðîèçâîëüíûì íî äîëæíî èìåòü îãðàíè÷åííóþ ïëîòíîñòü; Ðåçóëüòàò íàáëþäåíèé èñêàæàåòñÿ øóìîì ξ : x = y + ξ, ãäå x ðåçóëüòàò íàáëþäåíèé, y  ñëó÷àéíàÿ âåëè÷èíà, èìåþùàÿ ðàñïðåäåëåíèå Pgi . 6. Îïèñàíèå îêðåñòíîñòåé. 2-é òèï 1 Gi ñîñòîÿò èç ôóíêöèé gei , óäîâëåòâîðÿþùèõ ñëåäóþùèì óñëîâèÿì: + |e gi (x) − gi (x)| ≤ εgi (x), x ∈ Ai = [a− i ; ai ], − gei (x) ≤ t− i (x), x < ai , + gei (x) ≤ t+ i (x), x > ai , +∞ Z gei (x) dµ(x) = 1, −∞ inf gi (x) ≥ gi0 > 0. x∈Ai 1 7. Îïèñàíèå îêðåñòíîñòåé. 2-é òèï 2 2 ×àñòíûé ñëó÷àé, êîãäà ïëîòíîñòè ðàñïðåäåëåíèé èìåþò ýêñïîíåíöèàëüíóþ ñêîðîñòü óáûâàíèÿ íà õâîñòàõ + |e gi (x) − gi (x)| ≤ εgi (x), x ∈ Ai = [a− i ; ai ], − ri (1 − ε) gi (a− i )e (x−a− i ) + −ri (1 − ε) gi (a+ i )e − ki ≤ gei (x) ≤ (1 + ε) gi (a− i )e (x−a+ i ) (x−a− i ) + −ki ≤ gei (x) ≤ (1 + ε) gi (a+ i )e +∞ Z gei (x) dµ(x) = 1, −∞ inf gi (x) ≥ gi0 > 0. x∈Ai , x < a− i , (x−a+ i ) , x > a+ i , 8. Îïðåäåëåíèå äîïóñòèìîé ïðîöåäóðû Îïðåäåëåíèå Ïðîöåäóðà d = hτ, δi äëÿ çàäà÷è ïðîâåðêè ãèïîòåç (2) íàçûâàåòñÿ äîïóñòèìîé, åñëè âûïîëíåíû ñëåäóþùèå óñëîâèÿ: 1 τ  ìàðêîâñêèé n ìîìåíò îñòàíîâêè o îòíîñèòåëüíînåñòåñòâåííî o ôèëüòðàöèè Fn = σ(x1 , . . . , xn ) , ò.å. ∀ n ∈ N ω : τ (ω) ≤ n ∈ Fn è P(τ < ∞) = 1; 2 δ(·) ÿâëÿåòñÿ Fτ -èçìåðèìîé ñëó÷àéíîé âåëè÷èíîé; 3 Ïðîöåäóðà d îáåñïå÷èâàåò çàäàííûé óðîâåíü âåðîÿòíîñòè îøèáêè ïðèíÿòèÿ íåïðàâèëüíîãî ðåøåíèÿ, ò.å. ∀ i = 1, . . . , m, sup Pg (δ(x1 , . . . , xτ ) 6= i) ≤ α < 1. g∈Gi Ìíîæåñòâî äîïóñòèìûõ ïðîöåäóð äëÿ çàäàííîãî óðîâíÿ âåðîÿòíîñòè ïðèíÿòèÿ îøèáî÷íîãî ðåøåíèÿ α îáîçíà÷èì ÷åðåç D(α). 9. Ôóíêöèÿ ðèñêà ïðîöåäóðû Îïðåäåëåíèå Ôóíêöèåé ðèñêà äîïóñòèìîé ïðîöåäóðû d = hτ, δi äëÿ çàäà÷è ïðîâåðêè ãèïîòåç (2) ÿâëÿåòñÿ ìàêñèìàëüíàÿ ñðåäíÿÿ ïðîäîëæèòåëüíîñòü ïðîöåäóðû, ò.å. ïðè ñïðàâåäëèâîñòè ãèïîòåçû Hi : Ri (d) = sup Eg τ. g∈Gi ×åðåç I(f, g) îáîçíà÷èì èíôîðìàöèîííîå óêëîíåíèå ÊóëüáàêàËåéáëåðà I(f, g) := Ef ln f (x) . g(x) Îöåíêà ñíèçó äëÿ ôóíêöèè ðèñêà: Ri∗ (d) ≥ −(1 − α) ln α − α ln(1 − α) | ln α| + o(1) = . min∗ I(gi∗ , gi ) min∗ I(gi∗ , gi ) i: i6=i i: i6=i 10. Ñóáîïòèìàëüíîñòü ïðîöåäóðû Ãëàâíûé ÷ëåí ôóíêöèè ðèñêà ïðè α → 0 îáîçíà÷èì ÷åðåç Ji = lim α→0 Ri (d) . | ln α| Îïðåäåëåíèå Íàçîâåì äîïóñòèìóþ ïðîöåäóðó d∗ ∈ D(α) ðåøåíèÿ çàäà÷è ïðîâåðêè ãèïîòåç (2) ñóáîïòèìàëüíîé, â ñëó÷àå îêðåñòíîñòåé 1 òèïà, åñëè lim Ji (d∗ ) = lim 2 òèïà, åñëè ε→0 lim ε→0 p+ i →0 p− i →0, inf Ji (d), ε → 0 d∈D(α) Ji (d∗ ) = lim inf Ji (d). ε→0 d∈D(α) + p− i →0, pi →0 11. Îïèñàíèå ïðîöåäóðû äëÿ îêðåñòíîñòåé 1-ãî òèïà Îïðåäåëåíèå ïðîöåäóðû d0 =< τ0 , δ0 > [ Åñëè g ∈ Gi∗ , òî A(g) := Gi . i: i6=i∗ Li (x1 , . . . , xn ) := inf g∈A(gi ) n X j=1 ln gi (xj ) . g(xj ) Ìîìåíò îñòàíîâêè τ0 :   τ0 := min n max Li (x1 , . . . , xn ) ≥ − ln β , i=1,...,m β := Ðåøàþùåå ïðàâèëî δ0 : δ(x1 , . . . , xτ ) := i, åñëè Li (x1 , . . . , xτ ) ≥ − ln β. α . m−1 1 12. Îïèñàíèå ïðîöåäóðû äëÿ îêðåñòíîñòåé 1-ãî òèïà Li (x1 , . . . , xn )= min k: k6=i n X j=1 ln gi (xj ) −n ln(1+ε). gk (xj ) Îòëè÷èå îò ñòàíäàðòíîãî òåñòà Âàëüäà ñîñòîèò òîëüêî â ïîïðàâêå â âèäå øòðàôà çà îøèáêè â íàáëþäåíèÿõ, íàêëàäûâàåìîãî çà êàæäîå íàáëþäåíèå. Ïðè óìåíüøåíèè âåëè÷èíû îøèáîê ðàçìåð øòðàôà óìåíüøàåòñÿ. 2 13. Äîïóñòèìîñòü ïðîöåäóðû d0 Òåîðåìà Åñëè ñóùåñòâóåò êîíñòàíòà b > 0, òàêàÿ ÷òî ∀i, j = 1, . . . , m Egi ln òî ïðîöåäóðà d0 ∈ D(α) äëÿ çàäà÷è ñîîòíîøåíèÿìè (3) è (4). gi (x) gj (x) (2), 1+b < ∞, åñëè ìíîæåñòâà Gi çàäàþòñÿ 14. Âåðõíÿÿ ãðàíèöà ôóíêöèè ðèñêà ïðîöåäóðû d0 Òåîðåìà (Âåðõíÿÿ ãðàíèöà äëÿ ôóíêöèè ðèñêà ïðîöåäóðû d0 ) 1 Ïóñòü äëÿ íåêîòîðîãî ÷èñëà 0 < b < 1 ñóùåñòâóåò êîíñòàíòà C1 òàêàÿ, ÷òî Eg1 ln gg12 (x) (x) 1+b ≤ C1 < ∞ òîãäà åñëè 0 < b < 12 , òî R1 (d0 ) ≤ | ln α|+K1 | ln α|1−b +K2 | ln α|1−2b +K3 , g (x) g (x) (1−ε)Eg1 (ln g1 (x) )+ −(1+ε)Eg1 (ln g1 (x) )− −ln(1+ε) 2 2 åñëè b = 12 , òî 1 R1 (d0 ) ≤ | ln α|+K1 | ln α| 2 +K20 | ln | ln α||+K30 (1−ε)Eg1 (ln g1 (x) + g (x) ) −(1+ε)Eg1 (ln g1 (x) )− −ln(1+ε) g2 (x) 2 , åñëè 12 < b < 1, òî R1 (d0 ) ≤ | ln α|+K1 | ln α|1−b +K3 . g (x) g (x) (1−ε)Eg1 (ln g1 (x) )+ −(1+ε)Eg1 (ln g1 (x) )− −ln(1+ε) 2 2 1 15. Âåðõíÿÿ ãðàíèöà ôóíêöèè ðèñêà ïðîöåäóðû d0 (Ïðîäîëæåíèå) 3 Åñëè âûïîëíÿåòñÿ óñëîâèå Eg1 ln gg12 (x) (x) R1 (d0 ) ≤ 4 (1−ε) Eg1 (ln 2 ≤ C1 < ∞, òî | ln α|+K4 g1 (x) + g (x) ) −(1+ε) Eg1 (ln g1 (x) )− −ln(1+ε) g2 (x) 2 Åñëè âûïîëíÿþòñÿ óñëîâèÿ inf x∈X gi (x) =: G1− > 0, supx∈X gi (x) =: Gi+ < ∞, òî K4 = G1+ . G2− . 2 16. Âåðõíÿÿ ãðàíèöà ôóíêöèè ðèñêà K1 := K2 := K20 := K3 := 3 (1 + ε) b(1−b)((1−ε) Eg1 (ln g1 (x) + (x) − ) −(1+ε) Eg1 (ln gg21 (x) ) − ln(1+ε)) g2 (x) , (1 + ε)(1 − b)C2 b(1−2b)((1−ε) Eg1 (ln g1 (x) + ) −(1 g2 (x) + ε) Eg1 (ln g1 (x) − ) − ln(1+ε)) g2 (x) (1 + ε)C2 (1 − ε) Eg1 (ln g1 (x) + ) g2 (x) − (1 + ε) Eg1 (ln g1 (x) − ) g2 (x) − ln(1 + ε) , , (1 + ε) × − (1 + ε) Eg1 (ln gg12 (x) )− − ln(1 + ε) (x)    u1−b C2 u1−2b × u0 + bu1b (u0 + C2 u1−b ) − − , b(1−2b) b(1−b)2 (1 − ε) Eg1 (ln g1 (x) + ) g2 (x) K30 := (1 − ε) Eg1 (ln × 1 1+b u0 := C1 (1 + ε) × − (1 + ε) Eg1 (ln gg12 (x) )− − ln(1 + ε) (x)  i √ √ u0 u0 + √2u0 (u0 + C2 u0 ) − 8 u0 − C2 ln , 2 g1 (x) + ) g2 (x) h , a1 = Ef νu0 , C2 := (1+ε) a1 . b(1−b)u0 17. Ñóáîïòèìàëüíîñòü ïðîöåäóðû d0 Òåîðåìà Ïóñòü äëÿ íåêîòîðîãî ÷èñëà b > 0 ∀i, j = 1, . . . , m 1+b Egi ln ggji (x) ≤ Ci < ∞. Òîãäà ïðîöåäóðà d0 ÿâëÿåòñÿ (x) ñóáîïòèìàëüíîé: Ji (d0 ) ≤ gi (x) − + 1 + Egi (ln ggji (x) 1 (x) ) + Egi (ln gj (x) ) + ε + o(ε), 2 I(gi , gj ) I(gi , gj ) lim Ji (d0 ) = ε→0 1 = lim inf Ji (d). I(gi , gj ) ε→0 d∈D(α) 18. Ìíîãîýòàïíûå ïðîöåäóðû Îïðåäåëåíèå Ïðîöåäóðà d = hτ, δi ∈ D(α) äëÿ çàäà÷è ïðîâåðêè ãèïîòåç (2) íàçûâàåòñÿ äîïóñòèìîé ìíîãîýòàïíîé ïðîöåäóðîé, åñëè âûïîëíåíû ñëåäóþùèå äîïîëíèòåëüíûå óñëîâèÿ: 1 çàäàíà ïîñëåäîâàòåëüíîñòü ïðîäîëæèòåëüíîñòè ýòàïîâ íàáëþäåíèé N1 > 0, N2 > 0, . . . , à τ0 = 0, τk = τk−1 + Nk , k > 0, . . .  ñîîòâåòñòâóþùàÿ ïîñëåäîâàòåëüíîñòü ìîìåíòîâ îñòàíîâêè ýòàïîâ íàáëþäåíèé; ïðè ýòîì Nk ÿâëÿåòñÿ Fτ -èçìåðèìîé öåëî÷èñëåííîé ñëó÷àéíîé âåëè÷èíîé; 2 ìîìåíò çàâåðøåíèÿ íàáëþäåíèé τ ñîâïàäàåò ñ îäíèì èç ìîìåíòîâ τk . k−1 Îïðåäåëåíèå Ôóíêöèåé ðèñêà ìíîãîýòàïíîé ïðîöåäóðû d = hτ, δi äëÿ çàäà÷è ïðîâåðêè ãèïîòåç (2) íàçîâåì ìàêñèìàëüíóþ ñðåäíþþ ïðîäîëæèòåëüíîñòü ïðîöåäóðû ñ ó÷åòîì ñòîèìîñòè ýòàïîâ, ò.å. ïðè ñïðàâåäëèâîñòè ãèïîòåçû Hi Ri (d) = sup Eg (cτ + M i∗ ), ãäå i∗  êîëè÷åñòâî ýòàïîâ. g∈Gi 19. Îïðåäåëåíèå ìíîãîýòàïíîé ïðîöåäóðû de0 1 Ïðîäîëæèòåëüíîñòü 1-ãî ýòàïà  N1 :=   − ln β α  + 1, β := . max I(gi , gj ) 4(m − 1) i,j=1,...,m. 2 Ïðîäîëæèòåëüíîñòü 2-ãî ýòàïà   − ln β N2 := (1 + ∆) + 1 − N1 , Iî N1 X î = arg max ln gi (xj ) Ii := inf I(gi , g) ãäå è i=1,...,m g∈A(g ) j=1 Ïðîäîëæèòåëüíîñòü èòåðàöèè 3-ãî ýòàïà i 3 ,   − ln β  + 1. N3 = 2  min Ii i=1,...,m 4 5 Åñëè ïîñëå ýòàïà 3 ïðèíèìàåòñÿ ðåøåíèå î ïðîäîëæåíèè íàáëþäåíèé, òî âûïîëíÿåòñÿ åùå îäíà íåçàâèñèìàÿ èòåðàöèÿ. Íà êàæäîé èòåðàöèè 3-ãî ýòàïà íå èñïîëüçóåòñÿ èíôîðìàöèÿ, ïîëó÷åííàÿ íà ïðåäûäóùèõ íàáëþäåíèÿõ. 20. Ñâîéñòâà ìíîãîýòàïíîé ïðîöåäóðû de0 Òåîðåìà 1+b < ∞, è Åñëè ñóùåñòâóåò b > 0 òàêîå, ÷òî ∀ i, j = 1, . . . , m Eg ln gg (x) (x) εIi + ln(1 + ε) ∆ > max , òî ïðè äîñòàòî÷íî ìàëûõ α ïðîöåäóðà i=1,...,m (1 − ε)Ii − ln(1 + ε) de0 ÿâëÿåòñÿ äîïóñòèìîé ïðîöåäóðîé. i Òåîðåìà Ïóñòü ∀i, j = 1, . . . , m Eg ∆ > max i=1,...,m i ln gi (x) gj (x) εIi + ln(1 + ε) . (1 − ε)Ii − ln(1 + ε) de0 ÷òî ôóíêöèÿ ðèñêà ïðîöåäóðû i j è Òîãäà ñóùåñòâóåò êîíñòàíòà K1 òàêàÿ, óäîâëåòâîðÿåò óñëîâèÿì 2 ≤ Ci < ∞   − ln α Ri (de0 ) ≤ M (2 + γ(α)) + c (1 + ∆) + K1 , Ii ïðè÷åì γ(α) → 0 ïðè α → 0. 21. Îïèñàíèå ïðîöåäóðû d0 äëÿ ñëó÷àÿ ýêñïîíåíöèàëüíûõ õâîñòîâ Вариант 1 A2 A1  ki− (x−a−  i ), gi (a− x < a−  i )(1 + ci ) e i ;   ∗ − + gi (x)(1 + ci ), ai ≤ x ≤ ai ; gi (x) =    +  + −ki (x−a+ i ), x > a . gi (a+ i )(1 + ci ) e i Вариант 2 A1 A2 Li (x1 , . . . , xn ) := Вариант 3 A1 A2 inf g∈A(gi ) n X j=1 ln gi∗ (xj ) . g(xj ) 22. Âèä ñòàòèñòèêè L1 (x1 , . . . , xn ) Âèä ñòàòèñòèêè L1 (x1 , . . . , xn ) äëÿ ïåðâîãî âàðèàíòà ðàñïîëîæåíèÿ îòðåçêîâ A1 è A2  L1 (x1 , . . . , xn ) = n ln   X   1 + c1 g1 (a− − − − − 1) +k (x −a )−k (x −a ) + + ln i i 1 1 2 2 1+ε g2 (a− 2) − i:xi ≤a1 +   g (x )   X 1 i ln − k2− (xi − a− 2) + − g2 (a2 ) − − i:a1 a+ 2  ln g1 (a+ 1) g2 (xi ) g1 (a+ 1) g2 (a+ 2)   X  ln + i:a− 2 k2− è k1+ < k2+ . 2 25. Ñâîéñòâà ïðîöåäóðû d0 1 Òåîðåìà (Íèæíÿÿ ãðàíèöà äëÿ ôóíêöèè ðèñêà) Ïóñòü d = hτ, δi  äîïóñòèìàÿ ïîñëåäîâàòåëüíàÿ ïðîöåäóðà äëÿ çàäà÷è ïðîâåðêè ãèïîòåç (2). Òîãäà Ri (d) ≥ −(1 − α) ln α − α ln(1 − α) inf I2 (g) g∈ Gi ( ãäå I2 (g) = I(g, g2∗ ), åñëè g ∈ G1 ; I(g, g1∗ ), åñëè g ∈ G2 . , 26. Ñâîéñòâà ïðîöåäóðû d0 2 Òåîðåìà (Âåðõíÿÿ ãðàíèöà äëÿ ôóíêöèè ðèñêà ïðîöåäóðû d0 ) Ñóùåñòâóþò òàêèå êîíñòàíòû Ki , ÷òî Ri (d0 ) ≤ − ln α + Ki , sup I1 (g) g∈Gi ( ãäå I1 (g) = Eg ∆L1 (x), åñëè g ∈ G1 ; Eg ∆L2 (x), åñëè g ∈ G2 . 27. Ñâîéñòâà ïðîöåäóðû d0  gi (a−  i ),   gi (x), g 2 (x) :=    gi (a+ i ), 3 x < a− i ; + x ∈ [a− i , ai ]; x > a+ i . Åñëè g ∈ G1 , òî +∞ Z I2 (g) := ln −∞ − +∞ Za2 Z g(x) − − g(x) dx − k2 (x−a2 )g(x) dx + k2+ (x−a+ 2 )g(x) dx. g 2 (x)(1 + c2 ) −∞ a+ 2 a− 1 1 + c1 I1 (g) := ln + 1+ε +∞ Z Z g (x) ln 1 g(x) dx + k1− (x − a− 1 )g(x) dx− g 2 (x) −∞ −∞ a− 2 Z − −∞ k2− (x − a− 2 )g(x) dx − +∞ +∞ Z Z k1+ (x − a+ )g(x) dx + k2+ (x − a+ 1 2 )g(x) dx. a+ 1 a+ 2 28. Ñâîéñòâà ïðîöåäóðû d0 4 Òåîðåìà Ïðîöåäóðà d0 ÿâëÿåòñÿ ñóáîïòèìàëüíîé. Ïîëó÷åííàÿ ãðàíèöà äëÿ ôóíêöèè ðèñêà ñóáîïòèìàëüíîé ïðîöåäóðû â ïðåäåëå îòëè÷àåòñÿ îò ñîîòâåòñòâóþùåé ãðàíèöû äëÿ ïðîñòûõ ãèïîòåç, ïîñêîëüêó + Za1 a− 1 + g1 (x) ln ∗ g1 (x) dx 6= g˜2 (x) Za1 ln g1 (x) g1 (x) dx. g2 (x) a− 1  − − g (a− ) ek2 (x−a2 ) , x < a−  2;   2 2 + g˜2∗ (x) := g2 (x), x ∈ [a− 2 , a2 ];    −k2+ (x−a+ 2 ), g2 (a+ x > a+ 2 )e 2. 29. Ïðîöåäóðà d0 äëÿ òÿæåëûõ õâîñòîâ  ∗− t (x),    i ∗ gi (x) = gi (x)(1 + ci ),    ∗+ ti (x), Li (x1 , . . . , xn ) := inf g∈A(gi ) x < a− i ; + a− i ≤ x ≤ ai ; x > a+ i , n X i=1 ln gi∗ (xi ) . g(xi ) Òåîðåìà Åñëè äëÿ ∀pi ∈ Gi äëÿ íåêîòîðîãî ÷èñëà 1 > b > 0 ñóùåñòâóåò êîíñòàíòà Ci òàêàÿ, ÷òî Epi |∆Li (x)|1+b ≤ Ci < ∞, òî ïðîöåäóðà d0 ÿâëÿåòñÿ êîððåêòíî îïðåäåëåííîé, ò.å. d0 ∈ D(α). 30. Ñâîéñòâà ïðîöåäóðû d0 äëÿ òÿæåëûõ õâîñòîâ Òåîðåìà Ïóñòü äëÿ p1 ∈ G1 äëÿ íåêîòîðîãî ÷èñëà b, 0 < b < 1 ñóùåñòâóåò êîíñòàíòà C1 òàêàÿ, ÷òî Ep |∆L1 (x)|1+b ≤ C1 < ∞, òîãäà åñëè 0 < b < 21 , òî R1 (d0 ) ≤ | ln α|+K | ln α| I (p+K) | ln α| +K , åñëè b = 21 , òî R1 (d0 ) ≤ | ln α|+K | ln α| I (p+K) | ln | ln α||+K , åñëè 12 < b < 1, òî R1 (d0 ) ≤ | ln α|+KI | (pln α|) +K . Åñëè äëÿ p1 2∈ G1 ñóùåñòâóåò êîíñòàíòà C1 òàêàÿ, ÷òî âûïîëíÿåòñÿ óñëîâèå Ep |∆L1 (x)| ≤ C1 < ∞, òî ñóùåñòâóåò êîíñòàíòà K4 , òàêàÿ ÷òî ôóíêöèÿ ðèñêà ïðîöåäóðû d0 óäîâëåòâîðÿåò óñëîâèþ R1 (d0 ) ≤ | lnI α|+K . (5) (p ) Åñëè âûïîëíÿþòñÿ óñëîâèÿ supx∈X ∆L1 (x) ≤ K5 , òî ôóíêöèÿ ðèñêà ïðîöåäóðû d0 óäîâëåòâîðÿåò óñëîâèþ (5) ñ K4 = K5 . Àíàëîãè÷íîå óòâåðæäåíèå ñïðàâåäëèâî è äëÿ p2 ∈ G2 . 1 1−b 1 1 2 1−b 1 1 1 1 4 1 1 1−2b 3 1 1−b 1 1 2 1 3 3 1 31. Ñâîéñòâà ïðîöåäóðû d0 äëÿ òÿæåëûõ õâîñòîâ Åñëè p1 ∈ G1 , òî +∞ Z g ∗ (x) I1 (p1 ) := Ep1 ∆L1 (x) = ln 1∗ p1 (x) dx, g̃2 (x) −∞  − t (x),    2 g̃2∗ (x) = g2 (x)(1 + ε),    + t2 (x), åñëè x < a− 2; + åñëè a− 2 ≤ x ≤ a2 ; åñëè x > a+ 2. 1 32. Ðåçóëüòàòû ÷èñëåííîãî ìîäåëèðîâàíèÿ ( g1 (x) ≡ 1, x ∈ [0; 1], g2 (x) = 0, 2, 1, 8, åñëè x ∈ [0; 0, 5] ; åñëè x ∈ (0, 5; 1] . I(g1 , g2 ) = 0, 51, I(g2 , g1 ) = 0, 37.  zi (1 + ε), xi := 1 − (1 − zi )(1 − ε), åñëè zi ∈ [0; 0,5], åñëè zi ∈ (0,5; 1]. Òàáëèöà 1. Ðåçóëüòàòû ÷èñëåííîãî èññëåäîâàíèÿ ñâîéñòâ ñóáîïòèìàëüíîñòè ïðè ðàâíîìåðíîé îöåíêå ïëîòíîñòè ðàñïðåäåëåíèé α 0.01 0.01 0.001 0.01 0.001 0.01 0.001 ε 0.01 0.05 0.05 0.1 0.1 0.15 0.15 RW 10.21 11.06 16.59 12.16 18.36 13.37 20.64 R 10.61 12.40 18.39 16.35 23.79 23.63 33.82 pW 0.0086 0.0130 0.0021 0.0201 0.0041 0.0296 0.0053 p 0.0085 0.0074 0.0009 0.0051 0.0005 0.0030 0.0005 33. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Ïóñòü R íåêîòîðàÿ ðåäóêöèÿ ìíîæåñòâà X , óñòðîåííàÿ òàêèì îáðàçîì, ÷òî îíà ñêëåèâàåò íåêîòîðûå èçìåðèìûå ïîäìíîæåñòâà X â òî÷êè, à îñòàâøóþñÿ ÷àñòü ìíîæåñòâà X îñòàâëÿåò áåç èçìåíåíèé. Ïîñòðîåííîå ìíîæåñòâî îáîçíà÷èì ÷åðåç R(X). Ìåðà µ èíäóöèðóåò íà R(X) ìåðó µR , à ìåðà P èíäóöèðóåò íà R(X) ìåðó PR . Èíôîðìàöèîííîå ðàññòîÿíèå ìåæäó ãèïîòåçàìè âû÷èñëÿëîñü ðàíåå êàê I12 = inf I(P, Q), I21 = inf I(P, Q). P∈G1 ,Q∈G2 P∈G2 ,Q∈G1 Íà ìíîæåñòâå R(X) ðàññòîÿíèÿ ìåæäó ãèïîòåçàìè óìåíüøàòüñÿ: I˜12 = inf I(PR , QR ) ≤ I12 , I˜21 = inf I(PR , QR ) ≤ I21 . P∈G1 ,Q∈G2 Ðàçíîñòè P∈G2 ,Q∈G1 I12 − I˜12 , I21 − I˜21 óêàçûâàþò íà êîëè÷åñòâî ïîòåðÿííîé èíôîðìàöèè, ñâÿçàííîé ñ îãðóáëåíèåì ðåçóëüòàòîâ íàáëþäåíèé èç-çà ðåäóêöèè ìíîæåñòâà X . Òàêèì îáðàçîì, óêàçàííûé ïîäõîä, âîîáùå ãîâîðÿ, âåäåò ê óõóäøåíèþ ðåçóëüòàòîâ ïðîâåðêè ãèïîòåç. 1 34. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Îäíàêî ñèòóàöèÿ ìîæåò èçìåíÿòüñÿ â óñëîâèÿõ íåîïðåäåëåííîñòè. Åñëè óäàåòñÿ íà ìíîæåñòâå R(X) îïèñàòü âîçìîæíûå ðàñïðåäåëåíèÿ áîëåå òî÷íî, ÷åì â èñõîäíîé çàäà÷å, òî ìîæíî ïîëó÷èòü âûèãðûø. Ìíîæåñòâà G1 è G2 èíòåðïðåòèðóþòñÿ êàê îêðåñòíîñòè âîçìîæíûõ èñòèííûõ ðàñïðåäåëåíèé. Ïóñòü íà ìíîæåñòâå R(X) ýòè îêðåñòíîñòè ñòàíóò GR1 è GR2 , ïðè÷åì IR12 = inf P∈GR1 ,Q∈GR2 I(P, Q), IR21 = inf P∈GR2 ,Q∈GR1 I(P, Q). Åñëè I12 < IR12 , I21 < IR21 , òî ââåäåíèå ðåäóêöèè îêàçûâàåòñÿ îïðàâäàííûì ñ èíôîðìàöèîííîé òî÷êè çðåíèÿ.  ýòîì ñëó÷àå èíôîðìàòèâíîñòü íàáëþäåíèé óìåíüøàåòñÿ, íî çà ñ÷åò óìåíüøåíèÿ íåîïðåäåëåííîñòè â ïîñòàíîâêå çàäà÷è ïðîâåðêè ãèïîòåç ýôôåêòèâíîñòü ñòàòèñòè÷åñêîãî ðåøåíèÿ âîçðàñòàåò. Ðàçíîñòè IR12 − I12 , IR21 − I21 áóäóò äàâàòü ñðåäíèé âûèãðûø íà îäíîì ýêñïåðèìåíòå çà ñ÷åò óïðîùåíèÿ ïîñòàíîâêè çàäà÷è. ×åì áîëüøå ýòè ðàçíîñòè, òåì ýôôåêòèâíåå ðåäóêöèÿ R. 2 35. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Íàèáîëåå ðàñïðîñòðàíåííûé ñëó÷àé ðåäóêöèè  ãðóïïèðîâêà äàííûõ, êîãäà âìåñòî âûáîðêè ðàññìàòðèâàþò ãèñòîãðàììó, ïîñòðîåííóþ ïî ýòîé âûáîðêå.  ýòîì ñëó÷àå ìíîæåñòâî X ðåäóöèðóåòñÿ â íåêîòîðîå äèñêðåòíîå ìíîæåñòâî Xδ , ãäå ïàðàìåòð δ îòâå÷àåò, íàïðèìåð, çà øèðèíó ñòîëáöîâ ãèñòîãðàììû. Ïîíÿòíî, ÷òî ðåäóêöèÿ ê Xδ âåäåò ê ïîòåðå èíôîðìàöèè â ðåçóëüòàòàõ íàáëþäåíèé. Ðàññìîòðèì ñèòóàöèþ, êîãäà òàêîé ïîäõîä íå âåäåò ê ïîòåðå èíôîðìàöèè, ïîñêîëüêó ïîçâîëÿåò ïîëó÷àòü áîëåå ïðîñòîå ìíîæåñòâî âåðîÿòíîñòíûõ ìåð Pδ íà Xδ , èíäóöèðîâàííîå èñõîäíûì ìíîæåñòâîì âåðîÿòíîñòíûõ ìåð P íà X . Äëÿ èëëþñòðàöèè îïèñàííîãî ýôôåêòà ðàññìîòðèì âëèÿíèå ðåäóêöèè äëÿ òðåòüåãî âàðèàíòà ðàñïîëîæåíèÿ îòðåçêîâ A1 è A2 , êîãäà îíè íå ïåðåñåêàþòñÿ. Ñ òî÷êè çðåíèÿ ðåøåíèÿ çàäà÷è ïðîâåðêè ãèïîòåç ýòî íàèáîëåå ïðîñòîé ñëó÷àé, ïîñêîëüêó á
îëüøàÿ ÷àñòü ðàñïðåäåëåíèÿ íàáëþäåíèé ïðè ðàçëè÷íûõ ãèïîòåçàõ ñîñðåäîòî÷åíû íà íåïåðåñåêàþùèõñÿ ìíîæåñòâàõ. 3 36. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è 4 Ðàññìîòðèì ðåäóêöèþ ìíîæåñòâà R â ìíîæåñòâî, ñîñòîÿùåå èç äâóõ ýëåìåíòîâ: R(R) := {1, 2}, ïî ñëåäóþùåìó ïðàâèëó:  a+ +a−  1, åñëè x ≤ 1 2 2 ; R(x) =  a+ +a− 2, åñëè x > 1 2 2 .  òàêîì ñëó÷àå âîçìîæíûå ðàñïðåäåëåíèÿ îäíîçíà÷íî çàäàþòñÿ îäíèì ÷èñëîì r  âåðîÿòíîñòüþ íàáëþäåíèÿ çíà÷åíèÿ 1. Èç óñëîâèÿ (3) ñëåäóåò, ÷òî Z a+ 1 r ≥ r1 := (1 − ε) g1 (x) dx (6) a− 1 äëÿ ðàñïðåäåëåíèé èç GR1 è Z r ≤ r2 := 1 − (1 − ε) äëÿ ðàñïðåäåëåíèé èç GR2 . a+ 2 a− 2 g2 (x) dx (7) 37. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Çàìåòèì, ÷òî ýòè íåðàâåíñòâà íå èñïîëüçóþò èíôîðìàöèþ î âèäå õâîñòîâ ðàñïðåäåëåíèé, ïîýòîìó âûïîëíÿþòñÿ ïðè ëþáûõ àïðèîðíûõ ïðåäïîëîæåíèÿõ î ñêîðîñòè óáûâàíèÿ õâîñòîâ ðàñïðåäåëåíèé. Èç (6) è (7) ñëåäóåò ïðè åñòåñòâåííîì ïðåäïîëîæåíèè r2 < r1 : IR12 ≥ r1 ln 1 − r1 r1 + (1 − r1 ) ln > 0, r2 1 − r2 IR21 ≥ r2 ln r2 1 − r2 + (1 − r2 ) ln > 0. r1 1 − r1 Äëÿ ïðîñòîòû èçëîæåíèÿ áóäåì ñ÷èòàòü, ÷òî õâîñòû îãðàíè÷åíû êîíñòàíòàìè, à ðàñïðåäåëåíèÿ â îáîèõ ñëó÷àÿõ ñîñðåäîòî÷åíû íà îòðåçêàõ A1 è A2 , ïîñêîëüêó îãðàíè÷åíèÿ íà õâîñòû ðàñïðåäåëåíèé çàäàþò òîëüêî îãðàíè÷åíèÿ ñâåðõó, à íèæíÿÿ ãðàíèöà ìîæåò áûòü è íóëåâîé. 5 38. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è  ýòîì ñëó÷àå  g1 (x)(1 + c1 ) inf I1 (p1 ) = inf Ep1 ∆L1 (i) = ln p1 (x) dx+ p1 ∈G1 p1 ∈G1 t− 2 (x) A1   Z t∗+ 1 (x) + ln p1 (x) dx. g2 (x)(1 + ε) Z  A2 Èç âèäà îöåíîê äëÿ õâîñòîâ âèäíî, ÷òî ïðè ëþáîì ðàñïîëîæåíèè îòðåçêîâ ïàðàìåòðû õâîñòà ðàñïðåäåëåíèÿ ìîæíî âûáðàòü òàê, ÷òî íà îòðåçêå A1 ÷èñëèòåëü ó ëîãàðèôìà áóäåò ìåíüøå çíàìåíàòåëÿ. Âûïîëíåíèå ýòîãî óñëîâèÿ, òåì áîëåå, ìîæíî îáåñïå÷èòü íà îòðåçêå A2 , ïîñêîëüêó Rôóíêöèÿ t∗+ èõ 1 (x) íå äîëæíà ïðèíèìàòü áîëüø
çíà÷åíèé, ò.ê. A2 t∗+ (x)dµ(x) çàäàåò âåðîÿòíîñòü ïîïàäàíèÿ â õâîñò 1 ðàñïðåäåëåíèÿ è äîëæåí áûòü ìàëûì. Çíà÷èò ìîãóò âîçíèêàòü ñèòóàöèè, êîãäà âåëè÷èíà I1 (p1 ) íå ïðîñòî ìàëà, à äàæå îòðèöàòåëüíà.  ýòîì ñëó÷àå ïîñòðîèòü ãàðàíòèéíîå ðåøàþùåå ïðàâèëî íåâîçìîæíî. 6 39. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Èñïîëüçîâàíèå æå óïðîùåííîé ìîäåëè, ïðåäëîæåííîé âûøå, ïîçâîëÿåò ðåøèòü çàäà÷ó è â ýòîì ñëó÷àå. Ïîíÿòíî, ÷òî çäåñü ðàññìîòðåí íåêîòîðûé ïðåäåëüíûé ñëó÷àé, îäíàêî îí óêàçûâàåò íà òåîðåòè÷åñêóþ âîçìîæíîñòü ñóùåñòâåííîãî ïàäåíèÿ ýôôåêòèâíîñòè ïðåäëàãàåìîãî ìåòîäà ðåøåíèÿ ïðè íàëè÷èè áîëüøèõ íåîïðåäåëåííîñòåé â ïàðàìåòðàõ èñõîäíîé ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è. Ýòî îáñòîÿòåëüñòâî ñîãëàñóåòñÿ ñ íàáëþäåíèÿìè íà ïðàêòèêå, êîãäà ïðèìåíåíèå ðîáàñòíûõ ñòàòèñòè÷åñêèõ ìåòîäîâ ïðèâîäèëî â ñóùåñòâåííîìó ïàäåíèþ ìîùíîñòè ðåøàþùåãî ïðàâèëà. 7 40. Èññëåäîâàíèå ýôôåêòèâíîñòè óïðîùåíèÿ ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è Ïîëó÷åííûé ðåçóëüòàò ïîçâîëÿåò ñäåëàòü âûâîä î òîì, ÷òî íåîáõîäèì ïðåäâàðèòåëüíûé àíàëèç ñòàòèñòè÷åñêîé ìîäåëè çàäà÷è äëÿ âûÿñíåíèÿ âîçìîæíîñòè è ýôôåêòèâíîñòè ðåøåíèÿ çàäà÷è ãàðàíòèéíîé ïðîâåðêè ãèïîòåç ïðè íåîïðåäåëåííîñòÿõ â çíà÷åíèÿõ ïàðàìåòðîâ ìîäåëè. Ñòàíîâèòñÿ ñîäåðæàòåëüíîé çàäà÷à âûáîðà ñòàòèñòè÷åñêîé ìîäåëè, â êîòîðîé íåîïðåäåëåííîñòè â ïàðàìåòðàõ ìåíüøå, è íåñìîòðÿ íà íåêîòîðîå óìåíüøåíèÿ èíôîðìàòèâíîñòè íàáëþäåíèé, îêîí÷àòåëüíîå ðåøåíèå â ðàìêàõ íîâîé ìîäåëè îêàçûâàåòñÿ áîëå ýôôåêòèâíûì. Îöåíêà ýôôåêòèâíîñòè ìîäåëè ìîæåò ïðîèçâîäèòñÿ ñ ïîìîùüþ ñðàâíåíèÿ âåðõíèõ è íèæíèõ îöåíîê äëÿ ôóíêöèè ðèñêà ïðåäëàãàåìîé ñóáîïòèìàëüíîé ïðîöåäóðû. 8 41. Çàìå÷àíèå î χ2 êðèòåðèè Ôîðìàëüíî êðèòåðèé χ2 ïðîâåðÿåò ïðîñòóþ ãèïîòåçó e0 : f = g0 , ïðîòèâ ñëîæíîé àëüòåðíàòèâû H e1 : f 6= g0 . H Áóäåì ñ÷èòàòü, ÷òî X := [−1, 1], g0 :≡ 0,5. Áóäåì ïðîâåðÿòü H0 : f ∈ G0ε , ïðîòèâ H1 : f ∈ G κ , ãäå G0ε  ε-îêðåñòíîñòü ïëîòíîñòè g0 , G κ ñîäåðæèò âñå ïëîòíîñòè g , óäîâëåòâîðÿþùèå óñëîâèþ Z |g(x) − g0 (x)| dx ≥ κ. X X ðåäóöèðóåòñÿ â êîíå÷íîå ìíîæåñòâî Xk := {1, . . . , k}. Áåç óñëîâèé ðåãóëÿðíîñòè G0ε k è Gkκ ìîãóò ïåðåñåêàòüñÿ. 1 42. Çàìå÷àíèå î χ2 êðèòåðèè 2 Îòíîøåíèÿ ïëîòíîñòåé èç ðàçëè÷íûõ ãèïîòåç îáëàäàþò ñâîéñòâîì ìîíîòîííîñòè îòíîøåíèÿ ïðàâäîïîäîáèÿ ñ òî÷íîñòüþ ε̃ > 0. Ïóñòü g1 ∈ G0ε è g2 ∈ G κ x, y ∈ X è x < y , òîãäà îòíîøåíèå ïðàâäîïîäîáèÿ: 1 2 óáûâàåò, åñëè: âîçðàñòàåò, åñëè: g2 (x) g2 (y) − ≥ −ε̃, g1 (x) g1 (y) g2 (x) g2 (y) − ≤ ε̃. g1 (x) g1 (y) κ − (1 + ε)ε̃ > 0. Çàäà÷à ïðîâåðêè ãèïîòåç íà Xk : H0k : f ∈ G0ε k , H1k : f ∈ Gkκ . 43. Çàìå÷àíèå î χ2 êðèòåðèè L1 (x1 , . . . , xn ) = − ν − − 3 n 1 n 1 + κ0 + ln . ln 2 1 − κ0 2 1 − (κ 0 )2 [k [k 2] 2] P P ν(i) ν(i)k ν(k+1−i) 1 ln ν(k+1−i)k n L2 (x1 , . . . , xn )= n ln n(1−ε) + n n(1+ε) , i=1 i=1 pbi := ν(i) n  âûáîðî÷íàÿ âåðîÿòíîñòü ïîïàäàíèÿ â i-é èíòåðâàë, pi := k1  òåîðåòè÷åñêàÿ âåðîÿòíîñòü ïîïàäàíèÿ â i-é èíòåðâàë. 2L2 (x1 , . . . , xn ) ≈ n k 2 X (b pi − pi ) i=1 pi ïðè ε → 0.