Стратегическое решение. Функция риска

2. Ñòàòèñòè÷åñêîå ðåøåíèå Ñòàòèñòè÷åñêîå ðåøåíèå δ = δ(x1 , . . . , xn )  ýòî èçìåðèìîå îòíîñèòåëüíî Fn îòîáðàæåíèå â íåêîòîðîå èçìåðèìîå ïðîñòðàíñòâî (∆, G∆ ), âèä êîòîðîãî îïðåäåëÿåòñÿ ïîñòàâëåííîé çàäà÷åé. Ðàíäîìèçîâàííîå ñòàòèñòè÷åñêîå ðåøåíèå  ýòî êîãäà îòîáðàæåíèå â ìíîæåñòâî âåðîÿòíîñòíûõ ðàñïðåäåëåíèé íà (∆, G∆ ). Çàäà÷à ïðîâåðêè ñòàòèñòè÷åñêèõ ãèïîòåç: ∆  äèñêðåòíîå ìíîæåñòâî, ñîäåðæàùåå íîìåðà ãèïîòåç. Çàäà÷à îöåíèâàíèÿ ðàñïðåäåëåíèé: (∆, G∆ ) = (Θ, B). Çàäà÷à ïîñòðîåíèÿ äîâåðèòåëüíûõ ìíîæåñòâ: ∆  íåêîòîðîå ñåìåéñòâî èç G , σ -àëãåáðû íà P îïðåäåëåííîé ñòðóêòóðû. 1 3. Ñòàòèñòè÷åñêîå ðåøåíèå 2 Ôóíêöèÿ ðèñêà ñòàòèñòè÷åñêîãî ðåøåíèÿ. r(δ, δ0 )  ôóíêöèÿ óùåðáà, åñëè δ0  ïðàâèëüíîå ðåøåíèå. R(δ, P ) := EP r(δ, δ0 )  ôóíêöèÿ ðèñêà ïðè èçâåñòíîì ðàñïðåäåëåíèè íàáëþäåíèé P . Äëÿ çàäà÷ ïîñëåäîâàòåëüíîãî ïðèíÿòèÿ ðåøåíèé ïîñòàíîâêà çàäà÷è ìèíèìèçàöèè ôóíêöèè ðèñêà ÿâëÿåòñÿ ðàçðåøèìîé; äëÿ ñòàòè÷åñêèõ ïðîöåäóð ýòî íå òàê, òîãäà R(δ) := sup EP r(δ, δ0 ). P ∈P Ðîáàñòíîå ñòàòèñòè÷åñêîå ðåøåíèå: P ∈ / P , íî P ∈ Pε . Ñëàáàÿ ïîñòàíîâêà: ñóùåñòâóåò ïîëîæèòåëüíîå ε0 , òàêîå ÷òî ïðè ε < ε0 äëÿ ëþáîãî P ∈ Pε R(δ, P ) < ∞ è ñèëüíàÿ ïîñòàíîâêà: äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè Qε ∈ Pε è P ∈P R(δ, Qε ) → R(δ, P ), åñëè Qε → P ïðè ε → 0. 4. Ïîñòàíîâêà çàäà÷è. Ïî ìîòèâàì Malyutov, M.B., Tsitovich I.I. Second Order Optimal Sequential Model Choice and Change-point Detection // Information Processes. 2010. Vol. 10,  3. P. 275-291. http://www.jip.ru/2010/275-291-2010.pdf Ïóñòü (X, B, µ), X ⊂ R,  âåðîÿòíîñòíîå ïðîñòðàíñòâî, (P, d(·))  ìåòðè÷åñêîå ïðîñòðàíñòâî, ãäå P  íåêîòîðîå èçìåðèìîå ïîäìíîæåñòâî ìíîæåñòâà âñåõ âåðîÿòíîñòíûõ ìåð A, àáñîëþòíî íåïðåðûâíûõ îòíîñèòåëüíî íåêîòîðîé ìåðû µ. Èõ ïëîòíîñòè îáîçíà÷àþòñÿ ñîîòâåòñòâóþùèìè ñòðî÷íûìè áóêâàìè. 1 5. Ïîñòàíîâêà çàäà÷è. 2 Ïóñòü ìåòðèêà d I -ðàâíîìåðíî íåïðåðûâíà íà P , ò.å. äëÿ ëþáîãî ε > 0 ñóùåñòâóåò δ = δ(ε) > 0 òàêîå ÷òî äëÿ ëþáîé ïàðû P, Q èç P èç íåðàâåíñòâà I(P, Q) < δ ñëåäóåò d(P, Q) < ε. Ïóñòü P ðàçáèòî íà ïîäìíîæåñòâà P0 , P1 è çîíó áåçðàçëè÷èÿ P+ = P \ (P1 ∪ P0 ). Ïðîâåðÿåòñÿ ãèïîòåçà H0 : P ∈ P0 ïðîòèâ H1 : P ∈ P1 ; ëþáîå ðåøåíèå ãîäèòñÿ â ñëó÷àå P ∈ P+ . Ïóñòü ðàññòîÿíèå ìåæäó ãèïîòåçàìè ïîëîæèòåëüíîå, ò.å. inf P ∈P0 ,Q∈P1 d(P, Q) ≥ δ0 > 0. (1) 6. Ïîñëåäîâàòåëüíàÿ ñòðàòåãèÿ s. Ñòðàòåãèÿ s ñîñòîèò èç ìàðêîâñêîãî ìîìåíòà îñòàíîâêè N è áèíàðíîãî ðåøàþùåãî ïðàâèëà δ , δ = r, r = 0, 1, îçíà÷àåò, ÷òî ïðèíèìàåòñÿ ãèïîòåçà Hr . Äëÿ α > 0 îïðåäåëèì α-ñòðàòåãèþ s ñëåäóþùèì îáðàçîì: Óñëîâèå G(α) : maxr=0,1 supP ∈P PP (δ = 1 − r) ≤ α. r Ïóñòü EsP N  ñðåäíÿÿ ïðîäîëæèòåëüíîñòü (MEL) ñòðàòåãèè s. 1 7. Îáîçíà÷åíèÿ. 1 z(P, Q, x) = log p(x) ; q(x) I(P, R) = inf Q∈R I(P, Q) for R ⊂ P ; A(P ) = P1−r for P ∈ Pr  àëüòåðíàòèâíîå ïîäìíîæåñòâî äëÿ P . Äëÿ P ∈ P+ : åñëè I(P, P0 ) ≤ I(P, P1 ), òî A(P ) = P1 , èíà÷å A(P ) = P0 . k(P ) = I(P, A(P )). 8. Íèæíÿÿ ãðàíèöà 1 Óñëîâèå ðåãóëÿðíîñòè C1. Ñóùåñòâóåò c > 0 òàêîå ÷òî 2 EP (z(P, Q, X)) < c äëÿ âñåõ P ∈ P, Q ∈ P . Òåîðåìà 1. Åñëè âûïîëíåíî óñëîâèå C1, òî äëÿ ëþáîé α-ñòðàòåãèè s EsP N ≥ ïðè âñåõ P ∈ P . p | log α| + O( | log α|). k(P ) (2) 9. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè. Óñëîâèå ðåãóëÿðíîñòè C2. Ñóùåñòâóþò t > 0 è f > 0 òàêèå ÷òî äëÿ âñåõ P ∈ P
EP supQ∈P exp(−tz(P, Q, X)) ≤ f. Óñëîâèå ðåãóëÿðíîñòè C3. z(P, Q, x) äèôôåðåíöèðóåìà ïî x è Z 1/2 D= z1 (x) (a(x)b(x)) dx < ∞, X ãäå ∂z(P, Q, x) , ∂x Q∈P Z ∞ p(t)µ(dt) ≤ a(x), sup p(t)µ(dt) ≤ b(x). z1 (x) = sup Z x sup P ∈P −∞ P ∈P x Óñëîâèå ðåãóëÿðíîñòè C4. Ñóùåñòâóþò b ≥ 0 è K1 = K1 (b) òàêèå ÷òî äëÿ ëþáîãî n îöåíêà p̂ = p̂n ôóíêöèè ïëîòíîñòè ðåçóëüòàòîâ íàáëþäåíèé X1 , . . . , Xn äëÿ P ∈ P ìîæåò áûòü ïîñòðîåíà òàêèì îáðàçîì, ÷òî EP (I(P, P̂ )) ≤ K1 n−b . (3) 1 10. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè. Åñëè, íàïðèìåð, ìíîæåñòâî X  ýòî îòðåçîê [0, 1], à äëÿ P ∈ P log p  ïåðèîäè÷åñêàÿ ôóíêöèÿ ñ ïåðèîäîì 1, ïðèíàäëåæàùàÿ ïðîñòðàíñòâó Ñîáîëåâà W2r íà X , r ≥ 1, òî óñëîâèå 2r C4 âûïîëíÿåòñÿ ïðè b = 1+2r . Åñëè äîïîëíèòåëüíî ê C3 ïðåäïîëîæèòü, ÷òî Çàìå÷àíèå. Z  X ∂z(P, Q, x) ∂x 2 dx ≤ c < ∞ ñ ãðàíè÷íûì óñëîâèåì z(P, Q, 0) = z(P, Q, 1), òî óñëîâèå C4 âûïîëíÿåòñÿ ïðè b = 23 . 2 11. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè. 3 Îáû÷íî îöåíêè P̂ ñòðîÿòñÿ ÷åðåç àïïðîêñèìàöèþ P ïàðàìåòðè÷åñêèì ýêñïîíåíöèàëüíûì ñåìåéñòâîì Am ðàçìåðíîñòè m è íà ýòîì ñåìåéñòâå èñïîëüçóþò îöåíêó ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Òîãäà Çàìå÷àíèå. I(P, P̂ ) ≤ γ1 m−r1 + γ2 m r2 n (4) ãäå γ1 è γ2  íåêîòîðûå ÷èñëà, r1 çàâèñèò îò ãëàäêîñòè ñåìåéñòâà ìåð P , à r2 çàâèñèò îò âûáîðà áàçèñà â ñåìåéñòâå Am . Îïòèìèçàöèÿ 1   1+b 1 γ1 (4) ïî m = m(n, b) = n 2(1+b) äàåò (3). γ2 12. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ ïðîöåäóðà. 1 Ñòðàòåãèÿ s∗ = s∗ (β, n) çàâèñèò îò ïàðàìåòðîâ β è n. Îíà ñîñòîèò èç óñëîâíî íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñòàäèé. Åñëè ñòàäèÿ çàâåðøàåòñÿ íàñòóïëåíèåì ñîáûòèÿ (5), òî ýòî ïîñëåäíÿÿ ñòàäèÿ äëÿ ïðîöåäóðû s∗ . Êàæäàÿ ñòàäèÿ ñîñòîèò èç äâóõ p ôàç. Íà îñíîâàíèè ïåðâûõ L = [ | ln β|] + 1 íàáëþäåíèé ñòàäèè ìû îöåíèâàåì ïëîòíîñòü ìåðû P . Íà âòîðîé ôàçå Pk âû÷èñëÿåòñÿ ñòàòèñòèêà Lk (P̂ , Q) = i=1 z(P̂ , Q, xi ), ãäå P̂  îöåíêà P , è èñïîëüçóþòñÿ òîëüêî íàáëþäåíèÿ íà âòîðîé ôàçå. Íàáëþäåíèÿ íà âòîðîé ôàçå çàâåðøàþòñÿ â ïåðâûé ìîìåíò M , êîãäà inf LM (P̂ , Q) > − log β (5) Q∈An (P̂ ) èëè åñëè M > 2k(P̂ )−1 | log β|. (6) Åñëè âûïîëíÿåòñÿ (6), òî íà÷èíàåì íîâóþ ñòàäèþ, à åñëè âûïîëíÿåòñÿ (5), òî ïðèíèìàåòñÿ ãèïîòåçà Hr (ò.å. δ = r), ãäå 1 − r  èíäåêñ ìíîæåñòâà A(P̂ ). 13. Âåðõíÿÿ ãðàíèöà äëÿ ïîñëåäîâàòåëüíîé àñèìïòîòè÷åñêè îïòèìàëüíîé ïðîöåäóðû. 1 Òåîðåìà 2. Äëÿ ëþáîé P ∈ P ïðè âûïîëíåíèè óñëîâèé C1C4 è ñîîòâåòñòâóþùåì âûáîðå çíà÷åíèé ïàðàìåòðîâ s∗ ÿâëÿåòñÿ α-ñòðàòåãèåé è ∗ EsP N ≤ p | log α| 1−b/2 + K2 | log α| + K3 | log α|, k(P ) ãäå âåëè÷èíû K2 è K3 íå çàâèñÿò îò α. (7) 14. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 1 Ïóñòü (z(ϕ, xn ), Fn )  ìàðòèíãàë-ðàçíîñòü, ò.å. E (z(ϕ, xn )|Fn−1 ) = 0 ïðè âñåõ çíà÷åíèÿõ ϕ èç íåêîòîðîãî ìíîæåñòâà Φ. Íàñ áóäóò èíòåðåñîâàòü ñâîéñòâà Pn âåëè÷èí maxϕ∈Φ |zn (ϕ)| èëè maxϕ∈Φ |zτ (ϕ)|, ãäå zn (ϕ) = k=1 z(ϕ, xk )  ìàðòèíãàë, à τ  ìàðêîâñêèé ìîìåíò (îòíîñèòåëüíî ñåìåéñòâà {Fn }). Ñâîéñòâà ïðèâåäåííûõ âåëè÷èí ìû áóäåì ðàññìàòðèâàòü ïðè âûïîëíåíèè ñëåäóþùèõ óñëîâèé ðåãóëÿðíîñòè. Ó1. Φ  òîïîëîãè÷åñêîå ïðîñòðàíñòâî, ÿâëÿþùååñÿ êîìïàêòîì. Ó2. Ôóíêöèÿ z(ϕ, x) ÿâëÿåòñÿ íåïðåðûâíîé ïî ϕ è èçìåðèìîé ïî x ∈ X , ïðè÷åì E(z(ϕ, xn )) < ∞. 15. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 2 Ó3. Äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè V = {Vn } âëîæåííûõ îòêðûòûõ ïîäìíîæåñòâ èç Φ, êàæäîå èç êîòîðûõ ñîäåðæèò ϕ, ïðè÷åì ∩n Vn = ϕ, âûïîëíÿåòñÿ ñâîéñòâî   lim E sup |z(ϕ, xm ) − z(ϕ , xm )| | Fm−1 = 0 n→∞ ϕ0 ∈Vn ðàâíîìåðíî ïî m. Ïðåäåë ïîíèìàåòñÿ â ñìûñëå ñõîäèìîñòè ïî÷òè íàâåðíîå. Ó4. Ðàâíîìåðíî ïî ϕ ∈ Φ è ïî n
E (z(ϕ, xn ))2 | Fn−1 ≤ c. Ó5. Íàéäóòñÿ òàêèå ÷èñëà t > 0 è f , ÷òî äëÿ êàæäîãî ϕ ∈ Φ íàéäåòñÿ òàêàÿ åãî îêðåñòíîñòü Vϕ , ÷òî ! E sup exp(−tz(ϕ0 , xm )) | Fm−1 ϕ0 ∈Vϕ ≤ f. 16. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 3 Ó6. Ìíîæåñòâî X = R è z(ϕ, x) ÿâëÿåòñÿ äèôôåðåíöèðóåìîé ôóíêöèåé x, ïðè÷åì Z +∞ 1/2 z1 (x) (p(x)q(x)) dx < ∞, −∞ ãäå z1 (x) = sup |∂z(ϕ, x)/∂x|, ϕ∈Φ à ôóíêöèè p(x) è q(x) òàêîâû, ÷òî ïðè âñåõ x ∈ X è âñåõ n âûïîëíåíû ïî÷òè íàâåðíîå íåðàâåíñòâà P(xn ≤ x|Fn−1 ) ≤ p(x), P(xn > x|Fn−1 ) ≥ q(x). 17. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 4 Ó7. Ìíîæåñòâî X = N, ïðè÷åì ∞ X 1/2 zk (x)pk < ∞, k=1 ãäå zk (x) = sup |z(ϕ, k)|, ϕ∈Φ à âåëè÷èíû pk ïðè âñåõ n óäîâëåòâîðÿþò (ï.í.) íåðàâåíñòâó P(xn = x|Fn−1 ) ≤ pk . Ñôîðìóëèðîâàííûå óñëîâèÿ Ó6, Ó7 ÿâëÿþòñÿ óñèëåíèÿìè óñëîâèÿ Ó1 è ïîçâîëÿò ïîëó÷èòü áîëåå òî÷íûå îöåíêè, ÷åì óòâåðæäåíèå ëåììû 1. 18. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 5 Ëåììà 1. Åñëè âûïîëíåíû óñëîâèÿ Ó1Ó4, òî äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè ìàðêîâñêèõ ìîìåíòîâ {τn }, óäîâëåòâîðÿþùèõ óñëîâèþ E(τn ) → ∞ ïðè n → ∞,   lim E max sup |zm (ϕ)| /E(τn ) = 0. n→∞ m≤τn ϕ∈Φ Ëåììà 2. Ïóñòü âûïîëíåíû óñëîâèÿ Ó1, Ó2 è Ó6, òîãäà äëÿ ëþáîãî ìàðêîâñêîãî ìîìåíòà τ   p E max sup |zm (ϕ)| ≤ D E(τ ), (8) m≤τ ϕ∈Φ ãäå âåëè÷èíà D çàâèñèò ëèøü îò ïàðàìåòðîâ â óñëîâèè Ó6. 19. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 6 Ëåììà 3. Åñëè âûïîëíåíû óñëîâèÿ Ó1, Ó2 è Ó8, òî âûïîëíÿåòñÿ íåðàâåíñòâî (8), ïðè÷åì âåëè÷èíó D ìîæíî ïîëîæèòü ðàâíîé P∞ 1/2 k=1 zk pk . Ëåììà 4. Åñëè âûïîëíåíû óñëîâèÿ Ó1Ó5, òî äëÿ ëþáîãî ε > 0 íàéäåòñÿ òàêîå γ = γ(ε) > 0, ÷òî   P inf zm (ϕ) < −εm ≤ A exp(−γm), ϕ∈Φ ïðè÷åì A íå çàâèñèò îò m. 20. Âûâîäû è çàìå÷àíèÿ. Íåäîñòàòêè ñòðàòåãèè s∗ : òðåáóåòñÿ ïîñòðîåíèå îöåíêè íåèçâåñòíîãî ðàñïðåäåëåíèÿ è îöåíêà ñêîðîñòè ñõîäèìîñòè ýòîé îöåíêè ê îöåíèâàåìîìó ðàñïðåäåëåíèþ. Íà ïðàêòèêå äëèòåëüíîñòü ïðåäâàðèòåëüíîãî ýòàïà ìîæåò îêàçàòüñÿ áîëüøå äëèòåëüíîñòè âòîðîãî ýòàïà. Åñëè îòêàçàòüñÿ îò îöåíèâàíèÿ ðàñïðåäåëåíèÿ, òî ïåññèìèñòè÷åñêàÿ îöåíêà ñðåäíåé ïðîäîëæèòåëüíîñòè íàáëþäåíèé ìîæåò ñóùåñòâåííî îòëè÷àòüñÿ îò îïòèìàëüíîé. Åñëè èñïîëüçîâàòü ñòàíäàðòíûé ïîäõîä, îñíîâàííûé íà èñïîëüçîâàíèè îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ðàñïðåäåëåíèÿ, òî ïðîöåäóðà áóäåò íåäîïóñòèìîé, ò.å. òåðÿåòñÿ ñâîéñòâî ãàðàíòèéíîñòè. Äëÿ îáåñïå÷åíèÿ ãàðàíòèéíîãî ðåøåíèÿ ñî ñâîéñòâàìè, áëèçêèìè ê îïòèìàëüíûì, íåîáõîäèìî íàëè÷èå äèôôåðåíöèðóåìîñòè ïëîòíîñòè âîçìîæíûõ ðàñïðåäåëåíèé è äîëæíû âûïîëíÿòüñÿ òðåáîâàíèÿ ê êâàëèôèöèðîâàííîé ðàâíîìåðíîé ñêîðîñòè ñõîäèìîñòè õâîñòîâ ðàñïðåäåëåíèé. 1 21. Âûâîäû è çàìå÷àíèÿ. Ìíîãîýòàïíûå ïðîöåäóðû. Àñèìïòîòè÷åñêàÿ îïòèìàëüíîñòü ïî÷òè äâóõýòàïíîé ïðîöåäóðû. 2