Статическое решение.Недостатки стратегии.
Выбери формат для чтения
Загружаем конспект в формате pdf
Это займет всего пару минут! А пока ты можешь прочитать работу в формате Word 👇
2. Ñòàòèñòè÷åñêîå ðåøåíèå
Ñòàòèñòè÷åñêîå ðåøåíèå δ = δ(x1 , . . . , xn ) ýòî èçìåðèìîå
îòíîñèòåëüíî Fn îòîáðàæåíèå â íåêîòîðîå èçìåðèìîå
ïðîñòðàíñòâî (∆, G∆ ), âèä êîòîðîãî îïðåäåëÿåòñÿ ïîñòàâëåííîé
çàäà÷åé.
Ðàíäîìèçîâàííîå ñòàòèñòè÷åñêîå ðåøåíèå ýòî êîãäà
îòîáðàæåíèå â ìíîæåñòâî âåðîÿòíîñòíûõ ðàñïðåäåëåíèé íà
(∆, G∆ ).
Çàäà÷à ïðîâåðêè ñòàòèñòè÷åñêèõ ãèïîòåç: ∆ äèñêðåòíîå
ìíîæåñòâî, ñîäåðæàùåå íîìåðà ãèïîòåç.
Çàäà÷à îöåíèâàíèÿ ðàñïðåäåëåíèé: (∆, G∆ ) = (Θ, B).
Çàäà÷à ïîñòðîåíèÿ äîâåðèòåëüíûõ ìíîæåñòâ: ∆ íåêîòîðîå
ñåìåéñòâî èç G , σ -àëãåáðû íà P îïðåäåëåííîé ñòðóêòóðû.
1
3. Ñòàòèñòè÷åñêîå ðåøåíèå
2
Ôóíêöèÿ ðèñêà ñòàòèñòè÷åñêîãî ðåøåíèÿ.
r(δ, δ0 ) ôóíêöèÿ óùåðáà, åñëè δ0 ïðàâèëüíîå ðåøåíèå.
R(δ, P ) := EP r(δ, δ0 ) ôóíêöèÿ ðèñêà ïðè èçâåñòíîì
ðàñïðåäåëåíèè íàáëþäåíèé P .
Äëÿ çàäà÷ ïîñëåäîâàòåëüíîãî ïðèíÿòèÿ ðåøåíèé ïîñòàíîâêà
çàäà÷è ìèíèìèçàöèè ôóíêöèè ðèñêà ÿâëÿåòñÿ ðàçðåøèìîé; äëÿ
ñòàòè÷åñêèõ ïðîöåäóð ýòî íå òàê, òîãäà
R(δ) := sup EP r(δ, δ0 ).
P ∈P
Ðîáàñòíîå ñòàòèñòè÷åñêîå ðåøåíèå: P ∈
/ P , íî P ∈ Pε . Ñëàáàÿ
ïîñòàíîâêà: ñóùåñòâóåò ïîëîæèòåëüíîå ε0 , òàêîå ÷òî ïðè ε < ε0
äëÿ ëþáîãî
P ∈ Pε R(δ, P ) < ∞
è ñèëüíàÿ ïîñòàíîâêà: äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè Qε ∈ Pε è
P ∈P
R(δ, Qε ) → R(δ, P ), åñëè Qε → P ïðè ε → 0.
4. Ïîñòàíîâêà çàäà÷è.
Ïî ìîòèâàì Malyutov, M.B., Tsitovich I.I. Second Order Optimal
Sequential Model Choice and Change-point Detection // Information
Processes. 2010. Vol. 10, 3. P. 275-291.
http://www.jip.ru/2010/275-291-2010.pdf
Ïóñòü (X, B, µ), X ⊂ R, âåðîÿòíîñòíîå ïðîñòðàíñòâî, (P, d(·))
ìåòðè÷åñêîå ïðîñòðàíñòâî, ãäå P íåêîòîðîå èçìåðèìîå
ïîäìíîæåñòâî ìíîæåñòâà âñåõ âåðîÿòíîñòíûõ ìåð A, àáñîëþòíî
íåïðåðûâíûõ îòíîñèòåëüíî íåêîòîðîé ìåðû µ. Èõ ïëîòíîñòè
îáîçíà÷àþòñÿ ñîîòâåòñòâóþùèìè ñòðî÷íûìè áóêâàìè.
1
5. Ïîñòàíîâêà çàäà÷è.
2
Ïóñòü ìåòðèêà d I -ðàâíîìåðíî íåïðåðûâíà íà P , ò.å. äëÿ ëþáîãî
ε > 0 ñóùåñòâóåò δ = δ(ε) > 0 òàêîå ÷òî äëÿ ëþáîé ïàðû P, Q èç P
èç íåðàâåíñòâà I(P, Q) < δ ñëåäóåò d(P, Q) < ε.
Ïóñòü P ðàçáèòî íà ïîäìíîæåñòâà P0 , P1 è çîíó áåçðàçëè÷èÿ
P+ = P \ (P1 ∪ P0 ).
Ïðîâåðÿåòñÿ ãèïîòåçà H0 : P ∈ P0 ïðîòèâ H1 : P ∈ P1 ; ëþáîå
ðåøåíèå ãîäèòñÿ â ñëó÷àå P ∈ P+ .
Ïóñòü ðàññòîÿíèå ìåæäó ãèïîòåçàìè ïîëîæèòåëüíîå, ò.å.
inf
P ∈P0 ,Q∈P1
d(P, Q) ≥ δ0 > 0.
(1)
6. Ïîñëåäîâàòåëüíàÿ ñòðàòåãèÿ
s.
Ñòðàòåãèÿ s ñîñòîèò èç ìàðêîâñêîãî ìîìåíòà îñòàíîâêè N è
áèíàðíîãî ðåøàþùåãî ïðàâèëà δ , δ = r, r = 0, 1, îçíà÷àåò, ÷òî
ïðèíèìàåòñÿ ãèïîòåçà Hr .
Äëÿ α > 0 îïðåäåëèì α-ñòðàòåãèþ s ñëåäóþùèì îáðàçîì:
Óñëîâèå G(α) : maxr=0,1 supP ∈P PP (δ = 1 − r) ≤ α.
r
Ïóñòü EsP N ñðåäíÿÿ ïðîäîëæèòåëüíîñòü (MEL) ñòðàòåãèè s.
1
7. Îáîçíà÷åíèÿ.
1
z(P, Q, x) = log
p(x)
;
q(x)
I(P, R) = inf Q∈R I(P, Q) for R ⊂ P ;
A(P ) = P1−r for P ∈ Pr àëüòåðíàòèâíîå ïîäìíîæåñòâî äëÿ P .
Äëÿ P ∈ P+ : åñëè I(P, P0 ) ≤ I(P, P1 ), òî A(P ) = P1 , èíà÷å
A(P ) = P0 .
k(P ) = I(P, A(P )).
8. Íèæíÿÿ ãðàíèöà
1
Óñëîâèå ðåãóëÿðíîñòè C1. Ñóùåñòâóåò c > 0 òàêîå ÷òî
2
EP (z(P, Q, X)) < c äëÿ âñåõ P ∈ P, Q ∈ P .
Òåîðåìà 1. Åñëè âûïîëíåíî óñëîâèå C1, òî äëÿ ëþáîé α-ñòðàòåãèè s
EsP N ≥
ïðè âñåõ P ∈ P .
p
| log α|
+ O( | log α|).
k(P )
(2)
9. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ
ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè.
Óñëîâèå ðåãóëÿðíîñòè C2. Ñóùåñòâóþò t > 0 è f > 0 òàêèå ÷òî äëÿ
âñåõ P ∈ P
EP supQ∈P exp(−tz(P, Q, X)) ≤ f.
Óñëîâèå ðåãóëÿðíîñòè C3. z(P, Q, x) äèôôåðåíöèðóåìà ïî x è
Z
1/2
D=
z1 (x) (a(x)b(x)) dx < ∞,
X
ãäå
∂z(P, Q, x)
,
∂x
Q∈P
Z ∞
p(t)µ(dt) ≤ a(x), sup
p(t)µ(dt) ≤ b(x).
z1 (x) = sup
Z
x
sup
P ∈P
−∞
P ∈P
x
Óñëîâèå ðåãóëÿðíîñòè C4. Ñóùåñòâóþò b ≥ 0 è K1 = K1 (b) òàêèå ÷òî
äëÿ ëþáîãî n îöåíêà p̂ = p̂n ôóíêöèè ïëîòíîñòè ðåçóëüòàòîâ
íàáëþäåíèé X1 , . . . , Xn äëÿ P ∈ P ìîæåò áûòü ïîñòðîåíà òàêèì
îáðàçîì, ÷òî
EP (I(P, P̂ )) ≤ K1 n−b .
(3)
1
10. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ
ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè.
Åñëè, íàïðèìåð, ìíîæåñòâî X ýòî îòðåçîê [0, 1], à
äëÿ P ∈ P log p ïåðèîäè÷åñêàÿ ôóíêöèÿ ñ ïåðèîäîì 1,
ïðèíàäëåæàùàÿ ïðîñòðàíñòâó Ñîáîëåâà W2r íà X , r ≥ 1, òî óñëîâèå
2r
C4 âûïîëíÿåòñÿ ïðè b = 1+2r
. Åñëè äîïîëíèòåëüíî ê C3
ïðåäïîëîæèòü, ÷òî
Çàìå÷àíèå.
Z
X
∂z(P, Q, x)
∂x
2
dx ≤ c < ∞
ñ ãðàíè÷íûì óñëîâèåì z(P, Q, 0) = z(P, Q, 1), òî óñëîâèå C4
âûïîëíÿåòñÿ ïðè b = 23 .
2
11. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ
ïðîöåäóðà. Óñëîâèÿ ðåãóëÿðíîñòè.
3
Îáû÷íî îöåíêè P̂ ñòðîÿòñÿ ÷åðåç àïïðîêñèìàöèþ P
ïàðàìåòðè÷åñêèì ýêñïîíåíöèàëüíûì ñåìåéñòâîì Am ðàçìåðíîñòè m
è íà ýòîì ñåìåéñòâå èñïîëüçóþò îöåíêó ìàêñèìàëüíîãî
ïðàâäîïîäîáèÿ. Òîãäà
Çàìå÷àíèå.
I(P, P̂ ) ≤ γ1 m−r1 + γ2
m r2
n
(4)
ãäå γ1 è γ2 íåêîòîðûå ÷èñëà, r1 çàâèñèò îò ãëàäêîñòè ñåìåéñòâà
ìåð P , à r2 çàâèñèò îò âûáîðà áàçèñà â ñåìåéñòâå Am . Îïòèìèçàöèÿ
1
1+b
1
γ1
(4) ïî m = m(n, b) =
n 2(1+b) äàåò (3).
γ2
12. Ïîñëåäîâàòåëüíàÿ àñèìïòîòè÷åñêè îïòèìàëüíàÿ
ïðîöåäóðà.
1
Ñòðàòåãèÿ s∗ = s∗ (β, n) çàâèñèò îò ïàðàìåòðîâ β è n. Îíà ñîñòîèò èç
óñëîâíî íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñòàäèé. Åñëè
ñòàäèÿ çàâåðøàåòñÿ íàñòóïëåíèåì ñîáûòèÿ (5), òî ýòî ïîñëåäíÿÿ
ñòàäèÿ äëÿ ïðîöåäóðû s∗ .
Êàæäàÿ ñòàäèÿ ñîñòîèò èç äâóõ
p ôàç.
Íà îñíîâàíèè ïåðâûõ L = [ | ln β|] + 1 íàáëþäåíèé ñòàäèè ìû
îöåíèâàåì ïëîòíîñòü ìåðû P .
Íà âòîðîé ôàçå
Pk âû÷èñëÿåòñÿ ñòàòèñòèêà
Lk (P̂ , Q) = i=1 z(P̂ , Q, xi ), ãäå P̂ îöåíêà P , è èñïîëüçóþòñÿ
òîëüêî íàáëþäåíèÿ íà âòîðîé ôàçå. Íàáëþäåíèÿ íà âòîðîé ôàçå
çàâåðøàþòñÿ â ïåðâûé ìîìåíò M , êîãäà
inf
LM (P̂ , Q) > − log β
(5)
Q∈An (P̂ )
èëè åñëè
M > 2k(P̂ )−1 | log β|.
(6)
Åñëè âûïîëíÿåòñÿ (6), òî íà÷èíàåì íîâóþ ñòàäèþ, à åñëè
âûïîëíÿåòñÿ (5), òî ïðèíèìàåòñÿ ãèïîòåçà Hr (ò.å. δ = r), ãäå 1 − r
èíäåêñ ìíîæåñòâà A(P̂ ).
13. Âåðõíÿÿ ãðàíèöà äëÿ ïîñëåäîâàòåëüíîé
àñèìïòîòè÷åñêè îïòèìàëüíîé ïðîöåäóðû.
1
Òåîðåìà 2. Äëÿ ëþáîé P ∈ P ïðè âûïîëíåíèè óñëîâèé C1C4 è
ñîîòâåòñòâóþùåì âûáîðå çíà÷åíèé ïàðàìåòðîâ s∗ ÿâëÿåòñÿ
α-ñòðàòåãèåé è
∗
EsP N ≤
p
| log α|
1−b/2
+ K2 | log α|
+ K3 | log α|,
k(P )
ãäå âåëè÷èíû K2 è K3 íå çàâèñÿò îò α.
(7)
14. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 1
Ïóñòü (z(ϕ, xn ), Fn ) ìàðòèíãàë-ðàçíîñòü, ò.å.
E (z(ϕ, xn )|Fn−1 ) = 0
ïðè âñåõ çíà÷åíèÿõ ϕ èç íåêîòîðîãî ìíîæåñòâà Φ.
Íàñ áóäóò èíòåðåñîâàòü ñâîéñòâà
Pn âåëè÷èí maxϕ∈Φ |zn (ϕ)| èëè
maxϕ∈Φ |zτ (ϕ)|, ãäå zn (ϕ) = k=1 z(ϕ, xk ) ìàðòèíãàë, à τ
ìàðêîâñêèé ìîìåíò (îòíîñèòåëüíî ñåìåéñòâà {Fn }). Ñâîéñòâà
ïðèâåäåííûõ âåëè÷èí ìû áóäåì ðàññìàòðèâàòü ïðè âûïîëíåíèè
ñëåäóþùèõ óñëîâèé ðåãóëÿðíîñòè.
Ó1. Φ òîïîëîãè÷åñêîå ïðîñòðàíñòâî, ÿâëÿþùååñÿ êîìïàêòîì.
Ó2. Ôóíêöèÿ z(ϕ, x) ÿâëÿåòñÿ íåïðåðûâíîé ïî ϕ è èçìåðèìîé ïî
x ∈ X , ïðè÷åì E(z(ϕ, xn )) < ∞.
15. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 2
Ó3. Äëÿ ëþáîé ïîñëåäîâàòåëüíîñòè V = {Vn } âëîæåííûõ îòêðûòûõ
ïîäìíîæåñòâ èç Φ, êàæäîå èç êîòîðûõ ñîäåðæèò ϕ, ïðè÷åì
∩n Vn = ϕ, âûïîëíÿåòñÿ ñâîéñòâî
lim E sup |z(ϕ, xm ) − z(ϕ , xm )| | Fm−1 = 0
n→∞
ϕ0 ∈Vn
ðàâíîìåðíî ïî m. Ïðåäåë ïîíèìàåòñÿ â ñìûñëå ñõîäèìîñòè ïî÷òè
íàâåðíîå.
Ó4. Ðàâíîìåðíî ïî ϕ ∈ Φ è ïî n
E (z(ϕ, xn ))2 | Fn−1 ≤ c.
Ó5. Íàéäóòñÿ òàêèå ÷èñëà t > 0 è f , ÷òî äëÿ êàæäîãî ϕ ∈ Φ
íàéäåòñÿ òàêàÿ åãî îêðåñòíîñòü Vϕ , ÷òî
!
E
sup exp(−tz(ϕ0 , xm )) | Fm−1
ϕ0 ∈Vϕ
≤ f.
16. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 3
Ó6. Ìíîæåñòâî X = R è z(ϕ, x) ÿâëÿåòñÿ äèôôåðåíöèðóåìîé
ôóíêöèåé x, ïðè÷åì
Z +∞
1/2
z1 (x) (p(x)q(x)) dx < ∞,
−∞
ãäå
z1 (x) = sup |∂z(ϕ, x)/∂x|,
ϕ∈Φ
à ôóíêöèè p(x) è q(x) òàêîâû, ÷òî ïðè âñåõ x ∈ X è âñåõ n
âûïîëíåíû ïî÷òè íàâåðíîå íåðàâåíñòâà
P(xn ≤ x|Fn−1 ) ≤ p(x), P(xn > x|Fn−1 ) ≥ q(x).
17. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 4
Ó7. Ìíîæåñòâî X = N, ïðè÷åì
∞
X
1/2
zk (x)pk
< ∞,
k=1
ãäå
zk (x) = sup |z(ϕ, k)|,
ϕ∈Φ
à âåëè÷èíû pk ïðè âñåõ n óäîâëåòâîðÿþò (ï.í.) íåðàâåíñòâó
P(xn = x|Fn−1 ) ≤ pk .
Ñôîðìóëèðîâàííûå óñëîâèÿ Ó6, Ó7 ÿâëÿþòñÿ óñèëåíèÿìè óñëîâèÿ
Ó1 è ïîçâîëÿò ïîëó÷èòü áîëåå òî÷íûå îöåíêè, ÷åì óòâåðæäåíèå
ëåììû 1.
18. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 5
Ëåììà 1. Åñëè âûïîëíåíû óñëîâèÿ Ó1Ó4, òî äëÿ ëþáîé
ïîñëåäîâàòåëüíîñòè ìàðêîâñêèõ ìîìåíòîâ {τn }, óäîâëåòâîðÿþùèõ
óñëîâèþ E(τn ) → ∞ ïðè n → ∞,
lim E max sup |zm (ϕ)| /E(τn ) = 0.
n→∞
m≤τn ϕ∈Φ
Ëåììà 2. Ïóñòü âûïîëíåíû óñëîâèÿ Ó1, Ó2 è Ó6, òîãäà äëÿ ëþáîãî
ìàðêîâñêîãî ìîìåíòà τ
p
E max sup |zm (ϕ)| ≤ D E(τ ),
(8)
m≤τ ϕ∈Φ
ãäå âåëè÷èíà D çàâèñèò ëèøü îò ïàðàìåòðîâ â óñëîâèè Ó6.
19. Îöåíêè äëÿ ìàðòèíãàëîâ, çàâèñÿùèõ îò ïàðàìåòðà. 6
Ëåììà 3. Åñëè âûïîëíåíû óñëîâèÿ Ó1, Ó2 è Ó8, òî âûïîëíÿåòñÿ
íåðàâåíñòâî (8), ïðè÷åì âåëè÷èíó D ìîæíî ïîëîæèòü ðàâíîé
P∞
1/2
k=1 zk pk .
Ëåììà 4. Åñëè âûïîëíåíû óñëîâèÿ Ó1Ó5, òî äëÿ ëþáîãî ε > 0
íàéäåòñÿ òàêîå γ = γ(ε) > 0, ÷òî
P inf zm (ϕ) < −εm ≤ A exp(−γm),
ϕ∈Φ
ïðè÷åì A íå çàâèñèò îò m.
20. Âûâîäû è çàìå÷àíèÿ.
Íåäîñòàòêè ñòðàòåãèè s∗ : òðåáóåòñÿ ïîñòðîåíèå îöåíêè
íåèçâåñòíîãî ðàñïðåäåëåíèÿ è îöåíêà ñêîðîñòè ñõîäèìîñòè ýòîé
îöåíêè ê îöåíèâàåìîìó ðàñïðåäåëåíèþ. Íà ïðàêòèêå
äëèòåëüíîñòü ïðåäâàðèòåëüíîãî ýòàïà ìîæåò îêàçàòüñÿ áîëüøå
äëèòåëüíîñòè âòîðîãî ýòàïà.
Åñëè îòêàçàòüñÿ îò îöåíèâàíèÿ ðàñïðåäåëåíèÿ, òî
ïåññèìèñòè÷åñêàÿ îöåíêà ñðåäíåé ïðîäîëæèòåëüíîñòè
íàáëþäåíèé ìîæåò ñóùåñòâåííî îòëè÷àòüñÿ îò îïòèìàëüíîé.
Åñëè èñïîëüçîâàòü ñòàíäàðòíûé ïîäõîä, îñíîâàííûé íà
èñïîëüçîâàíèè îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ
ðàñïðåäåëåíèÿ, òî ïðîöåäóðà áóäåò íåäîïóñòèìîé, ò.å. òåðÿåòñÿ
ñâîéñòâî ãàðàíòèéíîñòè.
Äëÿ îáåñïå÷åíèÿ ãàðàíòèéíîãî ðåøåíèÿ ñî ñâîéñòâàìè,
áëèçêèìè ê îïòèìàëüíûì, íåîáõîäèìî íàëè÷èå
äèôôåðåíöèðóåìîñòè ïëîòíîñòè âîçìîæíûõ ðàñïðåäåëåíèé è
äîëæíû âûïîëíÿòüñÿ òðåáîâàíèÿ ê êâàëèôèöèðîâàííîé
ðàâíîìåðíîé ñêîðîñòè ñõîäèìîñòè õâîñòîâ ðàñïðåäåëåíèé.
1
21. Âûâîäû è çàìå÷àíèÿ.
Ìíîãîýòàïíûå ïðîöåäóðû.
Àñèìïòîòè÷åñêàÿ îïòèìàëüíîñòü ïî÷òè äâóõýòàïíîé ïðîöåäóðû.
2