Математическое ожидание случайной величины. Часть 1

Национальный Исследовательский Университет Высшая Школа Экономики. (Департамент Математики) Грибкова Надежда Викторовна Теория Вероятностей и Математическая Статистика (лекция 8) Санкт-Петербург, 2021 1 / 31 2 § 2.9 Математическое ожидание случайной величины Пусть (Ω, A, P) — вероятностное пространство, ξ – заданная на нем случайная величина. Напоминание: вспомним, что обычно мы имеем дело со случайными величинами двух типов: дискретными и абсолютно непрерывными. Закон распределения дискретной случайной величины задается рядом распределения: ξ P x1 p1 x2 p2 x3 p3 ... ...
где pk = P ξ = xk , k = 1, 2, 3, . . . . (Число возможных значений конечно, либо счетно). Абсолютно непрерывное распределение вероятностей задается плотностью распределения вероятностей f (x) ≥ 0, x ∈ R – непрерывный аналог вероятности значения x.  2 / 31 2 Определение 2.1 (Математическое ожидание) Пусть ξ — случайная величина (с.в.) с дискретным, либо абсолютно непрерывным распределением. Математическим ожиданием с.в. ξ (ожидаемым значением) называется (P ∞ xk pk , если ξ – дискретная с.в.; Eξ = R ∞k=1 (1) −∞ x f (x) dx, если ξ – абсолютно непрерывная с.в.; если ряд (интеграл) сходится абсолютно. Если нет абсолютной сходимости ряда (интеграла), то говорят, что у случайной величины ξ нет математического ожидания. Напоминание: ряд (интеграл) сходится абсолютно, если соответственно: Z ∞ ∞ X |xk | pk < ∞, |x| f (x) dx < ∞. k=1 −∞ 3 / 31 2 Смысл математического ожидания Проясним смысл введенной числовой характеристики с.в. Рассмотрим частный случай дискретной случайной величины с n возможными различными значениями и следующим законом распределения: ξ P x1 1/n x2 1/n ... ... xn 1/n
дискретное равномерное распределение: p1 = p2 = · · · = pn = 1/n . По определению 2.1, мы получаем Eξ = ∞ X k=1 xk pk = n X k=1 xk 1 x1 + x2 + · · · + xn = n n то есть, в этом случае математическое ожидание — это просто среднее значение. 4 / 31 2 Одна полезная аналогия. Если мы понимаем вероятности pk значений xk как физические нагрузки (массы), сосредоточенные в точках xk возможных значений с.в. ξ, то формула (1) дает нам просто координату центра тяжести масс, сосредоточенных в этих точках. То есть, математическое ожидание Eξ случайной величины ξ — это центр распределения, число, вокруг которого случайная величина принимает свои значения. Математическое ожидание функции от случайной величины Утверждение 2.1 (без доказательства) Пусть g : R → R – функция, такая, что η = g (ξ) является случайной величиной. Тогда (P ∞   g (xk ) pk , если ξ – дискретная с.в.; Eη = E g (ξ) = R ∞k=1 −∞ g (x) f (x) dx, если ξ – абс. непрерывная с.в.. где pk = P(ξ = xk ), если ξ – дискретная с.в., и f (x) – это функция плотности, если ξ – абсолютно непрерывная с.в. 5 / 31 2 В случае дискретного распределения вероятностей случайной величины ξ справедливость утверждения 2.1 очевидна. Утверждение 2.2 (без доказательства) Пусть (ξ, η) — двумерный случайный вектор, и пусть g : R2 −→ R – это функция двух переменных такая, что g (ξ, η) является случайной величиной. Тогда (P P ∞ ∞   g (xi , yj ) pij , E g (X , Y ) = R ∞i=1R ∞ j=1 (2) −∞ −∞ g (x, y ) f (x, y ) dx dy , где первая строка формулы относится к случаю, когда вектор (ξ, η) имеет дискретное распределение, при этом pij = P(X = xi , Y = yj ); формула во второй строке относится к случаю, когда вектор (ξ, η) имеет абсолютно непрерывное распределение вероятностей с плотностью f (x, y ). Ряд примеров будет представлен ниже. 6 / 31 2 Общие свойства математического ожидания Пусть ξ, η обозначают случайные величины, f (x, y ) – плотность совместного распределения, fξ (x) и fη (y ) – плотности ξ и η, соответственно. 10 . Если P(ξ = C ) = 1, то Eξ = C , где C – это постоянная (то есть, ξ имеет вырожденное распределение). Справедливость 10 следует прямо из определения (см. формулу (1)). 20 . Для ∀ постоянных α, β ∈ R, если Eξ и Eη существуют, то существует также E(αξ + βη), и E(αξ + βη) = α E(ξ) + β E(η) Мы докажем 20 для абсолютно непрерывных распределений (для дискретных распределений доказательство опирается на те же самые свойства, но только для сумм, вместо интегралов). 7 / 31 2 Согласно формуле (2), мы может написать Z ∞Z ∞ E(αξ + βη) = (αx + βy )f (x, y ) dx dy −∞ −∞ Z ∞ Z ∞ Z ∞ Z ∞   =α x f (x, y ) dy dx + β y f (x, y ) dx dy −∞ −∞ } } | −∞ {z | −∞ {z fξ (x) fη (y ) =α E(ξ) + β E(η) 30 . Если P(ξ ≥ 0) = 1, то Eξ ≥ 0 (следует прямо из определения математического ожидания (см. формулу (1)). 40 . Если P(ξ ≥ η) = 1, то Eξ ≥ Eη. Доказательство. P(ξ ≥ η) = 1 ⇒ P(ξ − η ≥ 0) = 1 ⇒ E(ξ − η) ≥ 0 ⇒ ⇒ E(ξ) − E(η) ≥ 0 ⇒ Eξ ≥ Eη. 8 / 31 2 50 . |E(ξ)| ≤ E|ξ| Доказательство. для любого ξ мы всегда имеем −|ξ| ≤ ξ ≤ |ξ|. Следовательно,
P − |ξ| ≤ ξ ≤ |ξ| = 1 ⇒ −E|ξ| ≤ Eξ ≤ E|ξ| ⇒ |E(ξ)| ≤ E|ξ| 60 . Если случайные величины ξ и η независимы, то E(ξ · η) = E(ξ) · E(η) Замечание 2.1 Подчеркнем, что свойство мультипликативности 60 математического ожидания верно только если случайные величины независимы. 9 / 31 2 Доказательство. Мы докажем свойство для случая абсолютно непрерывных распределений (в случае дискретных распределений доказательство опирается на те же самые свойства сумм, вместо соответствующих свойств интегралов). Согласно формуле (2), мы имеем Z ∞Z ∞ Z ∞Z ∞ E(ξ · η) = xyf (x, y ) dx dy = x y fξ (x) fη (y ) dx dy −∞ −∞ −∞ −∞ Мы использовали здесь то, что для независимых случайных величин плотность совместного распределения f (x, y ) равна произведению частных плотностей fξ (x) fη (y ). Последний интеграл равен Z ∞ Z ∞ Z ∞ Z ∞ = y fη (y ) dy x fξ (x) y fη (y ) dx dy = x fξ (x) dx · −∞ −∞ −∞ −∞ | {z } | {z } E(ξ) E(η) 10 / 31 2 § 2.10 Дисперсия случайной величины Пусть (Ω, A, P) – вероятностное пространство, ξ : Ω → R – определенная на нем скалярная случайная величина. Определение 2.2 (Дисперсия с.в. ξ) Пусть ξ – случайная величина с конечным математическим ожиданием µ = Eξ. Дисперсией случайной величины ξ называется математическое ожидание квадрата отклонения от ожидаемого значения:
2 D(ξ) = E ξ − µ (1) если эта величина существует (т.е. конечна), в противном случае дисперсия не существует (бесконечна). Дисперсия характеризует степень рассеяния (разброса) значений случайной величины вокруг ожидаемого (среднего) значения. 11 / 31 2 Основные свойства дисперсии Общие свойства дисперсии 10 . D(ξ) ≥ 0, для ∀ ξ.  Это следует из того, что P (ξ − µ)2 ≥ 0 = 1, и из свойства 30 математического ожидания.  20 . D(ξ) = 0 ⇔ P ξ = C = 1, для любого C ∈ R. Доказательство: 
2 "⇐": P ξ = C = 1 ⇒ Eξ = C ⇒ D(ξ) = E ξ − C = (C − C )2 = 0. "⇒": докажем это для дискретного распределения (для непрерывного распределения доказательство аналогично). Обозначим µ = Eξ и предположим, что D(ξ) = 0 ⇒  P D(ξ) = xk (xk − µ)2 pk = 0 ⇒ (xk − µ) ≡k 0 ⇒ P xk = µ = 1. 12 / 31 2 30 . D(αξ + β) = α2 D(ξ), ∀ α, β ∈ R Доказательство.  2  2 D(αξ + β) = E αξ + β − (α Eξ + β) = E α (ξ − Eξ) = α2 D(ξ) 40 . D(ξ) = Eξ 2 − (Eξ)2 Доказательство. D(ξ) = E[ξ − Eξ]2 =E[ξ 2 − 2ξEξ + (Eξ)2 ] =Eξ 2 − 2(Eξ)2 + (Eξ)2 = Eξ 2 − (Eξ)2 13 / 31 2 50 . Пусть ξ и η – две случайные величины с конечными математическими ожиданиями Eξ и Eη. Тогда   D(ξ ± η) = D(ξ) + D(η) ± 2 E (ξ − Eξ) · (η − Eη) (2) Доказательство.  2  2 D(ξ ± η) =E (ξ ± η) − E(ξ ± η) = E (ξ − Eξ) ± (η − Eη)   =E (ξ − Eξ)2 + (η − Eη)2 ± 2(ξ − Eξ)(η − Eη)   =D(ξ) + D(η) ± 2 E (ξ − Eξ) · (η − Eη) 14 / 31 2 60 . Пусть ξ и η – две независимые случайные величины с конечными математическими ожиданиями Eξ и Eη. Тогда D(ξ ± η) = D(ξ) + D(η). (3) Доказательство. Достаточно доказать,   что если ξ, η независимы, то E (ξ − Eξ) · (η − Eη) = 0. По свойству мультипликативности математического ожидания для независимых случайных величин:   E (ξ − Eξ) · (η − Eη) = E(ξ − Eξ) · E(η − Eη) = 0 | {z } | {z } =0 =0 15 / 31 2 Ковариация случайных величин Определение 2.3 (Ковариация) Пусть ξ и η – две случайные величины с конечными дисперсиями. Величина   cov (ξ, η) = E (ξ − Eξ) · (η − Eη) (4) называется ковариацией случайных величин ξ и η. В этих обозначениях свойство 50 дисперсии может быть записано следующим образом: D(ξ ± η) = D(ξ) + D(η) ± 2 cov (ξ, η). Определение 2.4 (Некоррелированность) Говорят, что две случайные величины ξ, η не коррелированы, если cov (ξ, η) = 0. 16 / 31 2 Утверждение 2.3 Если ξ, η не коррелированы, то D(ξ + η) = D(ξ) + D(η), и наоборот. Замечание 2.2 Заметим, что если ξ, η не коррелированы, то D(ξ − η) = D(ξ + (−η)) = D(ξ) + D(−η) = D(ξ) + D(η), то есть, дисперсия разности равна сумме дисперсий, но НЕ разности дисперсий. Замечание 2.3 ξ, η независимы ⇒ : cov (ξ, η) = 0 то есть, из независимости двух случайных величин всегда следует некоррелированность, но обратное, вообще говоря, неверно. 17 / 31 2 Нормированные случайные величины Определение 2.5 Пусть ξ – случайная величина с конечной дисперсией D(ξ). Величина p σξ = D(ξ) (5) называется средним квадратичным (стандартным) отклонением. Определение 2.6 Пусть ξ – случайная величина с конечной дисперсией D(ξ) > 0. Случайная величина ξ − Eξ ξ0 = σξ (6) называется нормированной. 18 / 31 2 Для нормированной случайной величины, безотносительно к ее распределению, мы имеем Eξ0 = 0, D(ξ0 ) = 1. Действительно, по свойствам математического ожидания и дисперсии   1 ξ − Eξ = E (ξ − Eξ) = 0 Eξ0 = E σξ σξ и D(ξ0 ) = Eξ02 − (Eξ0 )2 = E | {z } =0  ξ − Eξ σξ 2 = 1 D(ξ) E (ξ − Eξ)2 = = 1. σξ2 σξ2 19 / 31 2 Числовые характеристики наиболее важных распределений 1.Распределение Бернулли ξ ∼ Bi(1, p), p ∈ (0, 1). Вспомним, что закон распределения Бернулли с параметром p ∈ (0, 1) определяется таблицей ξ P 1−p 1 p Вычислим значения математического ожидания и дисперсии ξ. 1. Eξ = 0 · P(ξ = 0) + 1 · P(ξ = 1) = 0 · (1 − p) + 1 · p = p |{z} 2. Dξ = Eξ 2 − (Eξ)2 (см. свойство 40 дисперсии). Имеем: Eξ 2 = 02 · P(ξ = 0) + 12 · P(ξ = 1) = 0 · (1 − p) + 1 · p = p Следовательно, Dξ = p − p 2 = p(1 − p) | {z } 20 / 31 2 2.Биномиальное распределение ξ ∼ Bi(n, p) (n ∈ N, p ∈ (0, 1) – параметры распределения) Вспомним, что биномиальное распределение определяется таблицей: ξ P p0 1 p1 2 p2 ... ... n pn
где pk = P ξ = k = Cnk p k (1 − p)n−k , k = 0, 1, . . . , n. Для вычисления Eξ и Dξ мы можем использовать эти вероятности и формулы P Eξ = nk=0 k pk , P Dξ = Eξ 2 − (Eξ)2 = nk=0 k 2 pk − (Eξ)2 . Однако гораздо удобнее использовать интерпретацию биномиального распределения. Вспомним, что распределение ξ – это распределение числа успехов в n независимых испытаниях Бернулли с вероятностью успеха p в каждом испытании. 21 / 31 2 Тогда мы можем представить ξ следующим образом: ξ = ξ1 + ξ2 + · · · + ξn , (7) где случайная величина ξi обозначает индикатор успеха в i−м испытании, i = 1, 2, . . . , n: ( 1, если произошел успех в i-м испытании, ξi = 0, если произошла неудача в i-м испытании Мы видим, что каждая с.в. ξi имеет распределение Бернулли (см. 2 предыдущих слайда) с Eξi = p и Dξi = p(1 − p). Следовательно,
Eξ = E ξ1 + ξ2 + · · · + ξn = Eξ1 + Eξ2 + + · · · + Eξn = n · p |{z} |{z} |{z} =p =p =p
Dξ = D ξ1 +ξ2 +· · ·+ξn = Dξ1 + Dξ2 ++· · ·+ Dξn = n·p·(1−p) |{z} |{z} |{z} =p(1−p) =p(1−p) =p(1−p) 22 / 31 2 Замечание 2.4 Отметим, что при вычислении дисперсии мы использовали независимость испытаний Бернулли и тот факт, что дисперсия суммы независимых случайных величин равна сумме их дисперсий. Замечание 2.5 Заметим, что случайная величина ν − np p n , np(1 − p) появляющаяся в теореме Муавра–Лапласа, есть не что иное как нормированная биномиальная случайная величина, для которой ! ! νn − np νn − np E p = 0, и D p = 1. np(1 − p) np(1 − p) 23 / 31 2 3.Распределение Пуассона ξ ∼ Po(λ) ( λ > 0 — параметр распределения). p0 ξ P
где pk = P ξ = k = Eξ = ∞ X k=0 λk −λ , k! e k pk = ∞ X k=1 1 p1 2 p2 ... ... k = 0, 1, . . . . ∞ X λk−1 λk −λ k e = λe −λ k! (k − 1)! k=1 = λe −λ ∞ X λr r! |r =0{z } = λe −λ e λ = λ =e λ , 24 / 31 2 Eξ 2 = ∞ X k 2 pk = k=0 ∞ X k=1 ∞ X λk−1 −λ λk −λ e =λ k e k! (k − 1)! k=1   k2   ∞ ∞ X λr −λ X λr −λ  λr −λ   r e + =λ (r + 1) e = λ  e  = λ(λ + 1)   r! r! r! r =0 |r =0 {z } |r =0 {z }  ∞ X =Eξ=λ = P∞ k=0 pk =1 2 =λ + λ, 2 2 Dξ = Eξ − (Eξ) = n X k 2 pk − (Eξ)2 = λ2 + λ − λ2 = λ. k=0 Таким образом, у распределения Пуассона Eξ = λ, Dξ = λ. | {z } 25 / 31 2 4. Равномерное распределение в интервале [a, b] (a < b) ξ ∼ U[a,b] вспомним, что распределение с.в. ξ называется равномерным в [a, b], если его плотность ( 1 , x ∈ [a, b]; f (x) = b−a 0, x∈ / [a, b]. Найдем Eξ и Dξ. Для абсолютно непрерывной случайной величины Z ∞ Z x f (x) dx = Eξ = −∞ b x a 1 1 x2 dx = b−a b−a 2 b a = b 2 − a2 a+b = . 2(b − a) 2 Таким образом, математическое ожидание случайной величины ξ совпадает с центральной точкой интервала [a, b]. 26 / 31 2 Чтобы найти дисперсию, воспользуемся формулой Dξ = Eξ 2 − (Eξ)2 . 2 Z ∞ Z 2 x f (x) dx = Eξ = −∞ b x2 a 1 x3 1 dx = b−a b−a 3 a2 + ab + b2 − Dξ = 3  a+b 2 2 = b a = a2 + ab + b2 . 3 (b − a)2 . 12 Таким образом, для равномерного распределения Eξ = a+b , 2 Dξ = (b − a)2 . 12 В частности, для стандартного [0, 1]-равномерного распределения (a = 0, b = 1): 1 1 Eξ = , Dξ = . 2 12 27 / 31 2 5. Экспоненциальное распределение с параметром λ > 0 ξ ∼ Exp(λ), распределение с.в. ξ называется экспоненциальным, если его плотность ( λe −λ x , x > 0; f (x) = 0, x ≤ 0. Найдем математическое ожидание Eξ и дисперсию Dξ. Z ∞ Z ∞ Z ∞ 1 −λ x ∞ −λ x Eξ = x f (x) dx = xλe dx = − λ x e + e −λ x dx λ −∞ | {z } =0 =− 1 −λ x e λ ∞ = 1 , λ где мы использовали интегрирование по частям 28 / 31 2 Теперь найдем дисперсию, используя свойство Dξ = Eξ 2 − (Eξ)2 . Имеем Z ∞ Z ∞ ∞ 1 2 2 Eξ = x f (x) dx = x 2 λe −λ x dx = − λ x 2 e −λ x −∞ | λ {z } =0 Z ∞ Z ∞ 2 2 x λe −λ x dx = 2 . +2 x e −λ x dx = λ 0 λ | {z } =Eξ= λ1 Следовательно, Dξ = Eξ 2 − (Eξ)2 = 2 λ2 − 1 λ2 = 1 . λ2 Таким образом, для экспоненциального распределения мы получаем Eξ = 1 , λ Dξ = 1 . λ2 В частности, для стандартного экспоненциального распределения (когда λ = 1) Eξ = Dξ = 1. 29 / 31 2 6. Стандартное распределение Коши Случайная величина ξ имеет распределение Коши, если его плотность f (x) = 1 , π(1 + x 2 ) ∞ < x < ∞. Попытаемся найти математическое ожидание распределения Коши: Z ∞ Z 1 ∞ x Eξ = x f (x) dx = dx, π 1 + x2 −∞ −∞ но это интеграл не является абсолютно сходящимся. Действительно, |x| поскольку 1+x 2 – четная функция, мы имеем 1 π Z ∞ −∞ |x| 2 dx = 1 + x2 π Z ∞
x 1 2 dx = ln 1 + x 1 + x2 π ∞ =∞ То есть, распределение Коши – это пример распределения, у которого не существует математического ожидания, его дисперсия тем более не определена. 30 / 31 2 Графики плотности и функции распределения Коши 1. Cauchystandarddistributiondensity 2. Cauchvstandarddistributionfunction 31 / 31