Математическое ожидание случайной величины. Часть 2. Нормальное распределение

Национальный Исследовательский Университет Высшая Школа Экономики. (Департамент Математики) Грибкова Надежда Викторовна Теория Вероятностей и Математическая Статистика (лекция 9) Санкт-Петербург, 2021 1 / 29 2 4. Равномерное распределение в интервале [a, b] (a < b) ξ ∼ U[a,b] вспомним, что распределение с.в. ξ называется равномерным в [a, b], если его плотность ( 1 , x ∈ [a, b]; f (x) = b−a 0, x∈ / [a, b]. Найдем Eξ и Dξ. Для абсолютно непрерывной случайной величины Z ∞ Z x f (x) dx = Eξ = −∞ b x a 1 1 x2 dx = b−a b−a 2 b a = b 2 − a2 a+b = . 2(b − a) 2 Таким образом, математическое ожидание случайной величины ξ совпадает с центральной точкой интервала [a, b]. 2 / 29 2 Чтобы найти дисперсию, воспользуемся формулой Dξ = Eξ 2 − (Eξ)2 . 2 Z ∞ Z 2 x f (x) dx = Eξ = −∞ b x2 a 1 x3 1 dx = b−a b−a 3 a2 + ab + b2 − Dξ = 3  a+b 2 2 = b a = a2 + ab + b2 . 3 (b − a)2 . 12 Таким образом, для равномерного распределения Eξ = a+b , 2 Dξ = (b − a)2 . 12 В частности, для стандартного [0, 1]-равномерного распределения (a = 0, b = 1): 1 1 Eξ = , Dξ = . 2 12 3 / 29 2 5. Экспоненциальное распределение с параметром λ > 0 ξ ∼ Exp(λ), распределение с.в. ξ называется экспоненциальным, если его плотность ( λe −λ x , x > 0; f (x) = 0, x ≤ 0. Найдем математическое ожидание Eξ и дисперсию Dξ. Z ∞ Z ∞ Z ∞ 1 −λ x ∞ −λ x Eξ = x f (x) dx = xλe dx = − λ x e + e −λ x dx λ −∞ | {z } =0 =− 1 −λ x e λ ∞ = 1 , λ где мы использовали интегрирование по частям 4 / 29 2 Теперь найдем дисперсию, используя свойство Dξ = Eξ 2 − (Eξ)2 . Имеем Z ∞ Z ∞ ∞ 1 2 2 Eξ = x f (x) dx = x 2 λe −λ x dx = − λ x 2 e −λ x −∞ | λ {z } =0 Z ∞ Z ∞ 2 2 x λe −λ x dx = 2 . +2 x e −λ x dx = λ 0 λ | {z } =Eξ= λ1 Следовательно, Dξ = Eξ 2 − (Eξ)2 = 2 λ2 − 1 λ2 = 1 . λ2 Таким образом, для экспоненциального распределения мы получаем Eξ = 1 , λ Dξ = 1 . λ2 В частности, для стандартного экспоненциального распределения (когда λ = 1) Eξ = Dξ = 1. 5 / 29 2 6. Стандартное распределение Коши Случайная величина ξ имеет распределение Коши, если его плотность f (x) = 1 , π(1 + x 2 ) ∞ < x < ∞. Попытаемся найти математическое ожидание распределения Коши: Z ∞ Z 1 ∞ x Eξ = x f (x) dx = dx, π 1 + x2 −∞ −∞ но это интеграл не является абсолютно сходящимся. Действительно, |x| поскольку 1+x 2 – четная функция, мы имеем 1 π Z ∞ −∞ |x| 2 dx = 1 + x2 π Z ∞
x 1 2 dx = ln 1 + x 1 + x2 π ∞ =∞ То есть, распределение Коши – это пример распределения, у которого не существует математического ожидания, его дисперсия тем более не определена. 6 / 29 2 Графики плотности и функции распределения Коши 1. Cauchystandarddistributiondensity 2. Cauchvstandarddistributionfunction 7 / 29 2 §2.11 Нормальное распределение 7. Нормальное (гауссовское) распределение с параметрами µ ∈ R и σ2 > 0 ξ ∼ N (µ, σ 2 ). Вспомним, что распределение с.в. ξ называется нормальным (или гауссовским), если оно имеет плотность f (x) = √ (x−µ)2 1 e − 2σ2 2πσ Если µ = 0 и σ = 1, распределение с.в. ξ называется стандартным нормальным распределением. 2 В последнем случае f (x) = x √1 e − 2 2π = ϕ(x) — функция Гаусса. Функция распределения стандартного нормального закона Z x F (x) = ϕ(t) dt = Φ(x) — интегральная функция Гаусса. −∞ 8 / 29 2 Графики плотности и функции распределения нормального закона f (x) = √ (x−µ)2 1 e − 2σ2 , 2πσ Z x F (x) = f (t) dt −∞ 9 / 29 2 N (µ, σ 2 ). Пусть ξ ∼ Прежде чем вычислять E(ξ) и D(ξ), рассмотрим вспомогательную случайную величину ξ0 = ξ−µ σ и найдем ее функцию распределения, используя то факт, что для нормально распределенной случайной величины ξ ∼ N (µ, σ 2 ) x − µ
Fξ (x) = P ξ < x = Φ . σ (8) (9) Мы имеем ξ − µ 

< x = P ξ < µ+σx Fξ0 (x) = P ξ 0 < x = P σ + σ x −µ  µ | {z } (9) = Fξ (µ + σ x ) = Φ = Φ(x). | {z } σ То есть, ξ 0 имеет стандартное нормальное распределение с функцией распределения Φ(x). 10 / 29 2 Теперь заметим, что в виду (8), ξ = µ + σ ξ0. Следовательно, по свойствам математического ожидания и дисперсии, мы имеем Eξ = E(µ + σ ξ 0 ) = µ + σ Eξ 0 ; D(ξ) = D(µ + σ ξ 0 ) = σ 2 D(ξ 0 ) Остается вычислить Eξ 0 и D(ξ 0 ). Z ∞ Z ∞ x2 1 x e − 2 dx = 0, Eξ = x ϕ(x) dx = √ 2π −∞ −∞ поскольку подынтегральная функция нечетная. Следовательно, Eξ = µ (в силу вышеприведенных соотношений). Теперь найдем D(ξ 0 ) – дисперсию с.в. ξ 0 . 11 / 29 2 1 Dξ 0 = E(ξ 0 )2 − (Eξ 0 )2 = E(ξ 0 )2 = √ | {z } 2π =0 Z ∞ x 2 e− x2 2 dx −∞ Z ∞ x2 2 x 2 e − 2 dx, =√ 2π 0 где последнее равенство следует из того, что подынтегральная функция четная. Используя теперь интегрирование по частям, находим, что правая часть равна Z ∞ Z ∞ 2 ∞ 2 x2 2 1 2 − x2 − x2 −√ x e e dx = √ e − 2 dx = 1, +√ 2π 2π 0 2π −∞ | {z } =0 x2 где последнее равенство имеет место, поскольку √12π e − 2 = ϕ(x) – это плотность стандартного нормального распределения, а интеграл от плотности всегда равен 1. Следовательно, мы получаем Dξ = σ 2 выше соотношений). (вытекает из приведенных 12 / 29 2 Правило "3-сигма" Таким образом, мы выяснили смысл параметров нормального закона распределения ξ ∼ N (µ, σ 2 ): µ = Eξ, σ 2 = D(ξ) p и σ = D(ξ) – стандартное (среднее квадратичное) отклонение. Доказательство.
P µ − 3 σ ≤ ξ ≤ µ + 3 σ = Fξ (µ + 3 σ) − Fξ (µ − 3 σ)     µ + 3σ − µ µ − 3σ − µ (9) =Φ −Φ = Φ(3) − Φ(−3) σ σ =2Φ(3) − 1 ≈ 0.9973 Вероятность 0.9973 называется вероятностью практической достоверности (надежности). 13 / 29 2 Правило "68-95-99.7" Правило «68-95-99.7» . Пусть ξ ∼ N (µ, σ 2 ). Тогда имеем
P µ − 1 σ ≤ ξ ≤ µ + 1 σ ≈ 0.6827.
P µ − 2 σ ≤ ξ ≤ µ + 2 σ ≈ 0.9545.
P µ − 3 σ ≤ ξ ≤ µ + 3 σ ≈ 0.9973. Доказательство. Доказательство аналогично. Фиксируем произвольное t > 0, тогда имеем
P µ − t σ ≤ ξ ≤ µ + t σ = Fξ (µ + t σ) − Fξ (µ − t σ)     µ+tσ−µ µ−tσ−µ (9) =Φ −Φ = Φ(t) − Φ(−t) σ σ =2Φ(t) − 1. Для t = 1 получаем ≈ 0.6827, для t = 2 получаем ≈ 0.9545, для t = 3 получаем ≈ 0.9973. 14 / 29 2 §2.12 Моменты случайных величин
Пусть Ω, A, P — вероятностное пространство, ξ — заданная на нем случайная величина, k ≥ 0 — целое неотрицательное число. Определение 2.1 Моментом k-го порядка случайной величины ξ называется число αk = Eξ k , если это число существует (в частности, при k = 1 имеем α1 = Eξ). Определение 2.2 Если Eξ существует, то величина βk = E(ξ − Eξ)k , называется центральным моментом k-го порядка с.в.ξ, если это число существует (в частности, β1 = 0, β2 = Dξ). 15 / 29 2 Определение 2.3 Величина ak = E|ξ|k , называется абсолютным моментом k-го порядка случайной величины ξ (если это число существует). Определение 2.4 Величина bk = E|ξ − Eξ|k , называется абсолютным центральным моментом k-го порядка случайной величины ξ (если это число существует). При фиксированном k ∈ N величины αk , βk , ak , bk либо все существуют одновременно, либо не существуют. 16 / 29 2 Свойства моментов Общие свойства моментов Пусть ξ, η обозначают случайные величины, определенные на одном и том же вероятностном пространстве 10 . Пусть существует αn = Eξ n , тогда существует αk = Eξ k для любого 0 ≤ k ≤ n. Доказательство следует из элементарного неравенства: для любого x ∈R |x|k < |x|n + 1, k ≤ n =⇒ E|ξ|k < E|ξ|n + 1 20 . Если 0 < k ≤ n, то
1/k
1/n E|ξ|k ≤ E|ξ|n неравенство Ляпунова. 30 . E|ξη| ≤ E|ξ|2
1/2 E|η|2
1/2 неравенство Коши–Буняковского. Свойства 20 .–30 . вытекают из свойств интегралов (сумм). 17 / 29 2 Параметры асимметрии и эксцесса Предположим, что дисперсия D(ξ) с.в. ξ строго > 0 и конечна. Рассмотрим нормированную случайную величину ξ0 = ξ−Eξ σξ , где p σξ = D(ξ). Определение 2.5 Пусть α3 = Eξ 3 существует. Тогда безразмерная величина Aξ = Eξ03  =E ξ − Eξ σξ 3 = E (ξ − Eξ)3 σξ3 называется параметром асимметрии распределения с.в. ξ. Параметр Aξ характеризует симметрию распределения по отношению к центру (математическому ожиданию). Для симметричных распределений параметр асимметрии равен 0 (например, у нормального распределения, у равномерного распределения и т.п.). Если асимметрия вправо, то Aξ > 0, если влево, то Aξ < 0. 18 / 29 2 Определение 2.6 Предположим, что α4 = Eξ 4 существует. Тогда безразмерная величина Eξ = Eξ04  −3=E ξ − Eξ σξ 4 −3= E (ξ − Eξ)4 E (ξ − Eξ)4 − 3 = −3 [D(ξ)]2 σξ4 называется параметром эксцесса распределения. Параметр Eξ характеризует степень «островершинности» плотности распределения по отношению к плотности нормального закона. Для любого нормального распределения Eξ = 0. Если плотность имеет более «острую» вершину, чем плотность нормального закона, то Eξ > 0. Если более «пологую», чем у нормального закона, то Eξ < 0 19 / 29 2 l. Asymmetry 2. Excess 20 / 29 2 § 2.13 Ковариация и коэффициент корреляции Пусть ξ и η –= две случайные величины, определенные на одном и том же вероятностном пространстве и имеющие  конечные дисперсии  D(ξ), D(η) < ∞. Напомним, что cov (ξ, η) = E (ξ − Eξ)(η − Eη) . Свойства ковариации 10 . cov (ξ, ξ) = D(ξ). Следует непосредственно из определения дисперсии и ковариации. 20 . Если ξ и η — независимые с.в., то cov (ξ, η) = 0. Это было доказано в §2.9. 30 . cov (ξ, η) = E(ξ · η) − E(ξ) · E(η). Доказательство:     cov (ξ, η) = E (ξ − Eξ)(η − Eη) = E ξ · η − ξ · Eη − η · Eξ + Eξ · Eη) .
= E ξ · η − Eξ · Eη − Eη · Eξ + Eξ · Eη) = E(ξ · η) − E(ξ) · E(η). 21 / 29 2 40 . cov (a · ξ + b, η) = a · cov (ξ, η), для любых a, b ∈ R. Доказательство. 

 

 cov (a·ξ +b, η) = E aξ +b−E(aξ +b) η−Eη = E aξ −aEξ η−Eη 

 = a · E ξ − Eξ η − Eη = a · cov (ξ, η). 50 . cov (ξ + η, ζ) = cov (ξ, ζ) + cov (η, ζ), для любых с.в. ξ, η, ζ. Доказательство.  30  cov (ξ +η, ζ) = E (ξ +η)·ζ −E(ξ +η)·Eζ = E(ξζ)+E(ηζ)−EξEζ −EηEζ 30 = [E(ξζ) − EξEζ] + [E(ηζ) − EηEζ] = cov (ξ, ζ) + cov (η, ζ). 40 , 50 =⇒ cov (a1 ξ1 + a2 ξ2 + b, c1 η1 + c2 η2 + d ) = cov (a1 ξ1 + a2 ξ2 , c1 η1 + c2 η2 ) = a1 c1 cov (ξ1 , η1 ) + a1 c2 cov (ξ1 , η2 ) + a2 c1 cov (ξ2 , η1 ) + a2 c2 cov (ξ2 , η2 ). 22 / 29 2 Определение 2.7 (Коэффициент корреляции) Пусть ξ и η – две случайные величины такие, что 0 < D(ξ), D(η) < ∞. Тогда величина (число), определенная равенством cov (ξ, η) cov (ξ, η) p = ρ(ξ, η) = p σξ · ση D(ξ) D(η) (1) называется коэффициентом корреляции. Отметим, что поскольку cov (ξ, ξ) = D(ξ) и cov (−ξ, ξ) = − D(ξ) (см свойства ковариации 10 , 40 и формулу (1)), мы всегда имеем ρ(ξ, ξ) = 1, ρ(−ξ, ξ) = −1, Впоследствии мы увидим, что таким образом определенная величина |ρ(ξ, η)| ≤ 1, а также то, что она характеризует степень линейной зависимости двух случайных величин. 23 / 29 2 Утверждение 2.1 Пусть ξ0 = и η. Тогда ξ−Eξ σξ , η0 = η−Eη ση — нормированные случайные величины ξ   ρ(ξ, η) = E ξ0 · η0 Доказательство. Согласно определению 2.7, мы имеем ρ(ξ, η) = h i   E (ξ − Eξ)(η − Eη)   cov (ξ, η) ξ − Eξ η − Eη = = =E · = E ξ0 · η 0 σξ · ση σξ · ση σξ ση 24 / 29 2 Свойства коэффициента корреляции 10 . ρ(ξ, η) = ρ(η, ξ). Следует из определения ковариации и коммутативности умножения. 20 . Если ξ и η независимые с.в., то ρ(ξ, η) = 0. Это следует из того факта, что cov (ξ, η) = 0 (числитель в ). Однако обратное, вообще говоря, неверно. Это показывает, в частности, следующий пример. Пример 2.1 Пусть с.в. ξ имеет абсолютно непрерывное распределение с четной функцией плотности: f (−x) = f (x) для ∀ x ∈ R, причем такое, что E|ξ|3 < ∞. Определим другую с.в. η = ξ 2 . Ясно, R ∞ что η зависит от ξ. Далее, в силу четности f (x) мы имеем Eξ = −∞ x f (x) dx = 0, и 2 3 cov (ξ, η) = E(ξ · η) − E(ξ) ·E(η) = E(ξ · ξ ) = E(ξ ) = |{z} =0 Z ∞ x 3 f (x) dx = 0 −∞ 25 / 29 2 30 . ρ(aξ + ( b, η) = sgn(a)ρ(ξ, η), для любых a, b ∈ R, a 6= 0, где +1, a > 0; sgn(a) = −1, a < 0. Доказательство. a cov (aξ + b, η) a · cov (ξ, η) (1) p = ρ(aξ+b, η) = p =√ ρ(ξ, η). p p |a| D(aξ + b) D(η) a2 · D(ξ) · D(η) Так как a |a| = sgn(a), свойство доказано. 40 . −1 ≤ ρ(ξ, η) ≤ 1 (то есть ρ(ξ, η) ≤ 1). Доказательство. 1/2  ρ(ξ, η) = E ξ0 · η0
≤  Eξ02 · Eη02  |{z} |{z} =1 = 1. =1 Мы применили здесь неравенство Коши – Буняковского. 26 / 29 2 Смысл коэффициента корреляции
50 . ρ(ξ, η) = 1 ⇐⇒ ∃ a 6= 0 и b ∈ R такие, что P ξ = a η + b = 1 Кроме того, если ρ(ξ, η) > 0, то a > 0, и если ρ(ξ, η) < 0, то a < 0 (иначе говоря, a ρ(ξ, η) > 0). Доказательство:
1. "⇒" Вначале рассмотрим случай ρ(ξ, η) = 1, то есть E ξ0 · η0 = 1. Тогда
D ξ0 − η0 = D(ξ0 ) + D(η0 ) − 2 cov (ξ0 , η0 ) = 1 + 1 − 2 = 0,
поскольку cov (ξ0 , η0 ) = E ξ0 · η0 − Eξ0 · Eη0 = 1. | {z } |{z} |{z} =1
=0 =0
D ξ0 − η0 = 0 ⇒
P ξ0 − η0 = C = 1, где C – постоянная, но мы знаем, что E ξ0 − η0 = Eξ0 − Eη0 = 0. Следовательно, C = 0. Отсюда получаем, что 27 / 29 2
P ξ0 = η0 = 1 ⇒  P ξ − Eξ η − Eη = σξ ση Следовательно,   = 1.  
σξ σξ    P ξ = η + Eξ − Eη  = P ξ = a η + b = 1. ση ση   |{z} | {z } = a>0 =b
Пусть теперь ρ(ξ, η) = −1, тогда E ξ0 · η0 = −1, и аналогично находим, что
D ξ0 + η0 = D(ξ0 ) + D(η0 ) + 2 cov (ξ0 , η0 ) = 1 + 1 − 2 = 0,

следовательно, D ξ0 + η0 = 0 ⇒ P ξ0 + η0 = 0 = 1. Отсюда следует, что 28 / 29 2
P ξ0 = −η0 = 1 ⇒  P ξ − Eξ η − Eη = − σξ ση Следовательно,   = 1.  
σξ σξ    P ξ = − η + Eξ + Eη  = P ξ = a η + b = 1. ση ση   | {z } | {z } = a<0 =b 2. "⇐" Теперь
докажем достаточность. Предположим, что P ξ = a η + b = 1 (a 6= 0) и что 0 < D(η) < ∞ (следовательно, 0 < D(ξ) < ∞). Тогда ( +1, a > 0; ρ(ξ, η) = ρ(a η + b, η) = sgn(a)ρ(η, η) = sgn(a) = −1, a < 0. 29 / 29