Центральна гранична теорема

Центральна гранична теорема — теорема теорії ймовірностей про збіжність розподілу суми незалежних однаково розподілених випадкових величин до нормального розподілу. Ця теорема підкреслює особливість нормального розподілу в теорії ймовірностей.

Наприклад, отримано вибірку, яка містить велику кількість спостережень, кожне з яких було отримано випадковим чином і вони не залежать від інших спостережень, і на основі значень цих спостережень розраховують арифметичне середнє. Якщо цю процедуру повторити багато разів, центральна гранична теорема стверджує, що розраховані середні значення будуть мати нормальний розподіл. Простим прикладом цього є багаторазове підкидання монети при яких імовірність випадіння заданої кількості гербів у всій послідовності подій буде наближатися до нормальної кривої, із середнім, що знаходитиметься по середині від загальної кількості випадань монети на кожну сторону. (Граничне значення для нескінченної кількості підкидань, буде дорівнювати нормальному розподілу.)

Центральна гранична теорема має декілька варіантів. У своїй загальній формі, випадкові величини повинні бути однаково розподілені. У деяких варіантах, збіжність середнього значення прямує до нормального розподілу також і у випадку не однаково розподілених величин, або не лише при незалежних спостереженнях, що буде здійснюватися за умови виконання певних умов.

У перших версіях цієї теореми, нормальний розподіл може використовуватися як апроксимація біноміального розподілу, що відомо як локальна теорема Муавра — Лапласа.

Центральна гранична теорема для незалежних послідовностей

Незалежно від форми розподілу сукупності, розподіл послідовної вибірки прямує до Гаусового розподілу, і його дисперсія визначається центральною граничною теоремою.

Класичне формулювання

Нехай $\{X_{k}\}$ — послідовність взаємно незалежних випадкових величин з однаковими розподілами, які мають скінченне математичне сподівання $\mu =E(X_{k})$ та скінченну дисперсію $\sigma ^{2}=D(X_{k})$.

Нехай $S_{n}=X_{1}+\dots +X_{n}$. Тоді

${\sqrt {n}}\left({\frac {S_{n}}{n}}-\mu \right)\ \xrightarrow {n} \ N(0,\;\sigma ^{2}).$

А для довільних фіксованих $\alpha ,\beta \ (\alpha <\beta )$ справедливо:

$P\left\{\alpha <{\frac {S_{n}-n\mu }{\sigma n^{1/2}}}<\beta \right\}\to \Phi (\beta )-\Phi (\alpha ).$

Де $\Phi (x)$ — нормальна функція розподілу.

Формулювання Ляпунова

Теорема названа на честь російського математика Олександра Ляпунова. У цьому варіанті центральної граничної теореми випадкові величини $X_{i}$ мають бути незалежними, але не обов'язково однаково розподіленими. Теорема також вимагає щоб випадкові величини $|X_{i}|$ мали скінченні моменти деякого порядку (2 + δ) і швидкість зростання цих моментів має бути обмежена умовою Ляпунова.

ЦГТ Ляпунова: Нехай {X_i} — послідовність незалежних випадкових величин, таких, що кожна з них має скінченне математичне сподівання $\displaystyle \mu _{i}$ і дисперсію $\displaystyle \sigma _{i}^{2}$. Позначимо $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$. Якщо для деякого $\delta >0$ виконується умова Ляпунова

$\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum _{i=1}^{n}\operatorname {E} {\big [}\,|X_{i}-\mu _{i}|^{2+\delta }\,{\big ]}=0$

Тоді сума $Z_{n}={\frac {X_{i}-\mu _{i}}{s_{n}}}$ прямує за розподілом до стандартного нормального розподілу, при $n\to \infty$

${\frac {1}{s_{n}}}\sum _{i=1}^{n}(X_{i}-\mu _{i})\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\;1).$

На практиці зазвичай найлегше перевірити умову Ляпунова для $\delta =1$. Якщо послідовність випадкових величин задовольняє умову Ляпунова, то вона задовольняє також умову Лінденберга. Зворотне твердження не правильне.

Формулювання Ліндеберга

Використовуючи ті позначення що й у попередньому параграфі, замінюючи умову Ляпунова на слабшу (запропоновану фінським математиком Ліндебергом у 1920 році) можна отримати нове формулювання центральної граничної теореми.

Якщо для кожного $\varepsilon >0$ виконується

$\lim _{n\to \infty }{\frac {1}{s_{n}^{2}}}\sum _{i=1}^{n}\operatorname {E} {\big [}(X_{i}-\mu _{i})^{2}\cdot \mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}{\big ]}=0$

де $1_{\{\dots \}}$ — характеристична функція. Тоді розподіл стандартизованої суми Z_n прямує до стандартного нормального розподілу N(0,1).

Багатовимірна ЦГТ

Доведемо, що характеристичні функції можна розширити до випадку, коли кожна окрема величина X_i є випадковим вектором у ℝ^k, із вектором середніх значень μ = E(X_i) і матрицею коваріацій Σ (між компонентами вектора), і ці випадкові вектори є незалежними і однаково розподіленими. Сумування цих векторів виконується поелементно. Багатовимірна центральна гранична теорема стверджує, що при масштабуванні, суми збігаються до багатовимірного нормального розподілу.

Припустимо, що

$\mathbf {X} _{i}={\begin{bmatrix}X_{i(1)}\\\vdots \\X_{i(k)}\end{bmatrix}}$

цее k-вимірний вектор. Виділення жирним шрифтом для X_i означає, що це випадковий вектор, а не випадкова (одновимірна) величина. Тоді сума випадкових векторів дорівнюватиме

${\begin{bmatrix}X_{1(1)}\\\vdots \\X_{1(k)}\end{bmatrix}}+{\begin{bmatrix}X_{2(1)}\\\vdots \\X_{2(k)}\end{bmatrix}}+\cdots +{\begin{bmatrix}X_{n(1)}\\\vdots \\X_{n(k)}\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}\left[X_{i(1)}\right]\\\vdots \\\sum _{i=1}^{n}\left[X_{i(k)}\right]\end{bmatrix}}=\sum _{i=1}^{n}\mathbf {X} _{i}$

а середнє дорівнюватиме

${\frac {1}{n}}\sum _{i=1}^{n}\mathbf {X} _{i}={\frac {1}{n}}{\begin{bmatrix}\sum _{i=1}^{n}X_{i(1)}\\\vdots \\\sum _{i=1}^{n}X_{i(k)}\end{bmatrix}}={\begin{bmatrix}{\bar {X}}_{i(1)}\\\vdots \\{\bar {X}}_{i(k)}\end{bmatrix}}=\mathbf {{\bar {X}}_{n}}$

і таким чином

${\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}\left[\mathbf {X} _{i}-\operatorname {E} \left(X_{i}\right)\right]={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}(\mathbf {X} _{i}-{\boldsymbol {\mu }})={\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\right).$

Багатовимірна центральна гранична теорема стверджує, що

${\sqrt {n}}\left({\overline {\mathbf {X} }}_{n}-{\boldsymbol {\mu }}\right)\ {\stackrel {D}{\rightarrow }}\ N_{k}(0,{\boldsymbol {\Sigma }})$

де коваріаційна матриця Σ дорівнює

${\boldsymbol {\Sigma }}={\begin{bmatrix}{\operatorname {Var} \left(X_{1(1)}\right)}&\operatorname {Cov} \left(X_{1(1)},X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(1)},X_{1(3)}\right)&\cdots &\operatorname {Cov} \left(X_{1(1)},X_{1(k)}\right)\\\operatorname {Cov} \left(X_{1(2)},X_{1(1)}\right)&\operatorname {Var} \left(X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(2)},X_{1(3)}\right)&\cdots &\operatorname {Cov} \left(X_{1(2)},X_{1(k)}\right)\\\operatorname {Cov} \left(X_{1(3)},X_{1(1)}\right)&\operatorname {Cov} \left(X_{1(3)},X_{1(2)}\right)&\operatorname {Var} \left(X_{1(3)}\right)&\cdots &\operatorname {Cov} \left(X_{1(3)},X_{1(k)}\right)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\operatorname {Cov} \left(X_{1(k)},X_{1(1)}\right)&\operatorname {Cov} \left(X_{1(k)},X_{1(2)}\right)&\operatorname {Cov} \left(X_{1(k)},X_{1(3)}\right)&\cdots &\operatorname {Var} \left(X_{1(k)}\right)\\\end{bmatrix}}.$

А швидкість збіжності задається наступним результатом Беррі-Ессіна:

Теорема. Нехай $X_{1},\dots ,X_{n}$ незалежні випадкові вектори із області значень $R^{d}$, кожний з яких має нульове середнє. Запишемо $S=\sum _{i=1}^{n}X_{i}$ і припустимо $\Sigma =\operatorname {Cov} [S]$ є зворотньою. Нехай $Z\sim N(0,\Sigma )$ буде $d$-вимірним Гаусовим розподілом із тим самим середнім і коваріаційною матрицею як у $S$. Тоді для всіх опуклих множин $U\subseteq R^{d}$,

$|\Pr[S\in U]-\Pr[Z\in U]|\leq Cd^{1/4}\gamma ,$

де $C$ це універсальна стала, $\gamma =\sum _{i=1}^{n}\operatorname {E} [\|\Sigma ^{-1/2}X_{i}\|_{2}^{3}]$, і $\|\cdot \|_{2}$ позначає Евклідову норму для $R^{d}$.

Не відомо чи множник $d^{1/4}$ є необхідним.

Узагальнена теорема

Центральна гранична теорема стверджує, що сума деякої кількості незалежних і однаково розподілених випадкових величин із скінченною дисперсією буде прямувати до нормального розподілу із збільшенням кількості цих величин. Узагальнена її версія, яку запропонували Гнєденко і Колмогоров стверджує, що сума деякої кількості випадкових величин із розподілами, що мають хвіст, який відповідає степеневому закону (Хвіст розподілу Парето), зменшується як |x|^{−α − 1} де 0 < α < 2 (і таким чином має нескінченну дисперсію) буде прямувати до стійкого розподілу f(x;α,0,c,0) із тим як кількість елементів суми збільшується. Якщо α > 2, тоді сума збігається до стійкого розподілу із параметром стабільності який дорівнює 2, тобто Гауссового розподілу.

Доведення класичної ЦГТ

Центральна гранична теорема має просте доведення за допомогою характеристичних функцій. Воно подібне до доведення (слабкого) закону великих чисел.

Припустимо {X₁, …, X_n} є незалежними і однаково розподіленими випадковими величинами, кожна з яких має середнє µ і скінченну дисперсію σ². Сума X₁ + … + X_n має середнє nµ і дисперсію nσ². Розглянемо випадкову величину

$Z_{n}\ =\ {\frac {X_{1}+\cdots +X_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}\ =\ \sum _{i=1}^{n}{\frac {X_{i}-\mu }{\sqrt {n\sigma ^{2}}}}\ =\ \sum _{i=1}^{n}{\frac {1}{\sqrt {n}}}Y_{i},$

де в останньому кроці ми визначили нові випадкові величини Y_i = X_i − μσ, кожна з яких має нульове середнє і одиничну дисперсію (var(Y) = 1). Характеристична функція для Z_n має вигляд

$\varphi _{Z_{n}}\!(t)\ =\ \varphi _{\sum _{i=1}^{n}{{\frac {1}{\sqrt {n}}}Y_{i}}}\!(t)\ =\ \varphi _{Y_{1}}\!\!\left({\frac {t}{\sqrt {n}}}\right)\varphi _{Y_{2}}\!\!\left({\frac {t}{\sqrt {n}}}\right)\cdots \varphi _{Y_{n}}\!\!\left({\frac {t}{\sqrt {n}}}\right)\ =\ \left[\varphi _{Y_{1}}\!\!\left({\frac {t}{\sqrt {n}}}\right)\right]^{n},$

Де в останньому кроці ми застосували факт, що всі Y_i однаково розподілені. Відповідно до теореми Тейлора характеристична функція для Y₁ матиме вигляд,

$\varphi _{Y_{1}}\!\!\left({\frac {t}{\sqrt {n}}}\right)\ =\ 1-{\frac {t^{2}}{2n}}+o\!\!\left({\frac {t^{2}}{n}}\right),\quad {\bigg (}{\frac {t}{\sqrt {n}}}{\bigg )}\rightarrow 0$

де o(t²) є "нотацією маленького o" для деякої функції від t, яка прямує до нуля набагато швидше ніж t². Відповідно до границі показникової функції (e^x= lim(1 + xn)ⁿ), характеристична функція для Z_n дорівнює

$\varphi _{Z_{n}}(t)=\left(1-{\frac {t^{2}}{2n}}+o\left({\frac {t^{2}}{n}}\right)\right)^{n}\rightarrow e^{-{\frac {1}{2}}t^{2}},\quad n\rightarrow \infty .$

Зауважимо, що всі терми старшого порядку в даному виразі зникають при границі де n → ∞. Права сторона виразу дорівнює характеристичній функції стандартного нормального розподілу N(0,1), із чого разом із теоремою Леві про неперервність випливає, що розподіл Z_n буде наближатися до N(0,1) з тим як n → ∞. Таким чином, сума X₁ + … + X_n буде наближатися до нормального розподілу N(nµ,nσ²), і значення вибіркового середнього

$S_{n}={\frac {X_{1}+\cdots +X_{n}}{n}}$

збігається до нормального розподілу N(µ,σ²n), з чого випливає центральна гранична теорема.

Застосування і приклади

Простий приклад

Малюнок ілюструє центральну граничну теорему. Вибіркові середні генеруються за допомогою генератора випадкових чисел, який видає числа у діапазоні значень від 0 до 100, що мають рівномірний розподіл імовірностей. Він показує, що при збільшенні розмірів вибірки результатів до 500 виміряних вибіркових середніх отримане середнє значення стає ближчим до середнього значення сукупності (50 в даному випадку). На малюнку також порівнюються розподіли що спостерігаються із розподілами, які були б очікувані для нормалізованого розподілу Гаусса, і показує значення критерію Хі-квадрат, які дають якісну оцінку збігу (збіг буде добрим якщо значення Хі-квадрат є меншим або близьким до одиниці). Входом до нормалізованої функції Гаусса є середнє значення вибіркових середніх (~50) і стандартне відхилення вибіркового середнього розділене на квадратний корінь від розміру вибірки (~28.87/√n), що називається стандартним відхиленням середнього (оскільки воно означає розмах значень вибіркового середнього).

Простим прикладом центральної граничною теореми є підкидання великої кількості ідентичних гральних кісток. Розподіл суми (або середнього) від тих чисел що випадуть буде добре апроксимуватися за допомогою нормального розподілу. Оскільки величини реального світу часто є збалансованою сумою багатьох неспостережувальних випадкових подій, центральна гранична теорема також частково пояснює те, що нормальний розподіл зустрічається досить часто. Вона також виправдовує застосування апроксимації для великих статистичних вибірок до нормального розподілу у контрольованих експериментах.

Порівняння функцій густини імовірностей, **p(k) для суми із n справжніх 6-граних гральних кісток, що показує їх наближення до нормального розподілу при збільшенні n, що відповідає центральній граничній теоремі. У нижньому-правому графіку, згладжені профілі попередніх графіків масштабовано, накладено поверх і порівняно із нормальним розподілом (чорна крива).

Інша симуляція із використанням біноміального розподілу. Було згенеровано випадкові 0-і та 1-і, а потім їх середнє розраховано для різних розмірів вибірки від 1 до 512. Можна помітити, як із збільшенням розміру вибірки хвости стають тоншими, а розподілення значень все більше концентруються довкола середнього.

Типові застосування з реального життя

У літературі можна знайти велику кількість корисних і цікавих прикладів застосувань, пов'язаних із центральною граничною теоремою. Одним із таких прикладів є наступні ситуації:

• Розподіл імовірності загальної пройденої відстані у випадковому блуканні (зміщеної або незміщеної) буде прямувати до нормального розподілу.
• Підкидання великої кількості монет буде мати нормальний розподіл для загальної кількості випадання аверсів (або реверсів).

З іншої точки зору, центральна гранична теорема пояснює common appearance "дзвоноподібної кривої" при оцінках функції густини застосованих до даних реального світу. В таких випадках як електричний шум, екзаменаційні оцінки, і так далі, ми часто можемо розглядати одне конкретне вимірюване значення як зважене середнє великої кількості малих випадкових впливів. Використавши узагальнення центральної граничної теореми, ми можемо побачити, що дуже часто (хоча не завжди) це утворюватиме в результаті розподіл, що наближений до нормального.

В загальному розумінні, чим більше вимірювання є подібним до суми випадкових величин із однаковим впливом на результат, тим ближче воно буде до нормального розподілу. Це обґрунтовує поширене використання цього розподілу як такого, що відповідає впливам неспостережувальних змінних у моделях, таких як лінійні моделі.

Див. також

• Закон великих чисел.

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Billingsley, Patrick (1995), Probability and Measure (вид. 3), John Wiley & sons, ISBN 0-471-00710-2(англ.)