Відкрити головне меню
CLTBinomConvergence.svg

Центральна гранична теорема — теорема теорії ймовірностей про збіжність розподілу суми незалежних однаково розподілених випадкових величин до нормального розподілу. Ця теорема підкреслює особливість нормального розподілу в теорії ймовірностей.

Наприклад, отримано вибірку, яка містить велику кількість спостережень, кожне з яких було отримано випадковим чином і вони не залежать від інших спостережень, і на основі значень цих спостережень розраховують арифметичне середнє. Якщо цю процедуру повторити багато разів, центральна гранична теорема стверджує, що розраховані середні значення будуть мати нормальний розподіл. Простим прикладом цього є багаторазове підкидання монети при яких імовірність випадіння заданої кількості гербів у всій послідовності подій буде наближатися до нормальної кривої, із середнім, що знаходитиметься по середині від загальної кількості випадань монети на кожну сторону. (Граничне значення для нескінченної кількості підкидань, буде дорівнювати нормальному розподілу.)

Центральна гранична теорема має декілька варіантів. У своїй загальній формі, випадкові величини повинні бути однаково розподілені. У деяких варіантах, збіжність середнього значення прямує до нормального розподілу також і у випадку не однаково розподілених величин, або не лише при незалежних спостереженнях, що буде здійснюватися за умови виконання певних умов.

У перших версіях цієї теореми, нормальний розподіл може використовуватися як апроксимація біноміального розподілу, що відомо як локальна теорема Муавра — Лапласа.

Зміст

Центральна гранична теорема для незалежних послідовностейРедагувати

 
Незалежно від форми розподілу сукупності, розподіл послідовної вибірки прямує до Гаусового розподілу, і його дисперсія визначається центральною граничною теоремою.[1]

Класичне формулюванняРедагувати

Нехай   — послідовність взаємно незалежних випадкових величин з однаковими розподілами.

Та існують скінченні: математичне сподівання   та дисперсія  .

Нехай  . Тоді

 

А для довільних фіксованих   справедливо:

 

Де   — нормальна функція розподілу.[2][3]

Формулювання ЛяпуноваРедагувати

Теорема названа на честь російського математика Олександра Ляпунова. У цьому варіанті центральної граничної теореми випадкові величини   мають бути незалежними, але не обов'язково однаково розподіленими. Теорема також вимагає щоб випадкові величини   мали скінченні моменти деякого порядку (2 + δ) і швидкість зростання цих моментів має бути обмежена умовою Ляпунова.

ЦГТ Ляпунова[4]: Нехай {Xi} — послідовність незалежних випадкових величин, таких, що кожна з них має скінченне математичне сподівання   і дисперсію  . Позначимо  . Якщо для деякого   виконується умова Ляпунова

 

Тоді сума   прямує за розподілом до стандартного нормального розподілу, при  

 

На практиці зазвичай найлегше перевірити умову Ляпунова для  . Якщо послідовність випадкових величин задовольняє умову Ляпунова, то вона задовольняє також умову Лінденберга. Зворотне твердження не правильне.

Формулювання ЛіндебергаРедагувати

Докладніше: Умова Ліндеберга

Використовуючи ті позначення що й у попередньому параграфі, замінюючи умову Ляпунова на слабшу (запропоновану фінським математиком Ліндебергом у 1920 році) можна отримати нове формулювання центральної граничної теореми.

Якщо для кожного   виконується
 
де  характеристична функція. Тоді розподіл стандартизованої суми Zn прямує до стандартного нормального розподілу N(0,1).

Багатовимірна ЦГТРедагувати

Доведемо, що характеристичні функції можна розширити до випадку, коли кожна окрема величина Xi є випадковим вектором у k, із вектором середніх значень μ = E(Xi) і матрицею коваріацій Σ (між компонентами вектора), і ці випадкові вектори є незалежними і однаково розподіленими. Сумування цих векторів виконується поелементно. Багатовимірна центральна гранична теорема стверджує, що при масштабуванні, суми збігаються до багатовимірного нормального розподілу.[5]

Припустимо, що

 

цеe k-вимірний вектор. Виділення жирним шрифтом для Xi означає, що це випадковий вектор, а не випадкова (одновимірна) величина. Тоді сума випадкових векторів дорівнюватиме

 

а середнє дорівнюватиме

 

і таким чином

 

Багатовимірна центральна гранична теорема стверджує, що

 

де коваріаційна матриця Σ дорівнює

 

А швидкість збіжності задається наступним результатом Беррі-Ессіна[en]:

Теорема.[6] Нехай   незалежні випадкові вектори із області значень  , кожний з яких має нульове середнє. Запишемо   і припустимо   є зворотньою. Нехай   буде  -вимірним Гаусовим розподілом із тим самим середнім і коваріаційною матрицею як у  . Тоді для всіх опуклих множин  ,

 

де   це універсальна стала,  , і   позначає Евклідову норму для  .

Не відомо чи множник   є необхідним.[7]


Узагальнена теоремаРедагувати

Центральна гранична теорема стверджує, що сума деякої кількості незалежних і однаково розподілених випадкових величин із скінченною дисперсією буде прямувати до нормального розподілу із збільшенням кількості цих величин. Узагальнена її версія, яку запропонували Гнєденко і Колмогоров стверджує, що сума деякої кількості випадкових величин із розподілами, що мають хвіст, який відповідає степеневому закону (Хвіст розподілу Парето), зменшується як |x|α − 1 де 0 < α < 2 (і таким чином має нескінченну дисперсію) буде прямувати до стійкого розподілу f(x;α,0,c,0) із тим як кількість елементів суми збільшується.[8][9] Якщо α > 2, тоді сума збігається до стійкого розподілу із параметром стабільності який дорівнює 2, тобто Гауссового розподілу.[10]

Доведення класичної ЦГТРедагувати

Центральна гранична теорема має просте доведення за допомогою характеристичних функцій.[11] Воно подібне до доведення (слабкого) закону великих чисел.

Припустимо {X1, …, Xn} є незалежними і однаково розподіленими випадковими величинами, кожна з яких має середнє µ і скінченну дисперсію σ2. Сума X1 + … + Xn має середнє і дисперсію 2. Розглянемо випадкову величину

 

де в останньому кроці ми визначили нові випадкові величини Yi = Xiμσ, кожна з яких має нульове середнє і одиничну дисперсію (var(Y) = 1). Характеристична функція для Zn має вигляд

 

Де в останньому кроці ми застосували факт, що всі Yi однаково розподілені. Відповідно до теореми Тейлора характеристична функція для Y1 матиме вигляд,

 

де o(t2) є "нотацією маленького o" для деякої функції від t, яка прямує до нуля набагато швидше ніж t2. Відповідно до границі показникової функції (ex= lim(1 + xn)n), характеристична функція для Zn дорівнює

 

Зауважимо, що всі терми старшого порядку в даному виразі зникають при границі де n → ∞. Права сторона виразу дорівнює характеристичній функції стандартного нормального розподілу N(0,1), із чого разом із теоремою Леві про неперервність[en] випливає, що розподіл Zn буде наближатися до N(0,1) з тим як n → ∞. Таким чином, сума X1 + … + Xn буде наближатися до нормального розподілу N(,2), і значення вибіркового середнього

 

збігається до нормального розподілу N(µ,σ2n), з чого випливає центральна гранична теорема.

Застосування і прикладиРедагувати

Простий прикладРедагувати

 
Малюнок ілюструє центральну граничну теорему. Вибіркові середні генеруються за допомогою генератора випадкових чисел, який видає числа у діапазоні значень від 0 до 100, що мають рівномірний розподіл імовірностей. Він показує, що при збільшенні розмірів вибірки результатів до 500 виміряних вибіркових середніх отримане середнє значення стає ближчим до середнього значення сукупності (50 в даному випадку). На малюнку також порівнюються розподіли що спостерігаються із розподілами, які були б очікувані для нормалізованого розподілу Гаусса, і показує значення критерію Хі-квадрат, які дають якісну оцінку збігу (збіг буде добрим якщо значення Хі-квадрат є меншим або близьким до одиниці). Входом до нормалізованої функції Гаусса є середнє значення вибіркових середніх (~50) і стандартне відхилення вибіркового середнього розділене на квадратний корінь від розміру вибірки (~28.87/n), що називається стандартним відхиленням середнього (оскільки воно означає розмах значень вибіркового середнього).

Простим прикладом центральної граничною теореми є підкидання великої кількості ідентичних гральних кісток. Розподіл суми (або середнього) від тих чисел що випадуть буде добре апроксимуватися за допомогою нормального розподілу. Оскільки величини реального світу часто є збалансованою сумою багатьох неспостережувальних випадкових подій, центральна гранична теорема також частково пояснює те, що нормальний розподіл зустрічається досить часто. Вона також виправдовує застосування апроксимації для великих статистичних вибірок до нормального розподілу у контрольованих експериментах.

 
Порівняння функцій густини імовірностей, **p(k) для суми із n справжніх 6-граних гральних кісток, що показує іх наближення до нормального розподілу при збільшенні n, що відповідає центральній граничній теоремі. У нижньому-правому графіку, згладжені профілі попередніх графіків масштабовано, накладено поверх і порівняно із нормальним розподілом (чорна крива).
 
Інша симуляція із використанням біноміального розподілу. Було згенеровано випадкові 0-і та 1-і, а потім їх середнє розраховано для різних розмірів вибірки від 1 до 512. Можна помітити, як із збільшенням розміру вибірки хвости стають тоншими, а розподілення значень все більше концентруються довкола середнього.

Типові застосування з реального життяРедагувати

У літературі можна знайти велику кількість корисних і цікавих прикладів застосувань, пов'язаних із центральною граничною теоремою.[12] Одним із таких прикладів[13] є наступні ситуації:

  • Розподіл імовірності загальної пройденої відстані у випадковому блуканні (зміщеної або незміщеної) буде прямувати до нормального розподілу.
  • Підкидання великої кількості монет буде мати нормальний розподіл для загальної кількості випадання аверсів (або реверсів).

З іншої точки зору, центральна гранична теорема пояснює common appearance "дзвоноподібної кривої" при оцінках функції густини застосованих до даних реального світу. В таких випадках як електричний шум, екзаменаційні оцінки, і так далі, ми часто можемо розглядати одне конкретне вимірюване значення як зважене середнє великої кількості малих випадкових впливів. Використавши узагальнення центральної граничної теореми, ми можемо побачити, що дуже часто (хоча не завжди) це утворюватиме в результаті розподіл, що наближений до нормального.

В загальному розумінні, чим більше вимірювання є подібним до суми випадкових величин із однаковим впливом на результат, тим ближче воно буде до нормального розподілу. Це обґрунтовує поширене використання цього розподілу як такого, що відповідає впливам неспостережувальних змінних у моделях, таких як лінійні моделі[en].

Дивіться такожРедагувати

ПриміткиРедагувати

  1. Rouaud, Mathieu (2013). Probability, Statistics and Estimation. с. 10. 
  2. В. Феллер (1964). Введение в теорию вероятностей и ее приложения, т. 1. М.: Мир. с. 249. 
  3. J. W. Lindeberg. Eine neue Herleitung des Exponentialgesetzes in der Warscheinlichkeitsrechnung // Mathematische Zeitschrift. — 1922. — Т. 15. — С. 211-225.
  4. Billingsley, (1995, с. 362)
  5. Van der Vaart, A. W. (1998). Asymptotic statistics. New York: Cambridge University Press. ISBN 978-0-521-49603-2. LCCN 98015176. 
  6. Ryan O’Donnell (2014, Theorem 5.38) http://www.contrib.andrew.cmu.edu/~ryanod/?p=866
  7. Bentkus, V. (2005). A Lyapunov-type Bound in  . Theory Probab. Appl. 49 (2): 311–323. doi:10.1137/S0040585X97981123. 
  8. Voit, Johannes (2003). Section 5.4.3. The Statistical Mechanics of Financial Markets. Texts and Monographs in Physics. Springer-Verlag. ISBN 3-540-00978-7. 
  9. Gnedenko, B. V.; Kolmogorov, A. N. (1954). Limit distributions for sums of independent random variables. Cambridge: Addison-Wesley. 
  10. Uchaikin, Vladimir V.; Zolotarev, V. M. (1999). Chance and stability: stable distributions and their applications. VSP. с. 61–62. ISBN 90-6764-301-7. 
  11. An Introduction to Stochastic Processes in Physics. jhupbooks.press.jhu.edu. Процитовано 2016-08-11. 
  12. Dinov, Christou & Sánchez (2008)
  13. SOCR EduMaterials Activities GCLT Applications - Socr. Wiki.stat.ucla.edu. 2010-05-24. Процитовано 2017-01-23. 

ЛітератураРедагувати

  • Billingsley, Patrick (1995). Probability and Measure (вид. 3). John Wiley & sons. ISBN 0-471-00710-2. (англ.)