Багатовимірний нормальний розподіл

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами. Відповідно до одного із визначень стверджують, що вектор випадкових величин має k-варіативний нормальний розподіл якщо кожна лінійна комбінація його k компонент має одновимірний нормальний розподіл. В основному його важливість випливає із узагальнення центральної граничної теореми для багатьох вимірів. Багатовимірний нормальний розподіл часто використовують аби описати, принаймні наближено, будь-яку множину (можливо) корельованих випадкових величин із дійсними значенням, кожна з яких скупчується довкола середнього значення.

Багатовимірний нормальний розподіл
Множина точок, що представляють елементарні події багатовимірного нормального розподілу із ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ і ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, разом з якими показано еліпс розміром в 3-сігми, два маргінальні розподіли і дві 1-вимірні гістограми.
Параметри	μ ∈ Rk — коефіцієнт зсуву Σ ∈ Rk×k — коваріаційна матриця (додатноозначена матриця)
Носій функції	x ∈ μ + span(Σ) ⊆ Rk
Розподіл імовірностей	$\operatorname {det} (2\pi {\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})'{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},$ існує лише за умови, що Σ є додатньоозначена матриця
Функція розподілу ймовірностей (cdf)	(не має аналітичного виразу)
Середнє	μ
Мода	μ
Дисперсія	Σ
Ентропія	${\frac {1}{2}}\ln \operatorname {det} \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)$
Твірна функція моментів (mgf)	$\exp \!{\Big (}{\boldsymbol {\mu }}'\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
Характеристична функція	$\exp \!{\Big (}i{\boldsymbol {\mu }}'\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} '{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$

Позначення і параметризація

Багатовимірний нормальний розподіл k-вимірного вектору випадкових величин X = [X₁, X₂, …, X_k]^T може записуватися у формі наступної нотації:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

або із метою явно зазначити, що X є k-вимірним:

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

із k-вимірним вектором середніх значень

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=[\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]]^{\rm {T}},$

і матрицею коваріацій $k\times k$

${\boldsymbol {\Sigma }}=:\operatorname {E} [(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\rm {T}}]=[\operatorname {Cov} [X_{i},X_{j}];1\leq i,j\leq k].$

Визначення

Випадковий вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }:\Omega \to \mathbb {R} ^{n}$ має багатомірний нормальний розподіл, якщо виконується одне з наступних еквівалентних умов:

• Довільна лінійна комбінація компонентів вектора $\sum \limits _{i=1}^{n}a_{i}X_{i}$ має нормальний розподіл є константою.
• Існує вектор незалежних стандартних нормальних випадкових величин $\mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\top }$, дійсний вектор $\mathbf {\mu } =(\mu _{1},\ldots ,\mu _{n})^{\top }$ і матриця $\mathbf {A}$ розмірності $n\times m$, такі що:

$\mathbf {X} =\mathbf {A} \mathbf {Z} +\mathbf {\mu }$.

• Існує вектор $\mathbf {\mu } \in \mathbb {R} ^{n}$ і додатньо визначена симетрична матриця $\mathbf {\Sigma }$ розмірності $n\times n$, такі що характеристична функція вектора $\mathbf {X}$ має вид:

$\phi _{\mathbf {X} }(\mathbf {u} )=e^{i\mathbf {\mu } ^{\top }\mathbf {u} -{\frac {1}{2}}\mathbf {u} ^{\top }\Sigma \mathbf {u} },\;\mathbf {u} \in \mathbb {R} ^{n}$.

Зауваження

• Якщо розглядати тільки розподілу з невиродженою коваріаційною матрицею, то еквівалентним буде також наступне визначення:

Існує вектор $\mathbf {\mu } \in \mathbb {R} ^{n}$ і додатно визначена симетрична матриця $\mathbf {\Sigma }$ розмірності $n\times n$, такі що щільність ймовірності вектора $\mathbf {X}$ має вид:

$f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{(2\pi )^{n/2}\vert \Sigma \vert ^{1/2}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\top }\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )},\;\mathbf {x} \in \mathbb {R} ^{n}$,

де $\vert \Sigma \vert$ — визначник матриці $\Sigma$, а $\Sigma ^{-1}$ — матриця зворотна до $\Sigma$

• Вектор $\mathbf {\mu }$ є вектором середніх значень $\mathbf {X}$, а $\Sigma$ — його коваріаційна матриця
• У випадку $n=1$, багатовимірний нормальний розподіл зводиться до звичайного нормального розподілу.
• Якщо випадковий вектор $\mathbf {X}$ має багатовимірний нормальний розподіл, то пишуть $\mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )$.

Властивості

• Якщо вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатовимірний нормальний розподіл, то його компоненти $X_{i},i=1,\ldots ,n,$ мають одновимірний нормальний розподіл. Зворотне, узагалі говорячи, невірно (див. приклад [1] [Архівовано 15 грудня 2012 у Wayback Machine.])!
• Якщо випадкові величини $X_{1},\ldots ,X_{n}$ мають одномірний нормальний розподіл і спільно незалежні, те випадковий вектор $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатомірний нормальний розподіл. Матриця коваріацій $\Sigma$ такого вектора діагональна.
• Якщо $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }$ має багатомірний нормальний розподіл, і його компоненти попарно некорельовані, то вони незалежні. Однак, якщо тільки компоненти $X_{i},\;i=1,\ldots ,n$ мають одномірний нормальний розподіл і попарно не корелюють, те звідси не випливає, що вони незалежні.

Контрприклад. Нехай $X\sim \mathrm {N} (0,1)$, а $\alpha =\pm 1$ з рівними ймовірностями. Тоді якщо $Y=\alpha X\sim \mathrm {N} (0,1)$, те кореляція $X$ і $Y$ дорівнює нулю. Однак, ці випадкові величини залежні.

• Багатомірний нормальний розподіл стійко щодо лінійних перетворень. Якщо $\mathbf {X} \sim \mathrm {N} (\mathbf {\mu } ,\Sigma )$, а $\mathbf {A}$ — довільна матриця розмірності $m\times n$, то

$\mathbf {A} \mathbf {X} \sim \mathrm {N} \left(\mathbf {A} \mathbf {\mu } ,\mathbf {A} \Sigma \mathbf {A} ^{\top }\right)$.

Функція густини

Спільна функція густини біваріативного нормального розподілу

Не вироджений випадок

Багатовимірний нормальний розподіл називають "не виродженим" коли його симетрична матриця коваріацій ${\boldsymbol {\Sigma }}$ є додатньоозначеною. В такому випадку розподіл має функцію густини:

${\begin{aligned}f_{\mathbf {X} }(x_{1},\ldots ,x_{k})&={\frac {\exp \left(-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\end{aligned}}$

де ${\mathbf {x} }$ це k-вимірний вектор стовпець дійсних чисел і $|{\boldsymbol {\Sigma }}|\equiv \operatorname {det} {\boldsymbol {\Sigma }}$ це детермінант для ${\boldsymbol {\Sigma }}$, відомий також як узагальнена дисперсія. Вищенаведене рівняння спрощується до аналогічного рівняння, що відповідає одновимірному нормальному розподілу якщо ${\boldsymbol {\Sigma }}$ є матрицею розміром $1\times 1$ (тобто єдиним дійсним числом).

Циркулярно-симетрична версія комплексного нормального розподілу має дещо відмінну форму.

Кожен окіл ізо-густини—окіл точок в k-вимірному просторі, в кожній з яких буде деяке стале значення густини —є еліпсом або його узагальненням для більших вимірів; оскільки багатовимірний нормальний розподіл є особливим випадком еліптичних розподілів.

В описовій статистиці ${\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}$ відомо як відстань Махаланобіса, яка задає відстань обраної точки ${\mathbf {x} }$ від середнього ${\boldsymbol {\mu }}$. Зауважте, що у випадку коли $k=1$, розподіл зводиться до одновимірного нормального розподілу, і відстань Махаланобіса зводиться до абсолютного значення стандартної оцінки.

Біваріативний випадок

У 2-вимірному несингулярному випадку (k = rank(Σ) = 2), функція густини імовірності для вектору [X Y]′ є наступною:

$f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)$

де ρ — кореляція між X і Y і де $\sigma _{X}>0$ і $\sigma _{Y}>0$. В такому випадку,

${\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}.$

У біваріативному випадку, перша еквівалентна умова встановлення нормальності багатовимірного розподілу може бути менш сувора: для того, щоб зробити висновок чи є вектор [X Y]′ біваріативно нормальним достатньо перевірити чи зліченно велика кількість відмінних лінійних комбінацій X і Y є нормально розподілені.

Біваріативні околи ізо-густини на площині x,y є еліпсами. Із збільшенням абсолютного значення коефіцієнту кореляції ρ, ці околи будуть сплющуватися до наступної прямої :

$y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.$

Це пояснюється тим, що якщо в даному виразі sgn(ρ) замінити на ρ, воно є найкращим лінійним незміщеним передбаченням для Y, що задане значенням X.

Багатомірна центральна гранична теорема

Нехай $\xi ^{(1)},\xi ^{(2)},...$ — послідовність незалежних і однаково розподілених випадкових векторів, кожний з який має середнє $E\xi ^{(1)}=a$ і невироджену матрицю коваріацій $\Sigma$ . Позначимо через $S_{n}\xi ^{(1)}+...+\xi ^{(n)}$ вектор часткових сум. Тоді при $n\to \infty$ має місце збіжність розподілів векторів $\eta ^{(n)}={\frac {S_{n}-na}{\sqrt {n}}}\Rightarrow \eta$, де $\eta$ має розподіл $N_{O,\Sigma }$. В умовах багатовимірної центральної граничної теореми розподіл будь-яких неперервних функцій $g(\eta ^{(n)})$ збігається до розподілу $g(\eta )$. Як $g(x)$ нам буде потрібна тільки $g(x)=\sum x_{i}^{2}=\|x\|^{2}$.

Наслідок

В умовах багатовимірної центральної граничної теореми має місце збіжність $\|\eta ^{(n)}\|^{2}\Rightarrow \|\eta \|^{2}$.