Розподіл Діріхле

У теорії імовірностей і математичній статистиці розподіл Діріхле (за іменем Йоганна Петера Густава Лежьона-Діріхле), позначають часто $Dir(\alpha )$ — це сімейство безупинних багатовимірних вірогідних розподілів невід’ємних дійсних чисел, параметризованих вектором $\alpha$. Розподіл Діріхле є узагальненням Бета-розподілу на багатовимірний випадок. Тобто, його функція щільності повертає значення імовірності того, що імовірність кожного з K взаємновиключних подій дорівнює $x_{i}$ за умови, що кожна подія спостерігалася $\alpha _{i}-1$ раз.

Розподіл Діріхле
Параметри	$K\geq 2$ число категорій (ціле) $\alpha _{1},\ldots ,\alpha _{K}$ параметри концентрації, де $\alpha _{i}>0$
Носій функції	$x_{1},\ldots ,x_{K}$ where $x_{i}\in (0,1)$ and $\sum _{i=1}^{K}x_{i}=1$
Розподіл імовірностей	${\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$ де $\mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}$ де ${\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})$
Середнє	$\operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k=1}^{K}\alpha _{k}}}$ $\operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})$ (див. Дигамма-функція)
Мода	$x_{i}={\frac {\alpha _{i}-1}{\sum _{k=1}^{K}\alpha _{k}-K}},\quad \alpha _{i}>1.$
Дисперсія	$\operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{\alpha _{0}+1}},\quad \operatorname {Cov} [X_{i},X_{j}]={\frac {\delta _{ij}\,{\tilde {\alpha }}_{i}-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{\alpha _{0}+1}}$ де ${\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\alpha _{0}}}$ і $\alpha _{0}=\sum _{i=1}^{K}\alpha _{i}$
Ентропія	$H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})$ при $\alpha _{0}$ визначина як для варіації вище.
Твірна функція моментів (mgf)	{{{mgf}}}
Характеристична функція	{{{char}}}

Функція щільності імовірності

Функція щільності імовірності для розподілу Діріхле порядку K має вигляд:

$f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$

де $x_{i}\geq 0\,$, $\sum _{i=1}^{K}x_{i}=1\,$, i $\alpha _{i}\geq 0\,$.

Властивості

Нехай $X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )$ i $\alpha _{0}=\sum _{i=1}^{K}\alpha _{i},$ тоді

$\mathrm {E} [X_{i}|\alpha ]={\frac {\alpha _{i}}{\alpha _{0}}},$

$\mathrm {Var} [X_{i}|\alpha ]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},$

$\mathrm {Cov} [X_{i}X_{j}|\alpha ]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.$

Модою розподілу є вектор $X=(X_{1},X_{2},\dots ,X_{K})$ з

$x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.$

Розподіл Діріхле є сполученим апріорним розподілом до мультиноміального розподілу, а саме: якщо

$\beta |X=(\beta _{1},\ldots ,\beta _{K})|X\sim \operatorname {Mult} (X),$

де $\beta _{i}$ - число входжень і у вибірку з n точок дискретного розподілу на {1, ..., K}, визначеного через X, то

$X|\beta \sim \operatorname {Dir} (\alpha +\beta ).$

Цей зв'язок використовується в Байєсівській статистиці для того, щоб оцінити приховані параметри дискретного імовірносного розподілу $X$, маючи набір з n вибірок. Очевидно, якщо апріорний розподіл позначений як $Dir(\alpha )$, то $Dir(\alpha +\beta )$ - це апостеріорний розподіл після серії спостережень з гістограмою $\beta$.

Зв'язок з іншими розподілами

Якщо для $i\in \{1,2,\ldots ,K\},$

$Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\alpha _{i},{\textrm {scale}}=1)$ незалежні, то

$V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\sum _{i=1}^{K}\alpha _{i},{\textrm {scale}}=1),$

і

$(X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).$

Попри те, що X_і не є незалежними один від одного, вони можуть бути згенерованні з набору з $K$ незалежних гама випадкових величин. Однак, тому що сума $V$ губиться в процесі формування $X=(X_{1},X_{2},\dots ,X_{K})$, стає неможливо відновити початкові значення гамма-випадкових величин тільки за цими значеннями. Проте, завдяки тому, що працювати з незалежними випадковими величинами простіше, це перетворення параметрів може бути корисно при доведенні властивостей розподілу Діріхле.

Генерація випадкових чисел

Метод побудови випадкового вектора $x=(x_{1},\ldots ,x_{K})$ для розподілу Діріхле розмірності K з параметрами $(\alpha _{1},\ldots ,\alpha _{K})$ випливає безпосередньо з цього зв'язку. Спочатку одержимо K незалежних випадкових вибірок $y_{1},\ldots ,y_{K}$ з гамма-розподілів, кожен з який має щільність

${\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},\!$

а потім покладемо

$x_{i}=y_{i}/\sum _{j=1}^{K}y_{j}.\!$

Наочне трактування параметрів

Як приклад використання розподілу Діріхле можна запропонувати задачу, у якій потрібно розрізати нитки (кожна початкової довжини 1.0) на K частин з різними довжинами так, щоб усі частини мали задану середню довжину, але з можливістю деякої варіації відносних довжин частин. Значення α/α₀ визначають середні довжини частин нитки, що вийшли з розподілу. Дисперсія навколо середнього значення зворотньо пропорційна α₀.

Ланки

• Hazewinkel, Michiel, ред. (2001), Dirichlet distribution, Математична енциклопедія, Springer, ISBN 978-1-55608-010-4
• Dirichlet Distribution [Архівовано 13 лютого 2010 у Wayback Machine.]
• How to estimate the parameters of the compound Dirichlet distribution (Pólya distribution) using expectation-maximization (EM) [Архівовано 19 січня 2022 у Wayback Machine.]
• Luc Devroye. Non-Uniform Random Variate Generation. Архів оригіналу за 17 липня 2012. Процитовано 19 жовтня 2019.
• Dirichlet Random Measures, Method of Construction via Compound Poisson Random Variables, and Exchangeability Properties of the resulting Gamma Distribution [Архівовано 20 січня 2022 у Wayback Machine.]
• SciencesPo [Архівовано 25 лютого 2021 у Wayback Machine.]: R package that contains functions for simulating parameters of the Dirichlet distribution.