Відособлена правдоподібність

У статистиці фу́нкція відосо́бленої правдоподі́бності (англ. marginal likelihood function) або інтегро́вана правдоподі́бність (англ. integrated likelihood) — це функція правдоподібності, в якій деякі змінні параметри було знеособлено. В контексті баєсової статистики вона також може згадуватися як сві́дчення (англ. evidence), або сві́дчення моде́лі (англ. model evidence).

При заданій множині незалежних однаково розподілених точок даних $\mathbb {X} =(x_{1},\ldots ,x_{n}),$ де $x_{i}\sim p(x_{i}|\theta )$ відповідно до певного розподілу ймовірностей, параметризованого за θ, де θ саме по собі є випадковою змінною, описаною розподілом, тобто $\theta \sim p(\theta |\alpha ),$ відособлена правдоподібність у загальному випадку ставить питання, якою є ймовірність $p(\mathbb {X} |\alpha ),$ де θ було знеособлено (проінтегровано):

$p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta$

Наведене вище визначення сформульовано в контексті баєсової статистики. В класичній (частотницькій) статистиці поняття відособленої правдоподібності натомість з'являється в контексті спільного параметра θ=(ψ,λ), де ψ є справжнім параметром, що становить інтерес, а λ є нецікавим завадним параметром. Якщо існує розподіл імовірності для λ, часто бажано розглядати функцію правдоподібності лише в термінах ψ, знеособлюючи λ:

${\mathcal {L}}(\psi ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\psi ,\lambda )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda$

На жаль, відособлені правдоподібності, як правило, важко обчислювати. Точні розв'язки відомі для невеликого класу розподілів, зокрема коли знеособлюваний параметр є спряженим апріорним розподілу даних. В інших випадках потрібен якийсь метод чисельного інтегрування, або загальний метод, такий як гаусове інтегрування або метод Монте-Карло, або якийсь спеціалізований метод для статистичних задач, такий як наближення Лапласа, вибірка за Ґіббсом або алгоритм очікування-максимізації.

Також можливо застосовувати наведені вище міркування до єдиної випадкової змінної (точки даних) x, а не до набору спостережень. У баєсовому контексті це еквівалентно апріорному передбачуваному розподілові точки даних.

Застосування

Баєсове порівняння моделей

В баєсовому порівнянні моделей знеособлювані змінні є параметрами певного типу моделі, а решта змінних є особистістю самої моделі. В цьому випадку знеособлена правдоподібність є ймовірністю даних при заданому типі моделі, без розгляду будь-яких конкретних параметрів моделі. При позначенні параметрів моделі через θ, відособленою правдоподібністю для моделі M є

$p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta$

Саме в цьому контексті зазвичай застосовується термін свідчення моделі. Ця величина є важливою, оскільки відношення апостеріорних шансів моделі M₁ до іншої моделі M₂ включає відношення відособлених правдоподібностей, так званий коефіцієнт Баєса:

${\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}$

що може бути схематично сформульовано як

апостеріорні шанси = апріорні шанси × коефіцієнт Баєса

Див. також

• Емпіричні баєсові методи
• Відособлена ймовірність
• Парадокс Ліндлі

Джерела

• Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1] [Архівовано 14 квітня 2013 у Wayback Machine.]) (англ.)
• The on-line textbook: Information Theory, Inference, and Learning Algorithms [Архівовано 6 лютого 2015 у Wayback Machine.], by David J.C. MacKay. (англ.)