Коефіцієнт Баєса

У статистиці використання коефіціє́нтів Ба́єса (англ. Bayes factors) є баєсовою альтернативою класичній перевірці гіпотез. Ба́єсове порівня́ння моде́лей є методом обирання моделі, що ґрунтується на коефіцієнтах Баєса.

Коефіцієнт Баєса
Названо на честь	Томас Баєс
Формула	${\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}$
Підтримується Вікіпроєктом	Вікіпедія:Проєкт:Математика

Визначення

Апостеріорна ймовірність Pr(M|D) моделі M при заданих даних D задається теоремою Баєса:

$\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.$

Ключовий залежний від даних член Pr(D|M) є правдоподібністю, він представляє ймовірність виникнення якихось даних за умови цієї моделі, M; його коректне обчислення є ключем до баєсового порівняння моделей.

При заданій задачі обирання моделі, в якій ми маємо зробити вибір серед двох моделей на підставі спостережуваних даних D, правдоподібність двох різних моделей M₁ та M₂, параметризованих векторами параметрів моделей $\theta _{1}$ та $\theta _{2}$, оцінюється коефіцієнтом Баєса K, що задається як

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}.$

Якщо замість інтегралу коефіцієнта Баєса використовується правдоподібність, що відповідає оцінці максимальної правдоподібності параметра кожної з моделей, тоді ця перевірка стає класичною перевіркою відношенням правдоподібностей.^{[джерело?]} На відміну від перевірки відношенням правдоподібностей, це баєсове порівняння моделей не залежить від жодного окремого набору параметрів, оскільки воно інтегрується над усіма параметрами в кожній з моделей (по відношенню до відповідних апріорних ймовірностей). І тим не менш, перевагою використання коефіцієнтів Баєса є те, що воно автоматично і цілком природно включає штраф за надлишкове включення структури моделі. Воно таким чином захищає від перенавчання. Для моделей, для яких точна версія правдоподібності є недоступною або занадто витратною для чисельного оцінювання, для вибору моделі у баєсовій мережі може використовуватися приблизне баєсове обчислення, із застереженням, що приблизно-баєсові оцінки коефіцієнтів Баєса часто є упередженими.

Іншими підходами є:

• розглядати порівняння моделей як задачу ухвалення рішення, обчислюючи очікуване значення або вартість кожного вибору моделі;
• застосовувати мінімальну довжину повідомлення.

Інтерпретація

Значення K > 1 означає, що M₁ підтримується даними, що розглядаються, сильніше, ніж M₂. Зауважте, що класична перевірка гіпотез надає одній гіпотезі (або моделі) привілейованого статусу («нульова гіпотеза»), і розглядає лише свідчення проти неї. Гарольд Джеффріс запропонував шкалу для інтерпретації K:

K	дХарт	біти	Сила свідчення
< 100	< 0		негативна (підтримує M2)
100—101/2	0—5	0—1.6	заледве варта згадування
101/2—101	5—10	1.6—3.3	істотна
101—103/2	10—15	3.3—5.0	сильна
103/2—102	15—20	5.0—6.6	дуже сильна
> 102	> 20	> 6.6	вирішальна

Другий стовпчик подає відповідну вагу свідчення в децигартлі (також відомих як децибани); біти додано у третьому стовпчику для ясності. Згідно з І. Дж. Ґудом, зміна у вазі свідчення в 1 децибан або 1/3 біту (тобто, зміна у співвідношенні шансів з рівних до приблизно 5:4) є приблизно настільки тонкою, наскільки люди можуть розсудливо розрізняти свої міри переконання в гіпотезах у повсякденному вжитку.

Альтернативну, широко цитовану таблицю запропоновано Кассом та Рафтері:

2 ln K	K	Сила свідчення
0—2	1—3	не варте більш ніж просто згадки
2—6	3—20	позитивне
6—10	20—150	сильне
>10	>150	дуже сильне

Використання коефіцієнту Баєса або класичної перевірки гіпотез трапляється радше в контексті висновування, ніж ухвалення рішень в умовах невизначеності. Тобто, ми радше просто хочемо з'ясувати, яка з гіпотез є правильною, ніж справді ухвалювати рішення на базі цієї інформації. Частотне висновування проводить чітке розрізнення між цими двома, оскільки класичні перевірки гіпотез не є когерентними у баєсовому сенсі. Баєсові процедури, включно з коефіцієнтами Баєса, є когерентними, тому немає потреби проводити таке розрізнення. Тоді висновування просто розглядається як особливий випадок ухвалення рішення в умовах невизначеності, в якому дією результату є повідомлення значення. Для ухвалення рішень баєсові статистики можуть використовувати коефіцієнт Баєса у поєднанні з апріорним розподілом та функцією втрат, пов'язаною зі здійсненням невірного вибору. В контексті висновування функція втрат набуватиме форми оцінювального правила. Наприклад, використання логарифмічної оцінювальної функції призводить до того, що очікувана корисність набуває форми відстані Кульбака — Лейблера.

Приклад

Припустімо, що ми маємо випадкову змінну, що продукує успіх або невдачу. Ми хочемо порівняти модель M₁, де ймовірністю успіху є q = ½, та іншу модель M₂, де q є невідомим та ми приймаємо, що апріорним розподілом q є рівномірний на [0,1]. Ми робимо вибірку з 200, і виявляємо 115 успіхів та 85 невдач. Правдоподібність може бути обчислено згідно біноміального розподілу:

${{200 \choose 115}q^{115}(1-q)^{85}}.$

Отже, ми маємо

$P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,$

але

$P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}=0.004975....$

Тоді відношенням є 1.197…, що є «заледве вартим згадування», незважаючи на те, що воно вказує трішки в бік M₁.

Це не є тим самим, що й класична перевірка відношенням правдоподібностей, що знайшла би оцінку максимальної правдоподібності для q, а саме ¹¹⁵⁄₂₀₀ = 0.575, звідки $\textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0.056991$ (замість усереднення за всіма можливими q). Це дає відношення правдоподібностей 0.1045, і таким чином вказує на M₂.

Сучасний метод відносної правдоподібності, на відміну від класичного відношення правдоподібностей, враховує кількість вільних параметрів у моделях. Метод відносної правдоподібності може застосовуватися наступним чином. Модель M₁ має 0 параметрів, і тому значенням її ІКА є 2·0 − 2·ln(0.005956) = 10.2467. Модель M₂ має 1 параметр, і тому значенням її ІКА є 2·1 − 2·ln(0.056991) = 7.7297. Отже, M₁ є приблизно у exp((7.7297 − 10.2467)/2) = 0.284 разів ймовірнішою за M₂ для мінімізації втрати інформації. Відтак, M₂ є трохи кращою, але M₁ не може виключатися.

Частотна перевірка гіпотези M₁ (що розглядається тут як нульова гіпотеза) видала би тут зовсім інший результат. Така перевірка каже, що M₁ мала би бути відкинутою на рівні значущості 5%, оскільки ймовірністю отримання 115 або більше успіхів з вибірки з 200, якщо q = ½, є 0.0200, та оскільки двобічний критерій отримання значення настільки ж віддаленого, або віддаленішого за 115, є 0.0400. Зауважте, що 115 є у більш ніж двох стандартних відхиленнях від 100.

M₂ є складнішою моделлю за M₁, оскільки вона має вільний параметр, що дозволяє їй моделювати дані ближче. Здатність коефіцієнтів Баєса враховувати це є тією причиною, чому баєсове висновування було висунуто як теоретичне обґрунтування та узагальнення Бритви Оккама, що зменшує похибки першого роду.

Див. також

• Інформаційний критерій Акаіке
• Приблизне баєсове обчислення
• Баєсів інформаційний критерій
• Інформаційний критерій відхилення
• Парадокс Ліндлі
• Мінімальна довжина повідомлення
• Обирання моделі

Статистичні відношення

• Відношення шансів
• Відносний ризик

Література

• Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4. (англ.)
• Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9. (англ.)
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). Section 9.6.5. Pattern classification (вид. 2nd). Wiley. с. 487—489. ISBN 0-471-05669-3. (англ.)
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (вид. III). CRC Press. ISBN 978-1439840955. Архів оригіналу за 26 Червня 2015. Процитовано 26 Червня 2015. (англ.)
• Jaynes E. T. (1994), Probability Theory: the logic of science [Архівовано 24 Жовтня 2018 у Wayback Machine.], chapter 24. (англ.)
• Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573. (англ.)
• Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (вид. 2nd). Probabilistic. ISBN 0-9647938-4-9. (англ.)

Посилання

• BayesFactor [Архівовано 21 Червня 2013 у Wayback Machine.] — пакет R для обчислення коефіцієнтів Баєса у звичайних планах досліджень
• Bayes Factor Calculators [Архівовано 7 Травня 2015 у Wayback Machine.] — інтернет-версія значної частини пакету BayesFactor