Функція внеску

У статистиці вне́сок, фу́нкція вне́ску, або ефекти́вний вне́сок (англ. score, score function, efficient score,^[1] informant^[2]) показує, наскільки чутливо функція правдоподібності $L(\theta ;X)$ залежить від свого параметру^[en] $\theta$ . В явному вигляді внесок $\theta$ є градієнтом логарифмічної правдоподібності по відношенню до $\theta$ .

Внесок відіграє важливу роль у деяких аспектах висновування. Наприклад:

у формулюванні локально найпотужнішого статистичного критерію;^[3]
у наближенні похибки в оцінці максимальної правдоподібності;^[4]
у показуванні асимптотичної достатності оцінки максимальної правдоподібності;^[4]
у формулюванні довірчих інтервалів;^[5]
у показуваннях нерівності Крамера — Рао.^[6]

Функція внеску також відіграє важливу роль в обчислювальній статистиці^[en], оскільки вона може грати певну роль в обчисленні оцінок максимальної правдоподібності.

Визначення ред.

Функція внеску, або ефективний внесок,^[1] — це градієнт (вектор часткових похідних) по відношенню до деякого параметру $\theta$ логарифму (зазвичай, натурального логарифму) функції правдоподібності (логарифмічної правдоподібності). Якщо спостереженням є $X$ , а його правдоподібністю є $L(\theta ;X)$ , то внесок $V$ може бути знайдено за допомогою ланцюгового правила:

V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}.

Таким чином, внесок $V$ показує чутливість $L(\theta ;X)$ (її похідну, нормалізовану за її значенням). Зауважте, що $V$ є функцією від $\theta$ та спостереження $X$ , отже, взагалі кажучи, він не є статистикою. Проте в деяких застосуваннях, таких як перевірка внеску^[en], внесок оцінюється на певному значення $\theta$ (такому як значення нульової гіпотези, або оцінка максимальної правдоподібності $\theta$ ), і в такому випадку результатом є статистика.

У старій літературі для позначення внеску по відношенню до нескінченно малого перенесення заданої густини може застосовуватися термін «лінійний внесок» (англ. linear score). Цей звичай походить з того часу, коли основним параметром, що становив інтерес, було середнє значення або медіана розподілу. В цьому випадку правдоподібність спостереження задається густиною вигляду $L(\theta ;X)=f(X+\theta )$ . Тоді «лінійний внесок» визначається як

V_{\rm {linear}}={\frac {\partial }{\partial X}}\log f(X)

Властивості ред.

Середнє значення ред.

За деяких умов закономірності^[en], математичне сподівання $V$ по відношенню до спостереження $x$ за умови істинності параметру $\theta$ , що записується як $\mathbb {E} (V\mid \theta )$ , є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності $L(\theta ;x)=f(x;\theta )$ . Тоді

{\begin{aligned}\mathbb {E} (V\mid \theta )&=\int _{-\infty }^{+\infty }f(x;\theta ){\frac {\partial }{\partial \theta }}\log L(\theta ;X)\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}\log L(\theta ;X)f(x;\theta )\,dx\\[6pt]&=\int _{-\infty }^{+\infty }{\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}

Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як

{\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.

Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.

Дисперсія ред.

Докладніше: Інформація за Фішером

Дисперсія внеску відома як інформація за Фішером, і записується як ${\mathcal {I}}(\theta )$ . Оскільки математичне сподівання внеску є нульовим, її може бути записано як

{\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}.

Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну $X$ було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.

Приклади ред.

Процес Бернуллі ред.

Розгляньмо процес Бернуллі^[en] з A успіхами та B невдачами; ймовірністю успіху є θ.

Тоді правдоподібністю L є

L(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},

таким чином, внеском V є

V={\frac {1}{L}}{\frac {\partial L}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.

Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1 − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є

E(V)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.

Ми можемо також перевірити й дисперсію $V$ . Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є

{\begin{aligned}\operatorname {var} (V)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}

Модель із двійковим виходом ред.

Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифму передбачень

S=Y\log(p)+(1-Y)(\log(1-p))

де p є ймовірністю в оцінюваній моделі, а S є внеском.^[7]

Застосування ред.

Внесковий алгоритм ред.

Детальніші відомості з цієї теми ви можете знайти в статті Внесковий алгоритм^[en].

Внесковий алгоритм (англ. scoring algorithm) — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.

Перевірка внеску ред.

Детальніші відомості з цієї теми ви можете знайти в статті Перевірка внеску^[en].

Див. також ред.

Примітки ред.

↑ ^а ^б Cox та Hinkley, 1974, с. 107.
↑ Chentsov, 2001.
↑ Cox та Hinkley, 1974, с. 113.
↑ ^а ^б Cox та Hinkley, 1974, с. 295.
↑ Cox та Hinkley, 1974, с. 222–3.
↑ Cox та Hinkley, 1974, с. 254.
↑ Steyerberg та ін., 2010.

Література ред.

Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Chapman & Hall. ISBN 0-412-12420-3. (англ.)
Schervish, Mark J. (1995). Theory of Statistics. New York: Springer. Section 2.3.1. ISBN 0-387-94546-6. (англ.)
Chentsov, N.N. (2001), Informant, у Hazewinkel, Michiel (ред.), Математична енциклопедія, Springer, ISBN 978-1-55608-010-4 (англ.)
Steyerberg, E. W.; Vickers, A. J.; Cook, N. R.; Gerds, T.; Gonen, M.; Obuchowski, N.; Pencina, M. J.; Kattan, M. W. (2010). Assessing the performance of prediction models. A framework for traditional and novel measures. Epidemiology. 21 (1): 128—138. doi:10.1097/EDE.0b013e3181c30fb2. (англ.)

[FOOTNOTECoxHinkley1974107-1] а ^б Cox та Hinkley, 1974, с. 107.

[FOOTNOTEChentsov2001-2] Chentsov, 2001.

[FOOTNOTECoxHinkley1974113-3] Cox та Hinkley, 1974, с. 113.

[FOOTNOTECoxHinkley1974295-4] а ^б Cox та Hinkley, 1974, с. 295.

[FOOTNOTECoxHinkley1974222–3-5] Cox та Hinkley, 1974, с. 222–3.

[FOOTNOTECoxHinkley1974254-6] Cox та Hinkley, 1974, с. 254.

[FOOTNOTESteyerbergVickersCookGerds2010-7] Steyerberg та ін., 2010.

[1]

[2]

[3]

[4]

[5]

[6]

[7]