Важіль (статистика)

У статистиці та, зокрема, у регресійному аналізі важіль — це міра віддаленості значень незалежної змінної спостереження від значень інших спостережень.

Точки із великими значеннями важелів — крайні спостереження або викиди незалежної змінної, тобто такі точки, що нестача сусідніх спостережень спричинить проходження побудованої регресійної моделі дуже близько до даної точки.

Сучасні пакети для статистичного аналізу включають до своїх властивостей різні кількісні міри виявлення впливових спостережень при проведенні регресійного аналізу; серед цих мір є частинний важіль, кількісна характеристика внеску змінної до важелів даних.

Лінійна регресійна модель

Означення

У лінійній регресійній моделі, оцінка важеля i-го спостереження визначається як:

$h_{ii}=\left[\mathbf {H} \right]_{ii},$

де i-й діагональний елемент проєкційної матриці $\mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}$,

де $\mathbf {X}$ — матриця регресорів із одиничним стовпчиком на початку.

Якщо в матриці тільки 2 стовпці, то: $h_{ii}={\frac {1}{n}}{\frac {\sum _{j}(x_{j}-x_{i})^{2}}{\sum _{j}(x_{j}-{\overline {x}})^{2}}}={\frac {1}{n}}+{\frac {(x_{i}-{\overline {x}})^{2}}{\sum _{j}(x_{j}-{\overline {x}})^{2}}}$

Оцінка важеля також відома як самочутливість спостереження або самовпливовість, як видно з

$h_{ii}={\frac {\partial {\hat {y}}_{i}}{\partial y_{i}}},$

де ${\hat {y}}_{i}$ та ${y}_{i}$ — прогноз відгуку та відгук спостереження відповідно.

Межі важеля

$0\leq h_{ii}\leq 1.$

Доведення

Відмітимо, що матриця H — ідемпотентна: $H^{2}=X(X^{\top }X)^{-1}X^{\top }X(X^{\top }X)^{-1}X^{\top }=XI(X^{\top }X)^{-1}X^{\top }=H$, а також симетрична.

Тоді, прирівнюючи елементи ii матриці H до елементів ii матриці $H^{2}$, отримаємо

$h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}\geq 0$

та

$h_{ii}\geq h_{ii}^{2}\implies h_{ii}\leq 1.$

Вплив на дисперсію залишків

Якщо використовувати звичайний метод найменших квадратів із фіксованою матрицею X, регресійними похибками $\epsilon _{i}$, та

$Y=X\beta +\epsilon$

$\operatorname {Var} (\epsilon )=\sigma ^{2}I$

тоді $\operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}$ де $e_{i}=Y_{i}-{\hat {Y}}_{i}$ (i-й залишок регресії).

Іншими словами, якщо похибки моделі є гомоскедастичними, то оцінка важеля спостереження визначає ступінь шуму в помилковому передбаченні моделі.

Зауважимо, що $I-H$ — ідемпотентна та симетрична матриця. Із цього випливає, що

$\operatorname {Var} (e)=\operatorname {Var} ((I-H)Y)=(I-H)\operatorname {Var} (Y)(I-H)^{\top }=\sigma ^{2}(I-H)^{2}=\sigma ^{2}(I-H).$

Таким чином $\operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}.$

Залишок Стьюдента

Відповідні стьюдентизовані залишки — залишки, скореговані спостереженнями — особлива дисперсія залишків має наступний вигляд:

$t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}$

де ${\widehat {\sigma }}$ — відповідна оцінка дисперсії $\sigma .$

Див. також

• Проекційна матриця — діагональні елементи головної діагоналі якої важелями спостережень
• Відстань Махаланобіса — міра важелів даних
• Відстань Кука — міра змін коефіцієнтів регресійної моделі у разі видалення спостереження