Коваріаційна матриця

Коваріаційна матриця (або коваріаційна таблиця) в теорії ймовірностей — це квадратна матриця, яка складена з попарних коваріацій і дисперсій двох або більше випадкових величин.

Двовимірна ґаусова функція густини ймовірності з центром в (0, 0) та коваріаційною матрицею [ 1.00, 0.50 ; 0.50, 1.00 ].

Точки вибірки з багатовимірного нормального розподілу зі стандартним відхиленням 3 у приблизно ліво-верхньому прямому напрямку та 1 у перпендикулярному напрямку. Оскільки складові x та y мають коваріацію, дисперсії x та y описують цей розподіл не повністю. Необхідна коваріаційна матриця 2×2; напрямки стрілок відповідають власним векторам цієї матриці коваріації, а їхні довжини — квадратним кореням власних значень.

Визначення

• нехай $\mathbf {X} :\Omega \to \mathbb {R} ^{n}$, $\mathbf {Y} :\Omega \to \mathbb {R} ^{m}$ — два випадкових вектора розмірності $n$ і $m$ відповідно. Нехай також випадкові величини $X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m$ мають скінченний другий момент, тобто $X_{i},Y_{j}\in L^{2}$. Тоді матрицею коваріації $\mathbf {X} ,\mathbf {Y}$ називається

$\Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],$

тобто

$\Sigma =(\sigma _{ij})$,

де

$\sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m$.

• Якщо $\mathbf {X} \equiv \mathbf {Y}$, то $\Sigma$ називається матрицею коваріації вектора $\mathbf {X}$ і позначається $\mathrm {cov} (\mathbf {X} )$. Така матриця коваріацій є узагальненням дисперсії для багатовимірної випадкової величини, а її слід — скалярним виразом дисперсії багатовимірної випадкової величини. Власні вектори і власні значення цієї матриці дозволяють оцінити розміри і форму хмари розподілу випадкової величини, апроксимувавши її еліпсоїдом (або еліпсом у двовимірному випадку) .

Зауваження

• Цей термін має також інші значення. Наприклад, матрицею коваріації називається матриця, складена з попарних коваріацій різних елементів одного випадкового вектора.

Властивості

• Скорочена формула для обчислення матриці коваріації:

$\mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]$.

• Матриця коваріації випадкового вектора невід'ємно визначена:

$\mathrm {cov} (\mathbf {X} )\geq 0$.

• Зміна масштабу:

$\mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}$.

• Якщо випадкові вектори $\mathbf {X}$ і $\mathbf {Y}$ некорельовані ($\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0}$), то

$\mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )$.

• Матриця коваріації афінного перетворення:

$\mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }$,

де $\mathbf {A}$ — довільна матриця розмірності $n\times n$, а $\mathbf {b} \in \mathbb {R} ^{n}$.

• Перестановка аргументів:

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }$

• Матриця коваріації адитивна за кожним аргументом:

$\mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )$,

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})$.

• Якщо $\mathbf {X}$ і $\mathbf {Y}$ незалежні, то

$\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0}$.

Особливість

• Згідно з законом додавання дисперсій, алгебраїчна сума значень коваріаційної матриці системи випадкових величин дорівнює дисперсії суми цих величин.

Теорема

• Якщо величини $X_{1},X_{2},\dots ,X_{N}$ утворюють коло K, коло L або коло M, тоді алгебраїчна сума значень будь-якого стовпчика або рядка коваріаційної матриці системи таких величин дорівнює нулю.