Кількості інформації

Математична теорія інформації ґрунтується на теорії ймовірності й статистиці, і вимірює інформацію за допомогою декількох кількостей інформації (англ. quantities of information). Застосовувану в наступних формулах одиницю інформаційної ентропії визначає вибір логарифмічної основи. Найзвичнішою одиницею інформації є біт, що ґрунтується на двійковому логарифмі. До інших одиниць належать нат, що ґрунтується на натуральному логарифмі, та гартлі, що ґрунтується на десятковому логарифмі.

Проста інформаційна діаграма, що показує адитивні та різницеві відношення серед шеннонових базових кількостей інформації для корельованих змінних $X$ та $Y$. Область, яка міститься в обох колах, є спільною ентропією $\mathrm {H} (X,Y)$. Коло ліворуч (червоний і фіолетовий) є особистою ентропією $\mathrm {H} (X)$, в якому червоне є умовною ентропією $\mathrm {H} (X|Y)$. Коло праворуч (синій та фіолетовий) є $\mathrm {H} (Y)$, а синє в ньому є $\mathrm {H} (Y|X)$. Фіолетове є взаємною інформацією $\operatorname {I} (X;Y)$.

Надалі вираз вигляду $p\log p\,$, коли $p$ є нулем, вважається за згодою рівним нулеві. Це є виправданим, оскільки для будь-якої логарифмічної основи $\lim _{p\rightarrow 0+}p\log p=0$.

Власна інформація

Шеннон вивів міру інформаційного вмісту, названу власною інформацією (англ. self-information) або «несподіваністю» (англ. "surprisal") повідомлення $m$:

$\operatorname {I} (m)=\log \left({\frac {1}{p(m)}}\right)=-\log(p(m))\,$

де $p(m)=\mathrm {Pr} (M=m)$ є ймовірністю обрання повідомлення $m$ з усіх можливих варіантів вибору в просторі повідомлень $M$. Основа логарифма впливає лише на коефіцієнт масштабування, і, відтак, на одиниці, в яких виражається вимірюваний інформаційний вміст. Якщо основою логарифма є 2, то міра інформації виражається в одиницях бітів.

Інформація передається з джерела до отримувача лише якщо отримувач цієї інформації ще не мав її заздалегідь. Повідомлення, які передають інформацію, що відбувається напевно, і вже відома отримувачеві, реальної інформації не містять. Повідомлення, що трапляються нечасто, містять більше інформації, ніж повідомлення, які трапляються частіше. Цей факт віддзеркалено в наведеному вище рівнянні — незмінне повідомлення, тобто, з імовірністю 1, має нульову міру інформації. Крім того, складене повідомлення з двох (або більше) не пов'язаних (або взаємно незалежних) повідомлень матиме міру інформації, яка є сумою мір інформації кожного з повідомлень окремо. Цей факт також віддзеркалено в наведеному вище рівнянні, що підтверджує обґрунтованість його виведення.

Приклад. Повідомлення прогнозу погоди: «Прогноз на ніч: Темно. Тривала темрява, аж до широко розсіяного світла вранці.» Це повідомлення майже не містить інформації. Проте прогноз хуртовини безумовно міститиме інформацію, оскільки таке не трапляється щовечора. Величина інформації буде ще більшою в точному прогнозі снігу для теплого місця, такого як Маямі. Величина інформації в прогнозі снігу для місця, де сніг не йде ніколи (неможлива подія), є найвищою (нескінченність).

Ентропія

Ентропія (англ. entropy) дискретного простору повідомлень $M$ є мірою величини невизначеності (англ. uncertainty), що ми маємо стосовно того, яке повідомлення буде обрано. Її визначено як усереднену власну інформацію повідомлення $m$ з цього простору повідомлень:

$\mathrm {H} (M)=\mathbb {E} \left[\operatorname {I} (M)\right]=\sum _{m\in M}p(m)\operatorname {I} (m)=-\sum _{m\in M}p(m)\log p(m).$

де

$\mathbb {E} [-]$ позначує операцію математичного сподівання (англ. expected value).

Важливою властивістю ентропії є те, що вона є найбільшою, коли всі повідомлення в просторі повідомлень є рівноймовірними (тобто, $p(m)=1/|M|$). В цьому випадку $\mathrm {H} (M)=\log |M|$.

Іноді функцію $\mathrm {H}$ виражають в термінах імовірностей розподілу:

$\mathrm {H} (p_{1},p_{2},\ldots ,p_{k})=-\sum _{i=1}^{k}p_{i}\log p_{i},$ де кожна $p_{i}\geq 0$ та $\sum _{i=1}^{k}p_{i}=1.$

Важливим особливим випадком цього є функція двійкової ентропії:

$\mathrm {H} _{\mbox{b}}(p)=\mathrm {H} (p,1-p)=-p\log p-(1-p)\log(1-p).\,$

Спільна ентропія

Спільну ентропію (англ. joint entropy) двох дискретних випадкових змінних $X$ та $Y$ визначають як ентропію їхнього спільного розподілу:

$\mathrm {H} (X,Y)=\mathbb {E} _{X,Y}\left[-\log p(x,y)\right]=-\sum _{x,y}p(x,y)\log p(x,y)\,$

Якщо $X$ та $Y$ є незалежними, то ця спільна ентропія є просто сумою їхніх окремих ентропій.

(Зауваження: Спільну ентропію не слід плутати з перехресною ентропією, незважаючи на подібний запис.)

Умовна ентропія (ухильність)

За заданого конкретного значення випадкової змінної $Y$ умовну ентропію $X$ за $Y=y$ визначено як

$\mathrm {H} (X|y)=\mathbb {E} _{\left[X|Y\right]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)$

де $p(x|y)={\frac {p(x,y)}{p(y)}}$ є умовною ймовірністю $x$ за заданого $y$.

Умовну ентропію (англ. conditional entropy) $X$ за заданого $Y$, що також називають ухильністю (англ. equivocation) $X$ від $Y$, задають як

$\mathrm {H} (X|Y)=\mathbb {E} _{Y}\left[\mathrm {H} \left(X|y\right)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}.$

Вона використовує умовне математичне сподівання з теорії імовірності.

Базовою властивістю умовної ентропії є те, що

$\mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y).\,$

Відстань Кульбака — Лейблера (приріст інформації)

Відстань Кульбака — Лейблера (або розходження інформації, приріст інформації, або відносна ентропія, англ. Kullback–Leibler divergence, information divergence, information gain, relative entropy) є способом порівнювання двох розподілів, «істинного» розподілу ймовірності $p$ та довільного розподілу ймовірності $q$. Якщо ми стискаємо дані таким чином, який передбачає, що $q$ є розподілом, що лежить в основі якихось даних, тоді як насправді правильним розподілом є $p$, то відстань Кульбака — Лейблера є числом усереднених додаткових бітів над рівнем, необхідних для стискання, або, математично,

$D_{\mathrm {KL} }{\bigl (}p(X)\|q(X){\bigr )}=\sum _{x\in X}p(x)\log {\frac {p(x)}{q(x)}}.$

В якомусь сенсі вона дійсно є «відстанню» від $q$ до $p$, хоча вона й не є справжньою метрикою через те, що вона не є симетричною.

Взаємна (передавана) інформація

Виявляється, що однією з найкорисніших та найважливіших мір інформації є взаємна інформація (англ. mutual information), або передавана інформація (англ. transinformation). Вона є мірою того, як багато інформації може бути отримано про одну випадкову змінну шляхом спостерігання іншої. Взаємну інформацію $X$ відносно $Y$ (яка концептуально представляє усереднену величину інформації про $X$, яку можна здобути спостеріганням $Y$) задають як

$\operatorname {I} (X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}{p(x|y)\log {\frac {p(x|y)}{p(x)}}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}.$

Основною властивістю взаємної інформації є те, що

$\operatorname {I} (X;Y)=\mathrm {H} (X)-\mathrm {H} (X|Y).\,$

Тобто, знаючи $Y$, ми можемо заощадити в середньому $\operatorname {I} (X;Y)$ бітів у кодуванні $X$, у порівнянні з незнанням $Y$. Взаємна інформація є симетричною:

$\operatorname {I} (X;Y)=\operatorname {I} (Y;X)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y).\,$

Взаємну інформацію можливо виразити як усереднену відстань Кульбака — Лейблера (приріст інформації) апостеріорного розподілу ймовірності $X$ за заданого значення $Y$ відносно апріорного розподілу ймовірності $X$:

$\operatorname {I} (X;Y)=\mathbb {E} _{p(y)}\left[D_{\mathrm {KL} }{\bigl (}p(X|Y=y)\|p(X){\bigr )}\right].$

Іншими словами, вона є мірою того, наскільки в середньому зміниться розподіл ймовірності $X$, якщо ми отримаємо значення $Y$. Обчислюють її часто як розходження між добутком відособлених розподілів та справжнім спільним розподілом:

$\operatorname {I} (X;Y)=D_{\mathrm {KL} }{\bigl (}p(X,Y)\|p(X)p(Y){\bigr )}.$

Взаємна інформація є тісно пов'язаною з перевіркою логарифмічним відношенням правдоподібностей в контексті таблиць спряженості та мультиноміального розподілу, та з критерієм χ² Пірсона: взаємну інформацію можливо розглядати як статистику для оцінювання незалежності в парі змінних, і вона має добре визначений асимптотичний розподіл.

Диференціальна ентропія

Основні міри дискретної ентропії було аналогічно розширено на неперервні простори шляхом заміни сум інтегралами, та функцій маси ймовірності функціями густини ймовірності. І хоча в обох випадках взаємна інформація виражає число бітів інформації, спільне для цих двох джерел, ця аналогія не передбачає однакових властивостей: наприклад, диференціальна ентропія може бути від'ємною.

Диференціальні аналоги ентропії, спільної ентропії, умовної ентропії та взаємної інформації визначено таким чином:

$h(X)=-\int _{X}f(x)\log f(x)\,dx$

$h(X,Y)=-\int _{Y}\int _{X}f(x,y)\log f(x,y)\,dx\,dy$

$h(X|y)=-\int _{X}f(x|y)\log f(x|y)\,dx$

$h(X|Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(y)}{f(x,y)}}\,dx\,dy$

$\operatorname {I} (X;Y)=\int _{Y}\int _{X}f(x,y)\log {\frac {f(x,y)}{f(x)f(y)}}\,dx\,dy$

де $f(x,y)$ є функцією густини спільного розподілу, $f(x)$ та $f(y)$ є відособленими розподілами, а $f(x|y)$ є умовним розподілом.

Див. також

• Теорія інформації