Власна інформація

В теорії інформації вла́сна інформ́ація (англ. self-information), або несподі́ваність (англ. surprisal), — це міра кількості інформації, пов'язаної з подією в імовірнісному просторі, або зі значенням дискретної випадкової величини. Вона виражається в одиницях інформації, наприклад, в бітах, натах або гартлі, залежно від основи логарифма, який застосовується в обчисленнях.

Термін власна інформація іноді використовують як синонім такого пов'язаного поняття теорії інформації, як ентропія. Ці два значення не тотожні, і ця стаття описує лише перший сенс.

Визначення

За визначенням, кількість власної інформації, яка міститься в імовірнісній події, залежить лише від імовірності цієї події: що меншою є її ймовірність, то більшою є власна інформація, пов'язана з отриманням інформації про те, що ця подія дійсно відбулася.

Далі, за визначенням, міра власної інформації є додатною та адитивною. Якщо подія $C$ є перетином двох незалежних подій $A$ та $B$, то кількість інформації при оголошенні про те, що подія $C$ сталася, дорівнює сумі кількостей інформації в оголошеннях про подію $A$ та подію $B$ відповідно:

$\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)$.

Із врахуванням цих властивостей, власною інформацією $\operatorname {I} (\omega _{n})$, пов'язаною з виходом $\omega _{n}$ з імовірністю $\operatorname {P} (\omega _{n})$, є

$\operatorname {I} (\omega _{n})=\log \left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)=-\log(\operatorname {P} (\omega _{n}))$

Це визначення відповідає наведеним вище умовам. У наведеному визначенні не вказано основу логарифма: при застосуванні основи 2 одиницями $\displaystyle I(\omega _{n})$ будуть біти. При застосуванні логарифма за основою $\displaystyle e$ одиницею буде нат. Для логарифма за основою 10 одиницею буде гартлі.

Як швидке пояснення, кількістю інформації, пов'язаною з випадінням 4 аверсів (або будь-якого конкретного виходу) в 4 послідовних підкиданнях монети, буде 4 біти (ймовірність 1/16), а кількістю інформації, пов'язаною з отриманням результату, відмінного від вказаного, буде 0.09 біт (імовірність 15/16). Див. докладніші приклади нижче.

Інформаційна ентропія випадкової події — це математичне сподівання її власної інформації.

Власна інформація є прикладом власного оцінювального правила.

Приклади

• При підкиданні монети шансом «реверсу» є 0.5. Коли проголошується, що справді випав «реверс», то це дає кількість

I(«реверс») = log₂ (1/0.5) = log₂ 2 = 1 біт інформації.

• При викиданні правильного грального кубика ймовірність «четвірки» становить 1/6. Коли проголошується, що випала «четвірка», то кількістю власної інформації є

I(«четвірка») = log₂ (1/(1/6)) = log₂ (6) = 2.585 бітів власної інформації.

• При незалежному викиданні двох гральних кубиків кількість інформації, пов'язаної з {викидання 1 = «два» і викидання 2 = «чотири»}, дорівнює

I(«викиданням 1 є два і викиданням 2 є чотири») = log₂ (1/P(викидання 1 = «два» і викидання 2 = «чотири»)) = log₂ (1/(1/36)) = log₂ (36) = 5.170 біт.
Цей вихід дорівнює сумі окремих кількостей власної інформації, пов'язаних із {викидання 1 = «два»} і {викидання 2 = «чотири»}; а саме, 2.585 + 2.585 = 5.170 біт.

• В тій самій ситуації з двома гральними кубиками ми можемо розглядати інформацію, присутню в твердженні «Сумою двох гральних кубиків є п'ять»

I(«Сумою викидів 1 та 2 є п'ять») = log₂ (1/P(«викиди 1 та 2 дають у сумі п'ять»)) = log₂ (1/(4/36)) = 3.17 біт. Причиною (4/36) є те, що існує чотири варіанти з 36 можливих, щоби два кубики давали в сумі 5. Це показує, що складніші або неоднозначніші події теж можуть давати інформацію.

Власна інформація розбиття

Власною інформацією розбиття елементів у межах множини (або кластерування) є математичне сподівання інформації перевірного об'єкту; якщо ми обираємо елемент навмання, і спостерігаємо, в якому розділі/кластері він перебуває, то яку кількість інформації ми сподіваємося отримати? Інформацією розбиття $C$, в якому $\operatorname {P} (k)$ позначає частку елементів у межах розділу $k$, є

$\operatorname {I} (C)=\operatorname {E} (-\log(\operatorname {P} (C)))=-\sum _{k=1}^{n}\operatorname {P} (k)\log(\operatorname {P} (k))$

Відношення до ентропії

Ентропія — це математичне сподівання власної інформації значень дискретної випадкової величини. Іноді й саму ентропію називають «власною інформацією» випадкової величини, можливо, тому, що ентропія задовольняє $\operatorname {\mathrm {H} } (X)=\operatorname {I} (X;X)$, де $\operatorname {I} (X;X)$ є взаємною інформацією $X$ із самою собою.

Література

• C.E. Shannon, A Mathematical Theory of Communication, Bell Syst. Techn. J., Vol. 27, pp 379–423, (Part I), 1948. (англ.)
• Підручник «Теорія Інформації та Кодування» В. М. Плотніков

Посилання

• Приклади мір несподіваності [Архівовано 23 травня 2007 у Wayback Machine.] (англ.)
• Запис про «несподіваність» у глосарії молекулярної теорії інформації (англ.)
• Баєсова теорія несподіваності [Архівовано 19 серпня 2012 у Wayback Machine.] (англ.)