Відкрити головне меню

У теорії інформації перехресна ентропія між двома розподілами ймовірності та над спільним простором подій вимірює середню кількість біт, необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей , замість «істинного» розподілу .

ВизначенняРедагувати

Перехресна ентропія двох розподілів   і   на тому самому ймовірнісному просторі визначається наступним чином:

 .

Вираз можна переформулювати за допомогою   — дивергенції Кульбака — Лейблера від   до   (також відома як відносна ентропія   відносно  )

 ,

де   — ентропія  .

Для дискретного випадку   і   над одним і тим же носієм[en]   це значить

 

 

 

 

 

(Рів. 1)

Для неперервного розподілу аналогічно:

 

 

 

 

 

(Рів. 2)

NB: Запис   іноді використовується як для перехресної ентропії, так і для спільної ентропії   і  .

Мінімізація перехресної ентропіїРедагувати

Мінімізація перехресної ентропії часто використовується під час оптимізації та для оцінки імовірностей рідкісних випадків.

Див. такожРедагувати