Перехресна ентропія: відмінності між версіями
| [перевірена версія] | [перевірена версія] |
Вилучено вміст Додано вміст
м →Визначення: виправлення недоперекладу з англійської |
доповнення |
||
Рядок 40:
[[Метод перехресної ентропії|Мінімізація перехресної ентропії]] часто використовується під час [[оптимізація|оптимізації]] та для оцінки імовірностей рідкісних випадків.
== Застосування у машинному навчанні ==
У контексті машинного навчання перехресна ентропія є мірою помилки для задачі {{нп|багатокласова класифікація|багатокласової класифікації||Multiclass classification}}. Зазвичай «істинний» розподіл (той, якому намагається відповідати алгоритм машинного навчання) виражається в термінах [[Унітарний код|унітарного кодування]] ({{lang-en|one-hot}}).
Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:
{| class="wikitable"
|-
! Pr(Class A) !! Pr(Class B) !! Pr(Class C)
|-
| 0.0 || 1.0 || 0.0
|}
Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має 0% ймовірності бути класом A, 100% ймовірності бути класом B і 0% ймовірністю бути класом C.
Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:
{| class="wikitable"
|-
! Pr(Class A) !! Pr(Class B) !! Pr(Class C)
|-
| 0.10 || 0.70 || 0.20
|}
Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як [[Функція втрат|функцію втрати]]. Застосуємо формулу (Рів. 1):
<math>H(p,q) = - (0.0*\ln(0.1) + 1.0*\ln(0.7) + 0.0*\ln(0.2)) = -\ln(0.7) \approx 0.36 </math>
== Див. також ==
| |||