Інформаційна ентропія: відмінності між версіями

: <math>\Eta_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg) = \log_b(n) < \log_b (n+1) = \Eta_{n+1}\bigg(\underbrace{\frac{1}{n+1}, \ldots, \frac{1}{n+1}}_{n+1}\bigg).</math>

 

 

=== Адитивність ===

 

=== Диференціальна ентропія ===

 

Ентропію Шеннона обмежено випадковими величинами, які набувають дискретних значень. Відповідна формула для неперервної випадкової величини з [[Функція густини ймовірності|функцією густини ймовірності]] {{math|''f''(''x'')}} зі скінченною або нескінченною областю визначення <math>\mathbb X</math> на дійсній осі визначається аналогічно, з допомогою наведеного вище вираження ентропії як математичного сподівання:

: <math>h[f] = \operatorname{E}[-\ln (f(x))] = -\int_\mathbb X f(x) \ln (f(x))\, dx.</math>

 

 

Хоча аналогія між обома функціями й наводить на роздуми, мусить бути поставлено наступне питання: чи є диференціальна ентропія обґрунтованим розширенням дискретної ентропії Шеннона? Диференціальній ентропії бракує ряду властивостей, якими володіє дискретна ентропія Шеннона,&nbsp;— вона навіть може бути від'ємною,&nbsp;— і відтак було запропоновано поправки, зокрема, {{нп|взяття границі щільності дискретних точок|||Limiting density of discrete points}}.

=== Нерівність Люміса&nbsp;— Уїтні ===

 

 

: <math> |A|^{d-1}\leq \prod_{i=1}^{d} |P_{i}(A)|</math>

* [http://www.shannonentropy.netmark.pl Інтерактивний інструмент для обчислення ентропії (простого тексту ASCII)]

* [//servertest.online/entropy Інтерактивний інструмент для обчислення ентропії (двійкового входу)]

 

{{Методи стиснення даних}}