Інформаційна ентропія: відмінності між версіями
| [перевірена версія] | [неперевірена версія] |
Вилучено вміст Додано вміст
Bluelink 1 book for Перевірність (20240301)) #IABot (v2.0.9.5) (GreenC bot |
Tolsai (обговорення | внесок) Функція пропозицій посилань: додано 3 посилання. |
||
Рядок 143:
: <math>S=k_\text{B} \ln(W)</math>
де {{math|''S''}} є термодинамічною ентропією окремого макростану (визначену термодинамічними параметрами, такими як температура, об'єм, енергія тощо), {{math|''W''}} є числом мікростанів (різних комбінацій частинок у різних енергетичних станах), які можуть дати даний макростан, а {{math|''k<sub>B</sub>''}} є [[Стала Больцмана|сталою Больцмана]]. Передбачається, що кожен мікростан є однаково правдоподібним, так що ймовірністю заданого мікростану є {{math|''p<sub>i</sub> {{=}} 1/W''}}. При підставленні цих імовірностей до наведеного вище виразу для ентропії Гіббса (або, рівнозначно, ентропії Шеннона, помноженої на {{math|''k<sub>B</sub>''}}) в результаті виходить [[рівняння Больцмана]]. В термінах теорії інформації інформаційна ентропія системи є кількістю інформації, якої «бракує» для визначення мікростану при відомому макростані.
На думку {{нп|Едвін Томпсон Джейнс|Джейнса||Edwin Thompson Jaynes}} (1957 року), термодинамічну ентропію, як пояснюється [[Статистична механіка|статистичною механікою]], слід розглядати як ''застосування'' теорії інформації Шеннона: термодинамічна ентропія інтерпретується як така, що є пропорційною до кількості додаткової інформації Шеннона, необхідної для визначення детального мікроскопічного стану системи, яка залишається не повідомленою описом виключно в термінах макроскопічних величин класичної термодинаміки, з коефіцієнтом пропорційності, який є просто [[Стала Больцмана|сталою Больцмана]]. Наприклад, додавання теплоти до системи підвищує її термодинамічну ентропію, оскільки це збільшує число можливих мікроскопічних станів системи, які узгоджуються з вимірюваними значеннями його макроскопічних величин, роблячи таким чином будь-який повний опис стану довшим. (Див. статтю ''{{нп|термодинаміка максимальної ентропії|||Maximum entropy thermodynamics}}''). [[Демон Максвелла]] може (гіпотетично) знижувати термодинамічну ентропію системи з використанням інформації про стан окремих молекул, але, як показали {{нп|Рольф Ландауер|Ландауер||Rolf Landauer}} (з 1961 року) з колегами, щоби діяти, цей демон мусить сам підвищувати термодинамічну ентропію в цьому процесі, принаймні на кількість інформації Шеннона, яку він пропонує спочатку отримати й зберегти; і, таким чином, загальна термодинамічна ентропія не знижується (що розв'язує парадокс). [[Принцип Ландауера]] встановлює нижню межу кількості тепла, яке комп'ютер повинен генерувати для обробки заданого обсягу інформації, хоча сучасні комп'ютери є набагато менш ефективними.
Рядок 157:
# Кількість ентропії не завжди є цілим числом бітів.
# Багато бітів даних можуть не нести інформації. Наприклад, [[Структура даних|структури даних]] часто зберігають інформацію надмірно, або мають ідентичні розділи, незалежно від інформації в структурі даних.
Шеннонівське визначення ентропії, при застосуванні до джерела інформації, може визначати мінімальну пропускну здатність каналу, необхідну для надійного передавання джерела у вигляді закодованих двійкових цифр (див. застереження нижче курсивом). Цю формулу може бути виведено шляхом обчислення математичного сподівання кількості інформації, яка міститься в одній цифрі з джерела інформації. ''Див. також'' [[Теорема Шеннона — Гартлі|теорему Шеннона — Гартлі]].
Рядок 204:
Важливо не плутати наведені вище поняття. Яке з них мається на увазі, часто може бути зрозумілим лише з контексту. Наприклад, коли хтось говорить, що «ентропія» англійської мови становить близько 1 біта на символ, вони насправді моделюють англійську мову як стохастичний процес, і говорять про ''швидкість'' її ентропії. Шеннон і сам використовував цей термін таким чином.
Проте, якщо ми використовуємо дуже великі блоки, то оцінка посимвольної ентропійної швидкості може стати штучно заниженою. Це відбувається тому, що насправді розподіл ймовірності послідовності не є пізнаваним точно; це лише оцінка. Наприклад, припустімо, що розглядаються тексти всіх будь-коли опублікованих книг як послідовність, у якій кожен символ є текстом цілої книги. Якщо існує {{math|''N''}} опублікованих книг, і кожну книгу опубліковано лише одного разу, то оцінкою ймовірності кожної книги є {{math|1/''N''}}, а ентропією (в бітах) є {{math|−log<sub>2</sub>(1/''N'') {{=}} log<sub>2</sub>(''N'')}}. Як практичний код, це відповідає призначенню кожній книзі [[ISBN|унікального ідентифікатора]] і використання його замість тексту книги будь-коли, коли потрібно послатися на цю книгу. Це надзвичайно корисно для розмов про книги, але не дуже корисно для характеризування кількості інформації окремих книг або мови в цілому: неможливо відтворити книгу з її ідентифікатора, не знаючи розподілу ймовірності, тобто повного тексту всіх книг. Ключова ідея полягає в тому, що повинна братися до уваги складність імовірнісної моделі. [[Колмогоровська складність]] являє собою теоретичне узагальнення цієї ідеї, яке дозволяє розглядати кількість інформації послідовності незалежно від конкретної ймовірнісної моделі; воно розглядає найкоротшу [[Комп'ютерна програма|програму]] для [[Машина Тюрінга|універсального комп'ютера]], яка виводить цю послідовність. Такою програмою є код, який досягає ентропійної швидкості послідовності для заданої моделі, плюс кодовий словник (тобто, [[Статистична модель|ймовірнісна модель]]), але вона не може бути найкоротшою.
Наприклад, послідовністю Фібоначчі є 1, 1, 2, 3, 5, 8, 13, …. При розгляді цієї послідовності як повідомлення, а кожного числа як символу, існує майже стільки ж символів, скільки є символів у повідомленні, даючи ентропію близько {{math|log<sub>2</sub>(''n'')}}. Таким чином, перші 128 символів послідовності Фібоначчі мають ентропію приблизно 7 біт/символ. Проте цю послідовність може бути виражено за допомогою формули [{{math|F(''n'') {{=}} F(''n''−1) + F(''n''−2)}} для {{math|''n'' {{=}} 3, 4, 5, …}}, {{math|F(1) {{=}}1}}, {{math|F(2) {{=}} 1}}], і ця формула має значно нижчу ентропію, і застосовується до послідовності Фібоначчі будь-якої довжини.
| |||