Юлія Крилюк

Фізичний сенс ентропії

Анотація: у цій статті на основі аналізу розкрито універсальний фізичний зміст ентропії, введено поняття інфо-динамічної тотожності.

Ключові слова: інформація, енергія, ентропія, термодинамічна тотожність, інфо-динамічна тотожність.

Для опису «Енергії» та її аналога (інформації) використовують поняття Ентропії.

Поняття ентропії

Поняття ентропії є більш розробленим стосовно інформації, проте при найближчому розгляді з'ясову­ється, що тут немає визначеності, внесемо ясність.

Наведемо використовувані визначення ентропії:

1. Міра незворотного розсіювання енергії (безкори­сності енергії).

2. Величина, що характеризує ступінь невпорядко­ваності та тепловий стан Всесвіту (ентропія Всесвіту).

3. Статистичний сенс ентропії, – функція безладдя.

4. Міра числа варіантів, які відповідають певному конкретному розпізнаваному критерію.

5. Міра прихованої інформації.

6. Кількість прихованої мікроскопічної інформації.

7. Інформаційна ентропія – міра невизначеності деякої системи (у статистичній фізиці або теорії інформації).

За відсутності інформаційних втрат – чисельно дорівнює кількості інформації на символ повідомлення, що передається.

8. Фізичний сенс ентропії, – міра дисипації (розсіювання) енергії, і навіть міра оцінки енергії у контексті її придатності (чи ефективності) перетворення з теплоти на роботу.

9. Ентропія може бути виражена через параметри стану газу – температуру, тиск, об'єм.

З основної термодинамічної тотожності:

T×dS = dU + dA

де, dU – зміна енергії;

     dA – зміна роботи;

     T   – температура;

     dS – зміна ентропії

10. Ентропія Гіббса (також відома як ентропія Больцмана-Гіббса) для обчислення статистичної механічної ентропії термодинамічної системи:

S = - ln

де - ймовірність перебування системи в стані з номером i (1, ... N), позитивний множник виконує дві функції:

  його вибір рівнозначний вибору основи логарифму та вибору температурної шкали (у тому числі, він необхідний для зв'язування розмірностей).

У термодинаміці цей множник називається постій­ною Больцмана.

Підсумовування у цій формулі ведеться за всіма можливими станами системи – зазвичай, за 6N-вимірними точками для системи з N частинок.

11. Ентропія Цалліса – узагальнення стандартної ентропії Больцмана-Гіббса, запропоноване Костянтино Цаллісом для випадку неекстенсивних (неаддитивних) систем.

12. Ентропії Шеннона.

Приріст інформації дорівнює втраченій невизначе­ності, вимоги до виміру:

1. Мера повинна бути безперервною; тобто зміна значення величини ймовірності на малу величину має викликати малу результуючу зміну функції;

2. У разі, коли всі варіанти рівноймовірні, збільшення кількості варіантів має завжди збільшувати значення функції;

3. Повинна бути можливість зробити вибір в два кроки, в яких значення функції кінцевого результату має бути сумою функцій проміжних результатів.

Єдина функція, яка б задовольняла цим вимогам, має вигляд:

-k

де k-позитивна константа (і насправді потрібна тільки для вибору одиниці виміру ентропії; зміна цієї константи рівносильна зміні підстави логарифму).

Таким чином, ентропія є різницею між інформацією, що міститься в повідомленні, та тією частиною інформації, яка точно відома (або добре передбачувана) у повідомленні.

13. Ентропія Реньї – узагальнення ентропії Шеннона – є сімейством функціоналів, що використову­ються як міра кількісної різноманітності, невизначеності або випадковості деякої системи.

14. Ентропія Чисара …

Властивості:

1. «Енергія приймає безліч форм, але з них, тепло, тісно зрослася з ентропією».

2. Ентропія завжди зростає.

3. Загальна кількість ентропії у світі завжди зростає.

5. Закон невтрати ентропії: «В ізольованій системі ентропія не зменшується».

Якщо деякий час замкнута система перебуває у нерівноважному макроскопічному стані, то наступні моменти часу найімовірнішим наслідком буде монотонне зростання її ентропії.

Неважко зауважити, що навіть найбільш розроблений з погляду інформатики термін (визначення) Ентропія нагадує відомий вислів, – «тут читаємо, а тут рибу загортаємо».

Розкриємо глибший зміст формули Больцмана та її зв'язок із визначенням Ентропії Шеннона

Основа логарифму число «е»

e =

де n!

n! = 1×2×…n =

інтерпретується як кількість перестановок (упорядку­вання) множини з n елементів (1/ n!) – відображає таким чином ймовірність однієї з перестановок з «n».

Величина «е» універсальна для матеріального та віртуального (інформаційного) світу, наприклад, –

константа «е» означає максимально можливий річний прибуток за 100% річних та максимальну частоту капіталізації відсотків.

Множник

ln

,- характеризує необхідний час для сортування Алгоритмів злиттям.

Час сортування – основний параметр, що характери­зує швидкодію алгоритму, називається також обчислю­вальною складністю.

Неважко помітити, що вираз для Ентропії за формулою Больцмана-Гіббса майже тотожний виразу для інформаційної Ентропії за Шенноном

Формула Больцмана-Гіббса

S = - ln                                                                            

Формула Шеннона [1]

-k,                                                                        

якщо взяти за основу логарифму число «е».

Ми спостерігаємо аналогію віртуального (інформа­ційного) та реального Світу [3], [4].

Висновок:

Похідна теплоти за ентропією дорівнює абсолютній температурі.

Фізичний зміст похідної – це швидкість зміни величини чи процесу.

Відношення зміни енергії до зміни ентропії дорівнює абсолютній температурі, абсолютна температура відпові­дає швидкості зміни (трансформації) енергії.

Диференціал функції S має вигляд

dS= dQ/T

Квазистатичний процес у термодинаміці - відносно повільний (у межі - нескінченно повільний) процес (тобто перехід термодинамічної системи з одного стану до іншого)

dS= dQ/T= (1/T) × dU + (P/T) × dV

Тобто, Ентропія в загальному сенсі характеризує час, протягом якого вся «енергія» буде врівноважена (обчислена).

Таким чином, загальний зміст Ентропії в термодина­міці та інформатиці, – майже ідентичний.

Підтвердимо попередні висновки.

Маємо, -

основна термодинамічна тотожність [2],

TS = U + A.

(1)

Визначення ентропії за Больцманом-Гіббсом та за Шеноном:

S = - ln	(2)
S = -k	(3)

З подоби (2) та (3) (якщо взяти за основу логарифму число е) за аналогією з основною термодинамічною тотожністю сформулюємо основну інфо-динамічну тотожність (для енергії аналогічно):

×S = U – A, [4]

(4)

де – швидкість обчислення, яка є аналогом температури T = dQ/dS для фізичних об’єктів.

U- кількість інформації у замкнутій системі;

A-  кількість інформації, яка перебуває в обороті (неструктурована інформація (енергія));

×S, - кількість обчисленої (структурованої) інформації (енергії) у замкнутій системі.

Виходячи з формули 4 ентропія замкнутої системи інформації (енергії), -

S = (U – A)/, [4]                                                                                        (5)

тобто, Ентропія замкнутої системи інформації (енергії) дорівнює часу обчислення (структурування) інформації (енергії) системи.   

Список джерел

1. Шеннон К. Работы по теории информации и кибернетике. – М: Изд. иностр. лит., 2002.

2. Гиббс Дж. Термодинамика. Статистическая механика. Серия: Классики науки. М.: Наука, 1982. 584 с.

3. Шульга А.В. Науково-публіцистичне видання: Теория поля или физика магии: у 2т. Т.1. - Черкаси: Видавець Пономаренко Р.В.,2020. - 396 с. - ISBN: 978-966-2554-65-6 (т.1)  

https://www.researchgate.net/publication/355967105_Teorii_Pola_ili_Fizika_Magii_170420

4. Шульга А.В. Науково-публіцистичне видання: Енергія, інформація, вартість: – Черкаси: Видавець Пономаренко Р.В., 2023. – 128 с. - ISBN: 978-966-2554-78-6     

https://www.researchgate.net/publication/374008546_Energia_informacia_vartist_29082023