Теорема Шеннона — Гартлі

Теорема Шеннона — Гартлі в теорії інформації — застосування теореми кодування каналу з шумом до архетипічного випадку безперервного тимчасового аналогового каналу комунікацій, спотвореного гаусівським шумом. Теорема встановлює шеннівську ємність каналу — верхню межу максимальної кількості безпомилкових цифрових даних (тобто, інформації), яке може бути передане за такою комунікацією із зазначеною смугою пропущення в присутності шумового втручання, згідно з припущенням, що потужність сигналу обмежена, і гаусівський шум характеризується певною потужністю або потужністю спектральної густини. Закон названий на честь Клода Шеннона і Ральфа Гартлі.

Твердження теореми

Розглядаючи всі можливі багаторівневі і багатофазні методи кодування, теорема Шеннона — Гартлі стверджує, що ємність каналу $C$, що означає теоретичну верхню межу швидкості передачі даних, які можна передати з даною середньою потужністю сигналу $S$ через аналоговий канал зв'язку, підданий дії аддитивного білого гаусівського шуму потужності $N$ дорівнює:

$C=B\log _{2}\left(1+{\frac {S}{N}}\right),$

де

$C$ — ємність каналу, біт/с;

$B$ — смуга пропускання каналу, Гц;

$S$ — повна потужність сигналу над смугою пропускання, Вт або В²;

$N$ — повна шумова потужність над смугою пропускання, Вт або В²;

$S/N$ — відношення сигналу до шуму (SNR) сигналу до гаусівському шуму, виражене як відношення потужностей.

Історія розвитку

Протягом кінця 1920-х рр.. Гаррі Найквіст і Ральф Гартлі розробили фундаментальні ідеї, пов'язані з передачею інформації, з допомогою телеграфу, як системи комунікацій. У той час, це був прорив, але науки як такої не існувало. У 1940х рр.., Клод Шеннон ввів поняття здатності каналу, яке базувалося на ідеях Найквіста і Гартлі, а потім сформулював повну теорію передачі інформації.

Критерій Найквіста

У символьному вигляді:

$f_{p}\leqslant 2B,$

де $f_{p}$ — частота імпульсу (імп/с), і $B$ — смуга пропускання (Гц).

Теореми Шеннона для каналу з шумами

Теореми Шеннона для каналу з шумами (теореми Шеннона для передачі каналом із шумами) пов'язують пропускну здатність каналу передачі інформації та існування коду, який можливо використовувати для передачі інформації каналом із помилкою, яка прямує до нуля (при збільшенні довжини блоку).

Якщо швидкість передачі повідомлень менше пропускної здатності каналу зв'язку

$R<C,$

то існують коди і методи декодування такі, що середня і максимальна ймовірності помилки декодування прямують до нуля, коли довжина блоку прямує до нескінченності. Якщо ж

$R>C,$

то коду, на основі якого можна домогтися скільки завгодно малої ймовірності виникнення помилки, не існує.

Деталі

У даній теоремі визначено, що досягти максимальної швидкості (біт/с) можна шляхом збільшення смуги пропускання та потужності сигналу і, в той же час, зменшення шуму.

Теорема Шеннона — Гартлі обмежує інформаційну швидкість (біт/с) для заданої смуги пропускання і відношення «сигнал/шум». Для збільшення швидкості необхідно збільшити рівень корисного сигналу, відносно рівня шуму.

За відсутності шумів в будь-якому каналі з обмеженою смугою можна було б передати необмежену кількість безпомилкових даних за одиницю часу. Але реальні канали мають обмежені розміри і в них завжди присутній шум.

Дивно, але не тільки обмеження смуги пропускання впливають на кількість переданої інформації. Якщо ми комбінуємо шум і обмеження смуги пропускання, ми дійсно бачимо, що є межа кількості інформації, яку можна було передати, навіть використовуючи багаторівневі методи кодування. У каналі, який розглядає теорема Шеннона — Гартлі, шум і сигнал доповнюють один одного. Таким чином, приймач сприймає сигнал, який дорівнює сумі сигналів, що кодує потрібну інформацію і безперервну випадкову, яка представляє шум.

Це доповнення створює непевність щодо цінності оригінального сигналу. Якщо приймач володіє інформацією про ймовірність непотрібного сигналу, який створює шум, то можна відновити інформацію у оригінальному вигляді, розглядаючи всі можливі впливи шумового процесу. У випадку теореми Шеннона — Гартлі шум, як такий, створений гаусівським процесом з деякими відхиленнями в каналі передачі. Такий канал називають сукупним білим гаусівським шумовим каналом, так як гаусівський шум є частиною корисного сигналу. «Білий» має на увазі рівність кількості шуму у всіх частотах у межах смуги пропускання каналу. Такий шум може виникнути при впливі випадкових джерел енергії, а також бути пов'язаний з помилками, що виникли при кодуванні. Знаючи про ймовірність виникнення гаусівського шуму, значно спрощується визначення корисного сигналу.

Значення теореми

Пропускна здатність каналу і формула Гартлі

Порівнюючи пропускну здатність каналу і формулу Гартлі, ми можемо знайти ефективне число $M$ рівнів, які можна розрізнити:

$2B\log _{2}M=B\log _{2}\left(1+{\frac {S}{N}}\right),$

$M={\sqrt {1+{\frac {S}{N}}}}.$

Взяття квадратного кореня по суті повертає відношення потужностей до відношення напруг, таким чином число рівнів приблизно дорівнює відношенню середньоквадратичної амплітуди сигналу до шумового стандартного відхилення. Цю подібність у формі між пропускною здатністю за Шенноном і формулою Гартлі не варто розуміти буквально, що для безпомилкової передачі достатньо $M$ рівнів сигналу. Надлишкове кодування для усунення помилок зажадає більшого числа рівнів, але гранична швидкість передачі даних, до якої можна наблизитись з кодуванням, еквівалентна використанню того самого $M$ з формули Гартлі.

Див. також

• Гартлі
• Теорема Найквіста — Шеннона
• Адитивний білий гаусів шум

Посилання

• Herbert Taub, Donald L. Schilling (1986). Principles of Communication Systems. McGraw-Hill.
• John M. Wozencraft and Irwin Mark Jacobs (1965). Principles of Communications Engineering. New York: John Wiley & Sons.