Напишите о первой прямой теореме Шеннона

Наличие шума в информационной системе приводит к нарушению соответствия между входным и выходным сигналами

При рассмотрении вопросов передачи информации в условиях шума были получены наиболее важные результаты теории информации, которые можно назвать крупными научными открытиями. К ним относятся:

– первая теорема Шеннона (прямая и обратная);

– вторая теорема Шеннона.

Из первой теоремы следует, что как бы ни был сильным шум, можно создать условия, при которых возможна передача информации при сколь угодно малой вероятности ошибки.

Из второй теоремы следует, что не потребуется до бесконечности понижать скорость передачи при повышении требований к малости ошибки.

В канале связи с помехами всегда можно получить сколь угодно малую вероятность ошибочного приёма сообщений, если выполняется условие  

<С

Доказательство. Рассмотрим проблемы, возникающие при передаче дискретных сообщений по каналам с шумом (рис. 11.3). 

На вход КК поступает одна из N0 последовательностей символов, которую надо передать по каналу связи без ошибок. Число возможных последовательностей резко увеличивается, но КК работает только с N0 из них разрешёнными. Проблема состоит в том, чтобы выяснить, возможно ли такое размещение N0 переданных последовательностей среди возможных N входных и такое разбиение на группы, чтобы вероятность ошибки не превышала сколь угодно малой заданной величины.

Для доказательства вспомним, что среди всех последовательностей длины n есть

– высоковероятные (типичные)  ;

– высоковероятные принимаемые )  ;

– число искажающих высоковероятных последовательностей шума  ,т. е. всего от  последовательностей может произойти принятая последовательность длины n, а каждому отправленному сигналу соответствует принимаемых.

Пусть производительность источника Vист < C. При этом число разрешённых последовательностей .Тогда необходимо выбрать =  последовательностей из =  возможных комбинаций, передать по каналу и потом выделить  из общего числа . Если мы разместим Mp разрешённых сигналов случайным образом на множестве Mобщ, то вероятность того, что последовательность относится к числу разрешённых 

Принятому сигналу соответствует  переданных последовательностей.

Вероятность того, что ни один из сигналов не является разрешённым, кроме одного переданного, равна

Это средняя вероятность безошибочного приёма.

Так как Vист < C = H(X) – H(X / Y), то Vист – H(X) = –H(X / Y) – ,  > 0, и, подставляя последнее выражение в формулу (11.1), получим

По правилу Лопиталя, учитывая, что

откуда следует, что  т. е. при случайном кодировании блоками достаточной длины вероятность ошибки может быть сделана сколь угодно малой (рис. 11.4).

⇐ Предыдущая234567891011Следующая ⇒

Поделиться: