Информация в непрерывных сигналах, дифференциальная энтропия

Понятие взаимной информации

Энтропия – среднее количество информации на одно сообщение, которое формируется источником.

-потеря информации

T – среднее время передачи 1 сообщения

Физический смысл:

скорость форм.источника информации пердача – фильтрация, потери, помехи в процессе распространения в ЛС добавл. Помехи (случайные, КС) увеличивается количество информации в

Взаимную информацию м. определить:

Если воспользоваться теоремой умножения вероятностей для взаимосвязанных сообщений , то

получим: симметрич формула 2.Свойства взаимной информации

2.. , откуда следует

3.. , т. к. существуют потери в КС.

4. , т. к. существуют потери в КС.

5. Если В=А и учитывая, что , то , т.е. энтропия источника есть его собственная информация.

Информация в непрерывных сигналах, дифференциальная энтропия

Закон распределения для данного момента времени: . W(s) - плотность распределения.

При

. Энтропия источника генерирующего случайную величину

Непрерывный сигнал содержит число признаков

; ;

Работа систем аналоговой связи: суть состоит в том, что 1) мы интересуемся частью информации в аналоговом сигнале (сигнал подавляется фильтрацией), 2) изменение информации при передаче информации взаимная, а не полная энтропия нас интересует, рассматрив. приращ. энтропии вел-ны не будут 3) дифференциальная энтропия – характеристика непрерывного источника. Для непрер.случайн. величины с законом изменения- интеграл от произведения этой величины на закон распр.этой величины. х – непрерывная случайная величина.

Дифференц.энтропия нормального распределения зависит от мощности сигнала ; S, U – непрер-е случ.величины

; в {}усл.плотность вероя-и 2 источ-в

Понятие пропускной способности канала святи

1 [бит/символ] – пропускная способность потока.

Пропускная способность – характеристика канала связи – экономичность информации. Экономия энергии и временных затрат на передачу.

2. [Бит/с]

Достигаем max С за счет скремблирования, фильтрации, переноса спектра. При этом свойства канала используется наилучшим образом.

- передачи КС, достигаемая за счет предварительного преобразования сигнала. Экономичность представления сигналов в этом канале, оценивается Бит/симв

передачи в КС, достигаемое за счет оптимизации временных характеристик сигналов, оптимизации частот этих сигналов.

Пропускная способность – некий предел к которому стремится скорость передачи. Реальные нагрузки КС< С пропускной способности канала

Способ кодирования передачи бит как процесс во времени. Время, тратившееся на передачу одного символа – техническая скорость передачи (Бит/с). Коэффициент передачи = отношению скорости передачи к пропускной способности - для дискретных каналов.

Пропускная способность непрерывного канала связи

F-полоса пропускания КС, те диапазон частот. - интервал дискретизации.

Пропускная способность на один отсчет -

.Дифференциальная энтропия – энерг характ источника, условн.энтропия- потери в КС.

Пусть .

дифференциальная условная энтропия сообщения Z при известном U.

дифференциальная энтропия на выходе КС

Поскольку шум аддитивный, то ;

дифференциальная энтропия

Чем шире полоса частот, тем больше информативных параметров источника можно использовать.Чем больше полоса, тем больше пропускная способность. Cкорость нарастания ограничена, при уменьшении шумов мы не можем сделать их 0, и параметры сигнала мы не можем сделать .

Параметры кодовых последовательностей

СЗР – старший значащий разряд, МЗР – младший значащий разряд

Параметры: - основание кода m (для доичных систем = 2);

-знакоместо (каждый разряд со свом номером);

-номер разряда;

-количество элементов в кодовом слове (n);

-число кодовых слов (M, );

-избыточность;

;

, R- относительная скорость кода, m – максимально число комбинаций

- расстояние по Хеммингу .

- кодовое расстояние

Кодовое расстояние – минимальное отличие одной таблицы от другой, .

Классификация кодов

Коды классифицируются по нескольким признакам:

1.Равномерные и неравномерные коды.

Равномерные содержат одинаковое количество разрядов во всех кодированных комбинациях, позволяют экономично представлять информацию.

Коды с переменной длиной слова называются неравномерными

2.Непрерывныеи блочные коды –

Непрерывные коды передаются непрерывно, никаких разделителей нет между кодовыми наборами, для различения начала и конца используют специальные наборы, которые не повторяются, т.е. начало – одно, конец – другое.

Блочные коды-слова отделены разделителями. Характеризируются тем, что такие коды имеют начало и конец специально выделенным признаком

3. Примитивные и избыточные коды. Примитивные используют все кодовые наборы. Избыточные коды используют только ряд или часть кодовых наборов.

Эффективное кодирование.

1.Эффективное кодирование включает те способы кодирования при которых уменьшается избыточность кода, с учетом статистических характеристик поступающих на вход сообщений, выравнивают статистические характеристики кода, приближая появление элементов кода к равновероятным.

2.ЭК снижает/уменьшает корреляционные связи между кодовыми комбинацими.

ЭК устраняет статическую связь между элементами кодов и наборов

Требования к кодовым последовательностям, передаваемых телекоммуникационными каналами связи

1.Наименьшая ширина спектра при требуемой скорости рпередачи.

2.Помехоустойчивость кода (Когерентный прием обеспечивает высокую помехоустойчивость, но требует синхронизации)

3.Низкая стоимость реализации

4.Возможность гальваническая развязки между приемом и передачей.

5.Возможность передачи постоянного тока

6.Возможность синхронизации между приемником и передатчиком

Критерий Неймана-Пирсона

;

Допускаются ошибки одного вида, и почти исключается вероятность – другой. Варьируя порогом, можно варьировать вероятностью. Можно зафиксировать значение вероятность для порога какого-то события. Критерий – схема предпочтений.

ПРЕОБРАЗОВАНИЕ НЕЛИНЕЙНОСТЬЮ ОБЩЕГО ВИДА СУММЫ ДВУХ ГАРМОНИЧЕСКИХ СИГНАЛОВ: ИНТЕРМОДУЛЯЦИОННЫЕ СОСТАВЛЯЮЩИЕ ТРЕТЬЕГО ПОРЯДКА.

+ + +

- полезный сигнал, - помеха. Положим, что - близки, получис следующий спектральный анализ:

41 ОБРАТНАЯ СТОРОНА

Получим в фильтре еще и помеху из-за не линейности. (2 - ) -> , следовательно фильтрацией не подавляется.В выходном сигнале появляются новые спектральные составляющие с частотами (2ω 2-ω 1), (2ω 2+ω 1), (2ω 1-ω 2), (2ω 1+ω 2), 3ω 1 и 3ω 2. Т.о. нелинейность 3-го порядка является причиной возникновения интермодуляционных компонент 3-го порядка, которые по частотам близки к частоте полезного сигнала.

Подавление этих составляющих возможно за счет уменьшения слагаемых нелинейности 3-го порядка и более высоких порядков в описании характеристики НЭ. Выбор усилителя и преобразователя элементов с малыми нелинейностями передаточной хар-ки.

42. преобразование закона распределения случайного сигнала однозначной гладкой не линейностью

F(x)-обозначенная функция, , ,

2 формы распределения: - дифференциальный (диапазон ) и интегральный.

Т.к.ф-ция однозначная, можем построить обратную ф-цию

Вероятность того, что х лежит в [x₁, x₁+ ]:

= , тогда при ; ;

;

43. преобразование закона распределения случайного сигнала неоднозначной гладкой нелинейностью.

2х~y, x~W(x) F(x)-неоднозначная ф-ция. y~W_y(y)-?

1. 2.

Т.е. они не перкрывают друг друга, а дополняют, т.е.

Если есть ф-ция, связывающая вх и выход, можно по всем бесконечно малым участкам получить преобразование

44. преобразование закона распределения случайного сигнала существенной нелинейностью: пример применения метода.

F(x) – существенно НЛ, x~W(x). y~W_y(y)-?

Для каждого ,

Если = 0, то линия горизонтальная бесконечна и выражение требует корректировки. Закон распределения превращается в функцию

НЛ в виде ф-ции насыщения (2-стороннее ограничение)

Сигнал поступает на вход НЛ имеет вид кривой, вх.сигнал изменяется на , а W пок.вертикаль появления в той или иной области.

44 ОБРАТНАЯ СТОРОНА

Вероятность попадания в бесконечный интервал:

1. , ;

2. , ,

62.СООТНОШЕНИЕ СИГНАЛ- ПОМЕХА В НЕПРЕРЫВНОМ И ДИСКРЕТНОМ КАНАЛЕ СВЯЗИ.

НЕПРЕРЫВНЫЙ КАНАЛ СВЯЗИ

(по правилу Парсевиля)

Сигнал воспроизводится с худшей точностью и соотношение r является наиболее объективной оценкой сигнала

ДИСКРЕТНЫЙ КАНАЛ СВЯЗИ

, - инф.признак

62. ОБРАТНАЯ СТОРОНА

-дискретный канал(действ. в теч-и тактового интервала)

Для борьбы с помехами необх. накапливать энергию, с пом. интегрирования.

Сущ-т положит.и отрицат.выбросы помехи.К концу интегрир-я положит. компенсируют отрицат. выбросы.

Зависимость вероятности ошибочного приема бита от отношения энергии на один передаваемый бит к СПМ помехи

-энергия бита ( - энергия сигнала длительностью , соответствующего одному передаваемому биту).

-спектральная плотность мощности помехи.

По мере интегрирования сигнала накапливается энергия и каждая следующая секунда наблюдения, подтверждает, что мы нгаблюдаем «1»

ПОМЕХИ И ШУМЫ ПЕРЕДАТЧИКОВ

Передатчики генерируют кроме осн.спектра дополнительные компоненты (высшие гармоники, интермод. составляющие спектра), которые м.б. помехами не только для др. КС, но и для собственной КС.

Наиболее существен-ым источником помех явл-ются:

нелинейности вых.. каскадов, передатчиков. (для классов работы В, АВ, С);

шумы генераторов несущих, построены по схеме синтезатора;

комбинационные составляющие в нелинейных звеньях (в модуляторах)[комб.составл-е – сложение, вычитание частот];

интермодуляционные составляющие (в модуляторах) [интермодуляция- взаимодействие компонент 1сигнала 1, 2-7 порядки].

В передатчике создаются обширные области с интермодул-ми и комбинированными составляющими. Их появление приводит к:

- мощность сплитера – неумещение сигнала в положенной полосе,

- мощность помех;

Структура сигнала, подаваемого в ЛС:

65. обратная сторона

x(t) – пост. от возбудителя, a(t) – несущ.комб, S₁(t)-модулир.сигнал, усилив-ся и под-ся в ЛС S_m(t)

вых..сигнал:

, - полезный, -помехи; ; ,

В полосе частоты сигнала могут находится производные сигнала, они м. попасть в полосу спектра соседних КС. Мертвая зона – окно, в которм могут находиться только помехи.

В качестве меры качества работы передатчика в плане интермодуляции берут отношение мощность боковых полос к мощности помех в окрестности несущего колебания («мертвой зоны»)

Меры по улучшению:

- повышение линейности КС (усилители, генераторы д.б. максим-но линейные), использовать линейные и параметрические звенья, оптимизация параметров, использовать генераторы с чистыми синусоидами с минимальными примесями,

- Полосная фильтрация входящих и выходящих сигналов от посторонних шумов 64. обратная сторона

- горизонтальная поляризация. Если (вертикальная поляризация) имеют одинаковую поляризацию – наилучший прием.

4. Соединение ЛС с входящими (выходящими) цепями аппаратуры.