Понятие и свойства энтропии. Расчет энтропии для зависимых событий.

Энтропия представляет собой численную меру неопределенности в результатах опыта.

 

Единица измерения энтропии при двух равновероятных исходах называется бит

Энтропия, вносимая каждым из n равновероятных исходов равна:

= = =

Полная энтропия опыта с n неравновероятными исходами

=

Энтропия является мерой неопределенности опыта, в котором проявляется случайные события. Энтропия равна средней неопределенности всех возможных его исходов При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами.

Энтропия произведения независимых опытов равна сумме энтропий отдельных опытов.

=

- условная энтропия опыта B, при условии, что известен результат опыта A.

=

=

=

Свойства условной энтропии:

1. Неотрицательна: , условная энтропия равна нулю , если любой исход опыта A полностью определяет исход опыта B;

2. Если опыты A и B независимы, то , причем ,

3.

 

Энтропия и информация. Формулы Хартли и Шеннона.

Разность между безусловной H(B) и условной энтропиями показывает какие сведения об опыте B были получены в ходе опыта A. Эта величина может рассматриваться как информация об опыте B, содержащаяся в опыте A

=

I(A,B) 0, I(A,B)=0 если A и B независимы.

Энтропия опыта равна той информации, которая получается в результате его осуществления I(A,A)=H(A), так как (A)=0.

Формула Хартли:

Формула Шеннона: I=

Количество информации это числовая характеристика, отображающая ту степень неопределенности, которая исчезает после получения сообщения. Количество информации численно равно количеству вопросов с равновероятными бинарными вариантами ответов, которые необходимо задать, чтобы полностью снять исходную неопределенность задачи.

 

При получении информации в 1 бит неопределенность уменьшается в два раза. Ответ на бинарный вопрос содержит 1 бит информации для равновероятных исходов и менее одного бита в случае неравновероятных исходов

 

Информация и алфавит. Относительная избыточность сообщений.

Получение очередного символа сообщения можно рассматривать как случайное событие. Следовательно, с появлением очередного символа связано некоторое количество информации. Каждый знак алфавита, с помощью которого передается сообщение, несет в себе определенное количество информации.

Сообщения, в которых вероятность появления каждого отдельного знака не меняется со временем, называются шенноновскими, а порождающий сообщения отправитель - шенноновский источник

- убывающая последовательность.

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: