РАЗДЕЛ 4. Теория информации и копирования

1. Информация, данные, сигналы. Источники информации и ее носители. Количество информации и энтропия. Формулы Хартли и Шеннона. Характеристики процесса передачи информации. Математические модели каналов связи и их классификация. Помехоустойчивость передачи информации. Пропускная способность каналов связи. Теорема Шеннона для каналов без помех и с ними.

Под информацией понимают совокупность сведений о каких-либо событиях, процессах, явлениях и т.п., рассматриваемых в аспекте их передачи в пространстве и во времени.

Данные - это сведения, которые зафиксированы на каком-либо носителе - бумаге, диске, пленке. Эти сведения должны быть в форме, пригодной для хранения, передачи и обработки. Дальнейшее преобразование данных позволяет получить информацию.

Сигнал - материальный носитель информации, есть любой физический процесс, параметры которого отображают сообщение. Сигналы могут быть: электрические, акустические, оптические, электромагнитные. Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. Сигнал есть функция времени.

Сообщения передают с помощью сигналов, которые являются носителями информации - объект или среда, используемый для хранения или передачи информации. Основным видом сигналов являются электрические сигналы. В последнее время все большее распространение получают оптические сигналы, например, в волоконно-оптических линиях передачи информации.

Источник информации - материальный объект или субъект, способный накапливать, хранить, преобразовывать и выдавать информацию в виде сообщений или сигналов различной физической природы. источники информации: люди, документы, продукция, средства обработки информации, черновики и отходы производства, материалы и технологическое оборудование.

Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений, скорость передачи информации.

характеристикой сообщений является логарифмическая мера количества информации Эта формула предложена Р.Хартли в 1928 г. как мера количества информации.

Определение количества информации Пусть сообщение состоит из одного символа. Если вероятности появления всех символов одинаковы и равны P = 1/m, то количество информации, которое переносит символ, можно выразить как . Здесь количество информации связано с вероятностью появления символа. В реальных сообщениях символы появляются с различными вероятностями , поэтому . Среднее количество информации H(A), которое приходится на один символ источника сообщений можно найти усреднением по всему объему алфавита. (1) Эта величина называется энтропией источника дискретных сообщений. Формула (1) носит название формулы Шеннона.

Энтропия есть мера неопределенности в поведении источника сообщений. При вероятностном подходе состояние источника информации характеризуется неопределенностью. Неопределенность снижается при приеме сообщения, т.е. получении информации. Поэтому получаемая информация, приходящаяся в среднем на один символ источника сообщений, количественно определяет степень уменьшения неопределенности.

Свойства: -Энтропия величина вещественная, ограниченная и неотрицательная.

- Энтропия равна нулю, если с вероятностью единица выбирается один и тот же символ.

- Энтропия максимальна, если все символы источника появляются независимо и с одинаковой вероятностью: mPlog P=m(1/m)log(1/m)=logm.

Если символы являются взаимосвязанными (коррелированными друг с другом), то используется понятие условной энтропии где – условная вероятность появления символа после символ .

Из-за корреляционных связей символов и неравновероятного их появления в реальных сообщениях снижается среднее количество информации, которое переносит один символ. Эти потери информации характеризуются коэффициентом избыточности

– максимальное количество информации, которое может переносить один символ, H – количество информации, которое переносит один символ в реальных сообщениях (например, для европейских языков ).

Наиболее часто основание логарифма в (1) принимают равным 2. При этом единицей количества информации является бит (binary digit).

Производительностью источника сообщений называется среднее количество информации, выдаваемой источником в единицу времени, а именно

[бит/с].

Для каналов передачи информации вводят аналогичную характеристику – скорость передачи информации C. Максимальное еѐ значение называется пропускной способностью канала. Для дискретного канала

[бит/с], (3)

где V– скорость передачи электрических кодовых сигналов.

⇐ Предыдущая567891011121314Следующая ⇒

Поделиться:

Популярное:

1. E) Теория государства и права
2. VI. ТЕОРИЯ РОЛЕЙ Я.Л. МОРЕНО
3. Анна Александровна Сбитнева Литературное редактирование: история, теория, практика
4. Б1.В.ДВ.7.4 «Логика и теория аргументации»
5. Б1.В.ОД.8 «Теория эволюции и современные проблемы естествознания»
6. Белково-коацерватная теория Опарина
7. Бюрократическая теория организации
8. Вопрос 1. Какое определение Маркетингу дал Филип Котлер и на чем базируется теория маркетинга?
9. Вопрос 1. Теория государства и права в системе общественных наук
10. Вопрос 1. Теория государства и права как наука. Ее предмет и методы.
11. Вопрос 2 Теория государства и права в системе юридических и гуманитарных наук.
12. Гегелевская теория отрицания и концепция социального воздействия на преступность. «Карающий императив» Канта. Идеи Канта о справедливости и концепции общей превенции.