Закон аддитивности информации

Мы рассмотрели ситуации, когда источник информации формирует одно из K возможных сообщений. Как правило, в реальной ситуации передается несколько сообщений подряд. Например, передача текста представляет собой последовательную передачу буквы за буквой. Общая постановка в этом случае такова: источник информации передает сначала одно из K сообщений, затем еще одно из K сообщений и т. д. Каково же в этом случае (если передается подряд N букв) количество информации, доставляемое получателю? Здесь требуется просуммировать N одинаковых слагаемых

(1.2)

где N — число сообщений, следующих друг за другом от источника информации к ее получателю. В записи (1.2) использовано свойство логарифмов и правило произведения. Что касается первого, то логарифмы вам хорошо знакомы из школьного курса математики, а второе относится к комбинаторике, и его следует пояснить.

Примечание

Допустим, объект A может быть выбран L способами, а для выбора объекта B существует M способов. В этом случае комбинация объектов A и B может быть выбрана L × M способами. Это и есть правило произведения, и оно распространяется и на большее число объектов.

Пример

Будем считать, что каждый символ текстового сообщения кодируется одним байтом. Вопрос заключается в определении количества информации в сообщении " Не ошибается тот, кто ничего не делает! ". Для начала необходимо подсчитать число символов в данной фразе, что мы и сделаем — получается 39. Каждый символ несет 8 бит (один байт) информации. После этого следует использовать соотношение (1.2), в котором в качестве N выступает 39, а по условию задания равно 8 бит. В результате перемножения 39 на 8 получим 312 бит. Это и является ответом на вопрос о емкости рассматриваемого информационного сообщения.

Вероятность и формула Шеннона

Таким образом, мы рассмотрели один подход к определению количества информации. Однако только им теория информации не ограничивается. Далее разберем еще одну возможность определения количества информации. Однако, прежде чем переходить к необходимым соотношениям, рассмотрим один наглядный пример, поясняющий предмет разговора. Скажем, в очередном прогнозе погоды мы услышали, что завтра будет холодный день, например, температура составит –15 градусов. При этом если в предыдущие дни было также холодно, то подобное известие не несет особой новизны. Однако если мы услышим в прогнозе, что завтра ожидается резкое потепление, то информации данное сообщение принесет нам существенно больше, чем предыдущее.

Неожиданность или, наоборот, очевидность события (сообщения) для получателя количественно описывается с помощью понятия " вероятность" , которое характеризует степень достоверности события. Вероятностьможет принимать любые значения в интервале от 0 до 1. Если некоторое событие должно произойти наверняка, то вероятность такого события равна единице. Если же, напротив, событие ни в коем случае не должно произойти, то его вероятность равна 0. Таким образом, вероятность события, которое может произойти либо не произойти, лежит в интервале между нулем и единицей.

Если некоторое событие имеет вероятность P, то количество информации, которое приносит получателю сообщение о данном событии, вычисляется по формуле:

(1.3)

Пример

Сколько информации несет сообщение о том, что тетраэдр при подбрасывании падает на синюю грань (для определенности отметим, что у тетраэдра четыре грани, а цвета выберем такие — синий, зеленый, красный и желтый)? Поскольку вероятности выпадения граней одинаковы, то вероятность (P) падения тетраэдра на синюю грань равна ¼. Подставив это значение в соотношение (1.3), получим 2 бита.

Пример

Допустим, в корзине 16 шаров, которые пронумерованы числами (1, 2, ..., 16). Человек должен случайным образом извлечь один шар. Вероятности извлечения шаров одинаковы. Сколько информации несет сообщение о том, что был извлечен шар под номером 9? Здесь, учитывая, что P = 1/16 для каждого шара, то в соответствие с формулой (1.3) получим 4 бита.

Соотношение (1.3) определяет количество информации, доставляемое получателю конкретным сообщением. Однако существует еще одно соотношение, определяющее среднее количество информации, доставляемое получателю от источника информации. В 1948 г. американский математик К. Шеннон предложил формулу для вычисления среднего количества информации от источника для сообщений с различными вероятностями:

(1.4)

где — вероятность i-го сообщения, а суммирование производится по всем сообщениям (общее количество которых — K). Для используется термин " энтропия источника сообщений".

Пример

Допустим, что мы подбрасываем монету с дефектом, а именно, орлом она выпадает чаще, чем решкой. Для определенности положим, что вероятность выпадения решки равна 0.3, а вероятность выпадения орла — 0.7. Вопрос заключается в том, какое количество информации в среднем мы получаем после выполнения очередного броска?

Вычисление количества информации по формуле (1.4) дает . Далее после выполнения технических действий получаем 0.881 бита. Это меньше, чем в случае равновероятных событий, когда выпадение орла и решки одинаково ожидаемо. Понятно, что в случае дефектной монеты сообщение о том, что выпал орел несет меньше неожиданности (оно более предсказуемо), чем сообщение о том, что выпала решка.

Процесс передачи информации

Информация является таковой, если имеется ее получатель (человек или система, которым информация нужна или представляет для них интерес). И наиболее сложный технический момент связан с передачей информации. При этом можно выделить источник информации, линию связи (это может быть проводная, беспроводная, акустическая, визуальная связь) и приемник (получатель) информации.

Сообщение, подлежащее передаче, может представлять собой последовательность букв, образующих слова. Оно может быть также речевым сообщением или музыкальным произведением. Наконец, сообщением может быть изображение (фотография). В самом словосочетании " источник сообщений" подчеркивается то обстоятельство, что система связи позволяет передать сообщение, выбранное из множества возможных элементарных сообщений для данной системы. Это множество возможных элементарных сообщений называется алфавитом источника сообщений. А количество возможных элементарных сообщений представляет собой мощность источника сообщений. Так, если источник сообщений формирует сочетания букв русского языка, то совокупность букв является алфавитом источника, а мощность такого источника информации равна 32 (если не делать различий между е и ё, то в русском языке 32 буквы).

Учитывая, что информация часто передается на большие расстояния, возникают проблемы с качеством ее доставки. В этом случае любое сообщение должно быть представлено так, чтобы без ошибок (без искажений) дойти до получателя. Скажем, при передаче информации голосом от человека человеку часто возникает проблемы слышимости. В этом случае, если расслышать переданные слова не удается, то можно попросить повторить фразу или подойти поближе. При телефонной связи также часто возникает проблема различимости исходного сообщения. Еще более сложная ситуация с современными цифровыми системами передачи данных. В них любая информация представляет собой набор битов (единиц и нулей), которые в совокупности несут полную информацию о тексте, звуке и видеоизображении. Каждый бит на аппаратном уровне в вычислительной системе представляет собой один из двух уровней напряжения, которые фиксируются в электронных схемах. И для того, чтобы, скажем, на экране монитора компьютера отобразилась информация о фрагменте текста, система должна выполнить преобразование — из кода (набора битов) определенного символа непосредственно в визуальное представление символа. Подчеркнем наиболее важное из сказанного — в вычислительных системах информация представляется в виде нулей и единиц и хранится достаточно надежно.

Однако для передачи этих данных на большие расстояния требуются дополнительные технические средства. Дело в том, что если мы хотим передать на расстояние набор битов (нулей и единиц), то необходимо использовать какой-нибудь физический процесс. Например, на рис. 1.1 показано соответствующее изменение напряжения во времени. Фактически в этом случае каждый бит передается по проводу в течение определенного интервала времени (T₀). Система, которая принимает информацию, воспринимает эти уровни напряжения и переводит результат в набор битов, которые уже могут быть однозначно интерпретированы. Однако использование ступенчатой функции, приведенной на рис. 1.1, при передаче на значительное расстояние приводит к искажениям. В этом случае принимающая сторона может увидеть заметно отличающуюся от первоначальной функцию (например, в виде, представленном на рис. 1.2). И в ряде случаев правильно восстановить переданный набор битов достаточно сложно. Все эти трудности связаны с действием шумов и многочисленных помех.

Рис. 1.1. Процесс передачи битов информации во времени

Рис. 1.2. Искажения в процессе передачи информации

Для устранения описанных проблем существует специальный компонент — модем(сокращенное название от " модулятор/
демодулятор" ). Он производит много полезных действий и самое важное из них заключается в том, что модем преобразует биты в сигналы, которые распространяются на далекие расстояния без искажений (точнее, без искажений, которые мешают качеству связи). Разумеется, модемы на приемной стороне производят и обратное преобразование — принятые сигналы в биты информации.

В модуляторе бит, соответствующий нулю, преобразуется в один сигнал, а бит, соответствующий единице, преобразуется в другой сигнал. Эти два сигнала должны друг от друга хорошо отличаться. В качестве сигналов используются гармонические функции (функции sin и cos). При этом для обеспечения отличий одного сигнала от другого часто применяются разные частоты (частота одного гармонического колебания выбирается отличной от частоты другого). Дело в том, что высокочастотные гармонические колебания хорошо передаются на удаленные расстояния без значительных искажений. На приемной стороне располагается другой модем, который делает обратное преобразование и каждый принятый сигнал заменяется соответствующим битом. При этом даже если принятый сигнал искажается, модем может правильно решить — какой сигнал был передан. Для этого в демодуляторе принимается решение — на какой из исходных сигналов принятая функция времени " больше похожа". Данная процедура реализуется с помощью согласованной фильтрации, но этот вопрос выходит за рамки рассматриваемого курса.

Модемы имеют свои технические характеристики, и наиболее важной является информационная скорость — какое количество битов в секунду передает модем. Реально модемы работают достаточно быстро, их скорость измеряется в килобитах в секунду (Кбит/с) и даже в мегабитах в секунду.

Пример

Скорость передачи через модемное соединение равна 56 Кбит/c. Передача текстового файла через это соединение заняла 2 секунды. Требуется определить, сколько символов содержал переданный текст, если на каждый символ отводится 8 бит.

Известно, что 1 Кбит составляет 1024 бита. Таким образом, за 2 секунды передается: 56 × 1024 × 2, что дает 114 688 бит. По условию для каждого символа отводится 1 байт или 8 бит. В результате требуется разделить 114 688 бит на 8 бит, что приводит к ответу 14 336 символов.

Кроме преобразования битов в сигналы модемы выполняют еще несколько полезных функций. Одна из них связана с уплотнением информации. Поясним это на примере. Допустим, мы передаем сообщение, составленное из букв некого алфавита. При этом одни буквы встречаются в сообщении значительно чаще, чем другие. Для конкретности пусть в алфавите источника информации будут только три буквы — A, B и С. При этом статистика говорит о том, что частота появления буквы А в тексте составляет 50% (для любой буквы конкретного алфавита такую статистику легко подсчитать — необходимо взять толстую книгу и проанализировать суммарное количество различных букв). Для букв B и С будем считать, что частоты появления составляют по 25%. Очевидно, что если для передачи букву А закодировать одним битом (скажем единицей), а другие буквы двумя битами (В — 00, С — 01), то количество битов в большом сообщении в среднем будет меньше по сравнению с ситуацией, когда на каждую букву приходится одинаковое количество битов.

Так, в рассматриваемом случае при передаче сообщения из 1000 букв потребуется в среднем: 500 букв умножить на 1 бит плюс 500 букв умножить на 2 бита. В результате это составит 1500 бит (в среднем! ). При выделении же на каждую букву целых двух бит понадобится 2000 бит. Понятно, что при больших передаваемых объемах информации подобный выигрыш существенен. И модемы данную процедуру, которая называется эффективным кодированием, выполняют.

Кроме того, как мы уже упоминали, при передаче информации возможны ошибки. Хотя сигналы, соответствующие нулю и единице, подбираются максимально отличающимися друг от друга, тем не менее, ошибки все-таки возможны. При возникновении подобных ситуаций в процессе человеческого общения мы можем попросить повторить плохо различимое слово или попросить произнести это слово по буквам. Тем самым мы вносим в исходное сообщение еще и избыточную информацию. Фактически внесение избыточной информации в сообщение позволяет на приемной стороне исключить ошибки. Аналогичное действие выполняет модем — вместе с полезной информацией он добавляет в сообщение избыточные биты, которые и помогают на приемной стороне устранить возможные ошибки.

Если попытаться пояснить идею избыточности, то самый простой вариант заключается в повторении передаваемых битов. Так, вместо единицы мы будем передавать пять единиц, а вместо нуля — пять нулей. Тогда, даже если один или два бита из пяти в процессе передачи исказятся, то все равно по большему числу (большему числу нулей или единиц из пятерки принятых битов), мы сможем принять правильное решение в плане того — какой бит передавался.

⇐ Предыдущая123456Следующая ⇒

Поделиться: