Количественная оценка информации

В 1928 году английский инженер Хартли предложил количественную оценку информации, основанную на использовании логарифма числа комбинаций результатов независимых экспериментов:

         .                                   (1.2)

В 1933 году Котельников В.А. опубликовал работу о теоретических исследованиях по оценке пропускной способности каналов связи.

В 1948 году в журнале американской телефонной компании «Белл систем» появилась статья 32-летнего инженера-связиста Клода Эльвуда Шеннона «Математическая теория связи». Данная статья с постановкой сугубо технической прикладной задачи (влияние шума на канал связи) привела к созданию теории информации. Главным принципиально новым в этой статье явилась введенная Шенноном мера количества информации, что позволило измерять информацию при ее получении, передаче, хранении, обработке с помощью техническими устройствами.

,                           (1.3)

где:  - мощность сигнала;  - мощность шума.

Если в канале передачи информации возможны искажения сигналов или измерения производятся с погрешностью, то количество получаемой информации определяется разностью энтропий априорной ( ) и апостериорной ( ).

 .                                  (1.4)

А.Н. Колмогоров ввел три подхода для количественной оценки информации, выделяя при этом три ее разновидности: комбинаторную, вероятностную и алгоритмическую.

Вероятностная информация характеризует общее число возможных микросостояний системы.

Комбинаторная информация оценивает число возможных комбинаций, определенных сочетаний, композиций состояния системы.

Алгоритмическая информация определяет минимальную длину алгоритма, описывающего неизвестную величину.

Количественная оценка информации является объективной, а качественная оценка (ценность информации) является субъективной оценкой. Для количественной оценки ценности полученной информации предлагаются различные математические соотношения.

Например, мера ценности информации, предложенная Бонгардом и Харкевичем, определяется с использованием формулы:

,                                       (1.5)

где  - вероятность достижения цели до получения информации;

 - вероятность достижения цели после получения информации.

Корогодиным для этой же цели предлагается другая формула:

.                                       (1.6)

 

 1.3 Связь понятий энергии и информации

Информационная революция поставила на повестку дня вопрос об углубленном изучении сущности единства и противоположности понятий информации и энергии. Связующим звеном между этими понятиями является понятие энтропии. До создания теории информации в понятие «информации» никто не пытался вкладывать строгий научный смысл. Информация, как простая осведомленность о чем-либо казалась вполне исчерпывающим для науки и для повседневной жизни до тех пор, пока не возникла необходимость в количественном измерении сведений, знаний, потребность в машинной обработке огромных массивов информации.

Впервые вероятно-статистический подход для описания состояния физического тела был применён Людвигом Больцманом, который использовал понятие энтропии, введенное Рудольфом Клаузиусом ( ) за 20 лет до этого (в 1854 году), для описания термодинамического состояния газа.

Клаузиус термин «энтропия» образовал из греческого корня «тропэ», означающего «превращение», к которому добавил приставку «эн», чем хотел подчеркнуть родство введенного им в науку понятия с понятием энергии. Корень «тропэ» Клаузиус употребил потому, что с помощью энтропии удалось проанализировать процессы превращения одних форм энергии в другие. Аналогичную роль сыграло понятие энтропии и в теории информации.  

Энтропия – это мера незнания о конкретном состоянии объекта, мера неопределённости, мера беспорядка. Энтропия количественно определяется как средняя логарифмическая функция множества вероятностей возможных состояний системы.

Понятие вероятности в статистической физике связано с понятием энтропии. По Больцману энтропия пропорциональна логарифму числа микроскопических состояний в микросистеме:

 ,                                (1.7)

где:  число микросостояний;

  постоянная Больцмана.

Термодинамическое равновесие характеризуется максимумом энтропии и соответствует наиболее неупорядоченному молекулярному состоянию.

При переходе от термодинамической энтропии к математической необходимо учитывать изменение основания логарифма:

.                           (1.8)

В математической статистике используют закон больших чисел и центральную предельную теорему для больших выборок. Значение математической энтропии определяется плотностью вероятности наступления определенного события:

                            (1.9)

где: - плотность вероятности события.

Чем больше событий, тем меньше вероятность кого-либо конкретного события, тем выше его информативность.

Математическая статистика, теория вероятностей используется и в метрологии, где числу микросостояний соответствует число различимых градаций, а его логарифм – энтропии:

.                                      (1.10)

Количество получаемой измерительной информации определяется разностью значений априорной энтропии ( ), отражающей неопределенность измеряемой физической величины до эксперимента, и апостериорной ( ) энтропии, соответствующей оставшейся неопределенности о значении физической величины после измерения:

= ,                          (1.11)

где:  – измеряемая величина;

 - неопределённость полученных результатов.

Информационный подход, основанный на использовании понятия энтропии, является общим для анализа физических процессов, измерения значений физических величин, получения, передачи и хранения информации. В термодинамике температура, давление являются статистическими величинами. В математической статистике при стремлении объема выборки к бесконечности вероятность заменяется определенностью. Но в физике определенности быть не может, т.к. всегда есть флуктуации, без наличия флуктуаций невозможно получить информацию. В этом есть отличие классического и квантового подхода в физике, статистики и теории вероятности в математике.

Максвелл доказал, что скорости молекул в газе имеют то же самое распределение, что и ошибки наблюдений у Гаусса и это не является случайным совпадением, так как определяются одними и теми же законами.

Малые флуктуации возникают в больших системах, а большие флуктуации в малых системах.

Главное достоинство понятие энтропии – быть мерой неопределенности, хаоса, что позволяет перейти от динамической картины мира к статистическому описанию физических процессов и явлений. 

Рассмотрим простейшую термодинамическую систему, состоящей из двух соединенных между собой полостей, в одной из которых находятся атомы идеального газа. В результате соударений между собой и со стенками емкостей атомы будут хаотически перемещать в замкнутом пространстве, случайным образом перераспределяясь между двумя емкостями.

Рисунок 1.1 – Варианты возможных состояний системы

 

Проведя анализ возможных комбинаций перераспределения атомов между емкостями можно определить вероятность появления каждой комбинации. При этом для N равновероятных событий вероятность (Р) каждого события равна:

,                                (1.12)

где - число конкретных реализаций.

Возможно несколько вариантов состояния такой системы, причем с разной вероятностью их появления:

; ; ; ; .

Сумма вероятностей всех возможных комбинаций равна: .

Информативность такой системы соответствует среднему значению ее энтропии:

Н=  = 2,3 бит.

На основании проведенного анализа модели простейшей термодинамической системы можно сделать вывод, что наиболее вероятным состоянием для идеального газа является равномерное распределение атомов в объеме. Но при этом будут иметь место флуктуации плотности частиц в разных областях пространства, причем малые флуктуации будут происходить чаще, чем большие. Такие процессы являются одной из причин появления неопределенности количества информации, получаемой при измерении.

 

Рисунок 1.2 - Статистические характеристики состояния системы

 

На рисунке 1.2 приведены гистограмма и ступенчатая характеристика, отражающие дифференциальный и интегральный законы распределения случайных величин, описывающих поведение данной динамической системы.

Очевидно, что с ростом числа частиц будет возрастать и информативность такой системы. При переходе количества комбинаций состояния системы половины их общего числа, резко изменяется вероятность пребывания системы в равновесном состоянии.

Анализ процессов в реальных термодинамических системах требует необходимости учета взаимодействий между атомами, молекулами, что существенно усложняет характер протекающих в таких системах физических процессов, обусловливает наличие большого разнообразия состояний системы, определяет, в итоге, ее высокую информативность. Описание агрегатных состояний реальных физических систем требует введения новых понятий: негэнтропии, равновесной энтропии и т.п.

Для математического описания сложных динамических систем используют понятия вероятностной, комбинаторной и алгоритмической информации. Очевидно, дальнейшее развитие теории информации и других, смежных с ней наук приведет к возможности количественной оценки семантической информации, содержащейся в реальных объектах. Эта информация будет отражать наличие в объекте различных связей, взаимодействий, условий и других характеристик.

Для того, чтобы можно было производить измерения чего-либо, необходимо иметь соответствующие единицы измерений. В формуле Шеннона в качестве меры оценки информативности сигнала используется уровень сопутствующего ему шума. В измерительной технике уровню шума соответствует неопределенность измерительного процесса. Но это чисто энергетическая, обезличенная мера, а для качественной оценки информативности объектов и процессов необходимо использовать другие характеристики. Возможно, для оценки сложности таких систем будут использовать фрактальные критерии сложности систем, а в более простых случаях параметры, характеризующие степень нелинейности физических процессов и их математических моделей. При рассмотрении реальных термодинамических систем используя количественную оценку степени нелинейности физических процессов можно оценить их информативность.

Например, максимальное значение количества информации в рассмотренной выше модели термодинамической системы равно 4 битам (вероятностная информация). Количественная оценка величины комбинаторной информации соответствует 2,3 битам. Исходное состояние в такой системе характеризовалось нулевым значением информативности, и по мере поступления в систему внешней энергии возрастала ее хаотизация, возрастало разнообразие ее возможных состояний. В реальных газах физические процессы характеризуются большим разнообразием и, соответственно, такие системы обладают большей информативностью. При этом возрастет комбинаторная составляющая количественной оценки информации, которая в пределе будет приближаться к значению вероятностной оценки информативности системы.

Так как при комнатной температуре: , то энергетическая цена одного бита информации при нормальных условиях не может быть меньше значения: . С учетом того, что , можно определить минимальную необходимую для получения и передачи сигнала мощность устройств.

Например, мощность любого технического устройства с информационной производительностью 1Гбит в секунду должна быть не менее:

В реальных условиях уровень шумов существенно превышает термодинамическую составляющую, поэтому для получения, передачи и преобразования измерительной информации требуются значительно более мощные устройства. 

В приведенных примерах речь идет о микроинформации (связанной информации), а в реальности для макрообъектов имеют дело с макроинформацией (свободной информацией).

При получении измерительной информации используют понятие рецепции информации (прием, получение). При этом выделяют два способа рецепции информации: генераторный и параметрический, соответственно, и измерительные преобразователи подразделяются на два типа: генераторные и параметрические типы.

Попытки практического применения энергетического подхода к анализу метрологических характеристик измерительных устройств предпринимались неоднократно, но не привели к разработке четкой теории, описывающей связь между затраченной энергией и точностью измерений. Положение изменилось после применения информационного подхода к измерительному процессу, основанному на использовании энергетического эквивалента количества информации, исследования взаимосвязи процессов передачи информации, с количеством используемой при этом энергии (Шеннон), связи теории информации с термодинамикой (Бриллюэн) и теории информации с теорией измерений. В основе объединения этих теорий лежит единство свойств математической информации, энтропии с термодинамической энтропией и неопределенностью в теории измерений, т.е. теории погрешностей измерений. Во всех случаях понятие энтропии связано с вероятностным описанием объектов и процессов.    Например, если предоставить систему самой себе, то она начнет эволюционировать в сторону возрастания энтропии, происходит хаотизация системы. Поэтому получение информации связано с затратой энергии.

Например, при описании достаточно широко известного «демона» Максвелла нужно учитывать необходимость затраты энергии на считывание информации о скорости движения молекул, их направления движения и т.п. Решение задачи про «демона», предложенной Максвеллом в 1871 г. было дано Леоном Бриллюэном только через полвека. Суть его рассуждений заключается в том, что для определения скорости частиц потребуется энергия, превышающая энергию термодинамического шума системы.

В приведенном примере речь идет о микроинформации (связанной информаций), а для макрообъектов имеют дело с макроинформацией (свободная информация).

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: