Колличество информации ( Вероятностный и объемный подходы). Единицы измерения информации.

А) Вероятностный подход

Определение. Количество информации можно рассматривать как ме­ру уменьшения неопределённости знания при получении информационных сообщений.

За единицу количества информации принимается такое количество ин­формации, которое содержится в информационном сообщении, уменьша­ющем неопределённость знания в два раза. Такая единица названа битом.

Пусть N — общее число возможных исходов какого-то процесса, и из них интересующее нас событие может произойти K раз. Тогда вероят­ность этого события равна K/N. Вероятность выражается в долях едини­цы.

Количество информации для событий с различными вероятностями определяется по формуле:

I=Summa(p_i log₂ p_i), i=1, 2, …, N

где I – количество информации, N – количество возможных событий, p_i – вероятности отдельных событий.

Если события равновероятны, то количество информации определяет­ся по формуле

I = log₂ N (3)

или из уравнения

N = 2^I. (4)

Объемный подход

В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs – двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).

Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один, байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт).

Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.

В дальнейшем практически всегда количество информации понимается в объемном смысле.

Б) единицы измерения информации.

Единицы измерения информации служат для измерения различных характеристик связанных с информацией.

Чаще всего измерение информации касается измерения ёмкости компьютерной памяти (запоминающих устройств) и измерения объёма данных, передаваемых по цифровым каналам связи. Реже измеряется количество информации.

Для информации существуют свои единицы измерения информации. Если рассматривать сообщения информации как последовательность знаков, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.

 

Давайте разберемся с этим, ведь нам придется измерять объем памяти и быстродействие компьютера.

 

 

Бит

Единицей измерения количества информации является бит – это наименьшая (элементарная) единица.

 

1бит – это количество информации, содержащейся в сообщении, которое вдвое уменьшает неопределенность знаний о чем-либо.

 

 

Байт

Байт – основная единица измерения количества информации.

 

Байтом называется последовательность из 8 битов.

Байт – довольно мелкая единица измерения информации. Например, 1 символ – это 1 байт.

 

Производные единицы измерения количества информации

1 байт=8 битов

 

1 килобайт (Кб)=1024 байта =210 байтов

 

1 мегабайт (Мб)=1024 килобайта =210 килобайтов=220 байтов

 

1 гигабайт (Гб)=1024 мегабайта =210 мегабайтов=230 байтов

 

1 терабайт (Гб)=1024 гигабайта =210 гигабайтов=240 байтов

 

Запомните, приставка КИЛО в информатике – это не 1000, а 1024, то есть 210.

 

Методы измерения количества информации

Итак, количество информации в 1 бит вдвое уменьшает неопределенность знаний. Связь же между количеством возможных событий N и количеством информации I определяется формулой Хартли:

 

N=2i.

 

 

Алфавитный подход к измерению количества информации

При этом подходе отвлекаются от содержания (смысла) информации и рассматривают ее как последовательность знаков определенной знаковой системы. Набор символов языка, т.е. его алфавит можно рассматривать как различные возможные события. Тогда, если считать, что появление символов в сообщении равновероятно, по формуле Хартли можно рассчитать, какое количество информации несет в себе каждый символ:

 

I=log2N.

 

 

Вероятностный подход к измерению количества информации

Этот подход применяют, когда возможные события имеют различные вероятности реализации. В этом случае количество информации определяют по формуле Шеннона:

 

, где

I – количество информации,

 

N – количество возможных событий,

 

Pi – вероятность i-го события.

 

⇐ Предыдущая12345678Следующая ⇒

Поделиться: