Количество информации и вероятность

Рассмотрим несколько примеров.

Пример 1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного.

Решение. Обозначим р_ч – вероятность попадания при вытаскивании черного шара, р_б – вероятность попадания белого шара. Тогда:

р_ч= 10/50 = 0, 2; р₆ = 40/50 = 0, 8.

Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.

Пример 2. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука.

Решение. Всего в пруду обитают 50000 рыб. Из предыдущих примеров можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:

р_к = 8000/50000 = 0, 16;

р_щ = 2000/50000 = 0, 04;

р_п = 40000/50000 = 0, 8.

Из рассмотренных примеров можно сделать вывод: если N – это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна K/N.

Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Например, сообщение о том, что рыбак поймал в пруду щуку, более информативно, чем сообщение о том, что на удочку попался пескарь. Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:

Пример 4. В задаче о шарах определим количество информации в сообщении о попадании белого шара и черного шара:

i_б = log ₂(l/0, 8) = log ₂(l, 25) = 0, 321928;

i_ч= log ₂ (l/0, 2) = log ₂5 = 2, 321928.

Вероятностный метод применим и для алфавитного подхода к измерению информации, заключенной в тексте. Известно, что разные символы (буквы алфавита, знаки препинания и др.) встречаются в тексте с разной частотой и, следовательно, имеют разную вероятность. Значит, измерять информационный вес каждого символа в тексте так, как это делалось раньше (в предположении равновероятности), нельзя. Частотный словарь русского языка – словарь вероятностей (частот) появления букв в произвольном тексте – приведен в таблице 1:

Таблица 1 - Частотный словарь букв русского языка

Символ	Частота	Символ	Частота	Символ	Частота	Символ	Частота
о	0.090	в, л	0.035	я	0.018	х	0.009
е, ё	0.072	к	0.028	ы, з	0.016	ж	0.007
а, и	0.062	м	0.026	ь, ъ, б	0.014	ю, ш	0.006
т, н	0.053	д	0.025	ч	0.013	ц, щ, э	0.003
с	0.045	п	0.023	г	0.012	ф	0.002
р	0.040	у	0.021	й	0.010

Варианты индивидуальных заданий

В отчёт необходимо вставить таблицу с выполненными заданиями. Из каждой группы задач выбрать задание, соответствующее номеру варианта. В таблицу вписать само задание и ответ. В графу ответ записать решение.

Таблица 2 – Образец таблицы для выполнения задания

Вариант № ____	Вид задания	Задание (текст, формулировка)	Решение и ответ
1.	Содержательный подход
2.	Алфавитный подход
3.	Количество информации и вероятность
4.	Вероятностный метод в алфавитном подходе

Задачи по теме «Содержательный подход»

№ 1. «Вы выходите на следующей остановке? » – спросили человека в автобусе. «Нет», – ответил он. Сколько информации содержит ответ?

№ 2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?

№ 3. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

№ 4. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

№ 5. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

№ 6. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

№ 7. Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?

№ 8. В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?

№ 9. При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N?

№ 10. При угадывании целого числа в некотором диапазоне было получено 6 бит информации. Сколько чисел содержит этот диапазон?

№ 11. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?

№ 12. Какое количество информации несет сообщение: «Встреча назначена на сентябрь»?

№ 13. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?

№ 14. Сообщение о том, что ваш друг живет на 6 этаже, несет 3 бита информации. Сколько этажей в доме?

№ 15. Какое количество информации несет сообщение: «Встреча назначена на январь»?

⇐ Предыдущая 123 4 5 6 7 8 9 10 Следующая ⇒