|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
|
|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Раздел 13. Куда и как сходятся последовательности случайных величин ⇐ ПредыдущаяСтр 8 из 8
Сходимость «почти наверное» и «по вероятности» Напомню, что случайная величина есть (измеримая) функция из некоторого абстрактного множества Ω в множество действительных чисел. Последовательность случайных величин есть, тем самым, последовательность функций (определенных на одном и том же пространстве элементарных исходов Ω ). И если мы хотим говорить о сходимости последовательности случайных величин {ξ n } ¥ n =1, не будем забывать, что мы имеем дело не с последовательностью чисел, а с последовательностью функций. Существуют разные виды сходимости последовательности функций. Всякий раз давать определение какой-либо сходимости мы будем, опираясь на сходимость числовых последовательностей, как на уже известное основное понятие. В частности, при каждом новом ω Î Ω мы имеем новую числовую последовательность {ξ n (ω )} ¥ n =1. Поэтому, во-первых, можно говорить о знакомой из математического анализа (почти) поточечной сходимости последовательностей функций: о сходимости «почти всюду», которую в теории вероятностей называют сходимостью «почти наверное». Определение 46. Говорят, что последовательность с. в. {ξ n } сходится почти наверное к с. в. ξ при n ® ¥ , и пишут: ξ n ® ξ п. н., если P{ ω: ξ n (ω ) ® ξ при n ® ¥ } = 1. Иначе говоря, если ξ n (ω ) ® ξ при n ® ¥ для всех ω Î Ω, кроме, возможно, ω Î A, где множество (событие) A имеет нулевую вероятность. Заметим сразу: чтобы говорить о сходимости «почти наверное», требуется (по крайней мере, по определению) знать, как устроены отображения ω ® ξ n (ω ). В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения. Известно, то есть, какова вероятность тех элементарных исходов ω , для которых ξ n (ω ) принимает значения в заданном множестве. Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин {ξ n } к с. в. ξ ? Можно, например, потребовать, чтобы вероятность («доля») тех элементарных исходов ω , для которых ξ n (ω ) не попадает в «ε -окрестность» числа ξ (ω ), уменьшалась до нуля с ростом n. Такая сходимость в функциональном анализе называется сходимостью «по мере», а в теории вероятностей — сходимостью «по вероятности». Определение 47. Говорят, что последовательность с. в. { ξ n } сходятся по вероятности к с. в. ξ при n ® ¥ , и пишут:
если для любого ε > 0
Пример 45. Рассмотрим последовательность с. в. ξ 1, ξ 2, …, в которой все величины имеют разные распределения: с. в. ξ n, n > 0, принимает значения и 0 и n 7 с вероятностями Действительно, зафиксируем произвольное ε > 0. Для всех n начиная с некоторого n 0 такого, что n 0 7 > ε верно равенство (*) ниже
Итак, случайные величины ξ n с ростом n могут принимать все большие и большие значения, но со все меньшей и меньшей вероятностью. Замечание 18. Сходимость по вероятности не обязательно сопровождается сходимостью математических ожиданий или моментов других порядков: из Действительно, в примере 45 имеет место сходимость Если вместо значения n 7 взять, скажем, n (с той же вероятностью 1/ n), получим
А если ξ n принимает значения 0 и
Сходимость по вероятности обладает обычными для сходимостей свойствами. Например, такими. Свойство 13. Если 1. 2. Свойство 14. Если Если Чтобы доказывать сходимость по вероятности, можно просто уметь вычислять Если бы мы имели неравенства, позволяющие оценить Неравенства Чебышёва Все неравенства в этом параграфе принято относить к одному классу, называемому «неравенствами Чебышёва». Следующее неравенство часто называют собственно неравенством Чебышёва, хотя в такой форме оно появилось впервые, видимо, в работах А. А. Маркова (например, Исчисление вероятностей, 1913 г.). Теорема 27 ( Неравенство Маркова ). Если
Доказательство. Введем новую случайную величину ξ x, называемую «срезкой» с. в. ½ ξ ½ на уровне x:
Для неё и, 1. 2. Нам потребуется следующее понятие. Определение 48. Пусть A — некоторое событие. Назовем индикатором события A случайную величину I ( A ), равную единице, если событие A произошло, и нулю, если A не произошло. По определению, I ( A ) имеет распределение Бернулли с параметром p = P( I ( A ) = 1) = P( A ), и ее математическое ожидание равно вероятности успеха p = P( A ). Случайную величину ξ х можно представить в виде
Тогда
Вспомним, что
Итак, Следующее неравенство мы будем называть «обобщенным неравенством Чебышёва». Следствие 12. Пусть функция g монотонно возрастает и неотрицательна на [0, ¥ ]. Если
В 1853 г. И. Бьенеме (I. Bienayme) и в 1866 г., независимо от него, П. Л. Чебышёв прямыми методами доказали следующее неравенство Следствие 13 ( Неравенство Чебышёва-Бьенеме ). Если
В качестве следствия получим так называемое «правило трех сигм», которое формулируют, например, так: вероятность случайной величине отличаться от своего математического ожидания более, чем на три корня из дисперсии, мала. Разумеется, для каждого распределения величина этой вероятности своя: для нормального распределения, например, эта вероятность равна 0, 0027 — см. свойство 9. Мы получим верную для всех распределений с конечной дисперсией оценку сверху для «вероятности с. в. отличаться от своего математического ожидания более, чем на три корня из дисперсии». Следствие 14. Если Законы больших чисел Определение 49. Говорят, что последовательность с. в.
Законами больших чисел принято называть утверждения об условиях, при которых последовательность с. в. «удовлетворяет закону больших чисел». Выясним сначала, что означает и когда выполнен ЗБЧ для независимых и одинаково распределенных с.в. Заметим, что если с. в. одинакого распределены, то математические ожидания у них одинаковы (и равны, например,
Итак, законы больших чисел. Теорема 28 ( ЗБЧ в форме Чебышёва ). Для любой последовательности независимых и одинаково распределенных случайных величин с конечным вторым моментом
ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых «стабилизируется» с ростом этого числа. Как бы сильно каждая с. в. не отклонялась от своего среднего значения, при суммировании эти отклонения «взаимно гасятся», так что среднее арифметическое приближается к постоянной величине. В дальнейшем мы увидим, что требование конечности второго момента (или дисперсии) связано исключительно со способом доказательства, и что утверждение остается верным если требовать существования только первого момента. Доказательство. Обозначим через
Пусть ε > 0. Воспользуемся неравенством Чебышёва (следствие 13 ):
при Следствие 15. Последовательность с. в.
при выполнении любого из следующих условий: а) если б) если
в) если Теорема 29 ( ЗБЧ в форме Хинчина ). Для любой последовательности независимых и одинаково распределенных случайных величин с конечным первым моментом
Более того, в условиях теоремы 29 имеет место сходимость «почти наверное». Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Я. Бернулли (1713). В отличие от доказанного через полтора столетия ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического с. в. с произвольными распределениями, ЗБЧ Бернулли — утверждение только для схемы Бернулли. Теорема 30 ( ЗБЧ Бернулли ). Пусть А — событие, которое может произойти в любом из n независимых испытаний с одной и той же вероятностью P(А). Пусть vn (А) — число осуществлений события А в n испытаниях. Тогда
При этом для любого ε > 0
Примеры использования ЗБЧ и неравенства Чебышёва Пример 46. Монета подбрасывается 10 000 раз. Оценить вероятность того, что частота выпадения герба отличается от вероятности более чем на одну сотую. Требуется оценить
Иначе говоря, неравенство Чебышёва позволяет заключить, что, в среднем, не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от 1/2 более чем на одну сотую. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой. Пример 47. Пусть Воспользуемся неравенством ( 13 ) и свойством 12:
Но для i < j, по условию, Оценим каждое из них, используя одно из свойств коэффициента корреляции
при ... Из этой первой лекции по теории вероятностей я запомнил только полузнакомый термин «математическое ожидание». Незнакомец употреблял этот термин неоднократно, и каждый раз я представлял себе большое помещение, вроде зала ожидания, с кафельным полом, где сидят люди с портфелями и бюварами и, подбрасывая время от времени к потолку монетки и бутерброды, сосредоточенно чего-то ожидают. До сих пор я часто вижу это во сне. Но тут незнакомец оглушил меня звонким термином «предельная теорема Муавра — Лапласа» и сказал, что все это к делу не относится. Аркадий и Борис Стругацкие, Стажеры Раздел 14. ЦПТ (центральная предельная теорема) 14.1 Как быстро Пусть, как в законе больших чисел в форме Чебышёва,
Если при делении на n мы получили в пределе нуль (в смысле некоторой, все равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на «много» мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем n, чтобы получить в пределе не нуль (и не бесконечность, само собой)? Можно поставить этот вопрос по-другому. Вот последовательность, стремящаяся (как-то) к нулю. Можно ли ее домножить на что-либо растущее, чтобы «погасить» это стремление к нулю? Получив, тем самым, что-нибудь конечное и отличное от нуля в пределе? Оказывается, что уже Слабая сходимость Пусть задана последовательность с. в. Определение 50. Говорят, что последовательность с. в. Иначе говоря, слабая сходимость — это поточечная сходимость функций распределения во всех точках непрерывности предельной функции распределения. Свойство 15. Если Следующее важное свойство уточняет отношения между сходимостями. Свойство 16. 1. Если 2. Если Доказательство. Докажем, что слабая сходимость к постоянной влечет сходимость по вероятности. Пусть
при любом x, являющемся точкой непрерывности предельной функции Возьмем произвольное
(сужаем событие под знаком вероятности)
Осталось заметить, что Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям — скажем, домножать их на последовательности, сходящиеся по вероятности к постоянным величинам. Свойство 17. 1. Если 2. Если Несколько содержательных примеров слабой сходимости мы рассмотрим в следующей главе. Но основной источник слабо сходящихся последовательностей и необычайно мощное и универсальное средство для асимптотического анализа распределения сумм независимых и одинаково распределенных случайных величин предоставляет нам ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА |
Последнее изменение этой страницы: 2019-10-24; Просмотров: 294; Нарушение авторского права страницы
. Докажем, что эта последовательность сходится по вероятности к случайной величине, равной нулю п. н. (к нулю, проще говоря).
, но неверно, что 
с теми же вероятностями, что и в примере 45, то 
, но уже вторые моменты сходиться ко второму моменту ξ не будут: 
, то
; 
.
, и g – непрерывна в точке с, то 
при больших n. Но для этого нужно знать распределение ξ n, что не всегда возможно. Скажем, ξ n может быть суммой нескольких других с. в., распределения которых не устойчивы по суммированию, и вычислить распределение их суммы по формуле свертки или как-то еще бывает слишком сложно.
сверху чем-либо, что мы умеем устремлять к нулю и что проще вычисляется, то сходимость по вероятности мы получили бы по лемме о двух милиционерах: 
. Итак, неравенства П. Л. Чебышёва.
, то для любого положительного x
(11)
снизу согласно ( 11 ): 
, что и требовалось доказать.
, то для любого положительного х
, то
с конечными первыми моментами удовлетворяет закону больших чисел (ЗБЧ), если
(12)
), поэтому (12) можно записать в виде
имеет место сходимость: 
сумму первых n с. в., а их среднее арифметическое через 
. Тогда
(13)
, поскольку 
, по условию, конечна.
, то есть 
при 
; 
независимы и 
, то есть
имеет место сходимость: 
, где 
—число выпадений герба, а 
— независимые с. в., имеющие распределение Бернулли с параметром 1/2, равные «числу гербов, выпавших при i-м подбрасывании» (то есть единице, если выпал герб и нулю иначе, или индикатору того, что выпал герб). Поскольку 
, искомая оценка сверху выглядит так: 
( 
), не являющихся соседними в последовательности, равны нулю. Удовлетворяет ли эта последовательность ЗБЧ? 
, если 
. Следовательно, в сумме 
равны нулю все слагаемые кроме, может быть, 
(их ровно n -1 штука).
(по условию задачи)
удовлетворяет ЗБЧ.
сходится к 
? 
— сумма n независимых и одинаково распределенных величин с конечной дисперсией. Тогда, в силу ЗБЧ, 
с ростом n. Или, после приведения к общему знаменателю, 
, или, что, то же самое, 
, не сходится к нулю. Распределение этой, зависящей от n, случайной величины становится все более похоже на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится не по вероятности, а только в смысле сходимости распределений, или «слабой сходимости».
, задано некоторое распределение 
с функцией распределения 
и 
— произвольная с. в., имеющая распределение 
, или говорят, что последовательность с. в. слабо сходится к распределению 
или 
, или 
, если для любого х такого, что функция распределения 
непрерывна в точке х, имеет место сходимость 
при 
Наоборот, если во всех точках a и b непрерывности функции распределения 
.
, то 
= const, то 
.
, то есть при всех 
.
и докажем, что 
. Раскроем модуль: 
поскольку в точках 
функция 
непрерывна, и, следовательно, имеет место сходимость последовательности 
к 
не бывает больше 1, так что по лемме о двух милиционерах 
, то 
.
.