Усиленный закон больших чисел

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин , определённых на одном вероятностном пространстве . Пусть . Обозначим S_n выборочное среднее первых n членов:

.

Тогда почти наверное.

Теорема Чебышева:

Если для независимых СВ дисперсии то для любого числа > 0 справедливо

Если дисперсии ( ) n независимых случайных величин X1, X2, ..., Xn ограничены одной и той же величиной (не превышающего значения С), то при неограниченном увеличении числа n среднее арифметическое случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий.

Если , а , то . Выполнение неравенства , где - почти достоверное событие. Существует ненулевая вероятность того, что неравенство выполняться не будет.

Следствие:

Если независимые случайные величины X1, X2, ..., Xn имеют одинаковые математические ожидания, а дисперсии ограничены одной и той же постоянной, то ,

. В соответствии с теоремой Чебышева сумма большого числа случайных величин мало отличается от неслучайных величин, то есть перестает быть случайной.

Теорема Бернулли:

Относительная частота появления события в n независимых испытаниях, в каждом из которых оно происходит с одной и той же вероятностью P, при увеличении n сходится по вероятности к вероятности появления этого события в 1 испытании.

, где m - число появления события в n испытаниях.

Из этой теоремы следует, что при большом числе испытаний случайная величина практически перестает быть случайной.

 

6. Центральная предельная теорема для независимых одинаково распределенных случайных величин.

Центральная предельная теорема представляет собой группу теорем, устанавливающих условия, при которых возникает нормальный закон распределения. Одной из основных теорем является теорема Ляпунова.

Теорема. Если - независимые случайные величины, имеющие один и тот же закон распределения с математическим ожиданием и дисперсией , то при неограниченном увеличении закон распределения суммы

(1.6.1)

неограниченно приближается к нормальному.

Доказательство.

Проведем доказательство для случая непрерывных случайных величин (для прерывных оно будет аналогичным).

Характеристическая функция величины представляет собой произведение характеристических функций слагаемых. Случайные величины имеют один и тот же закон распределения с плотностью и, следовательно, одну и ту же характеристическую функцию

. (1.6.2)

Следовательно, характеристическая функция случайной величины будет

. (1.6.3)

Исследуем более подробно функцию . Представим ее в окрестности точки по формуле Маклорена с тремя членами:

, (1.6.4)

где при .

Найдем величины , , . Полагая в формуле (1.6.2) имеем:

. (1.6.5)

Продифференцируем (1.6.2) по :

. (1.6.6)

Полагая в (1.6.6) , получим:

. (1.6.7)

Очевидно, не ограничивая общности, можно положить (для этого достаточно перенести начало отсчета в точку ). Тогда

.

Продифференцируем (13.8.6) еще раз:

,

отсюда

. (1.6.8)

При интеграл в выражении (1.6.8) есть не что иное, как дисперсия величины с плотностью , следовательно

. (1.6.9)

Подставляя в (1.6.4) , и , получим:

. (1.6.10)

Обратимся к случайной величине . Мы хотим доказать, что ее закон распределения при увеличении приближается к нормальному. Для этого перейдем от величины к другой («нормированной») случайной величине

. (1.6.11)

Эта величина удобна тем, что ее дисперсия не зависит от и равна единице при любом . В этом нетрудно убедиться, рассматривая величину как линейную функцию независимых случайных величин , каждая из которых имеет дисперсию . Если мы докажем, что закон распределения величины приближается к нормальному, то, очевидно, это будет справедливо и для величины , связанной с линейной зависимостью (1.6.11).

Вместо того чтобы доказывать, что закон распределения величины при увеличении приближается к нормальному, покажем, что ее характеристическая функция приближается к характеристической функции нормального закона.

Найдем характеристическую функцию величины . Из соотношения (1.6.11), согласно первому свойству характеристических функций (1.6.8), получим

, (1.6.12)

где - характеристическая функция случайной величины .

Из формул (1.6.12) и (13.8.3) получим

(1.6.13)

или, пользуясь формулой (1.6.10),

. (1.6.14)

Прологарифмируем выражение (1.6.14):

.

Введем обозначение

. (1.6.15)

Тогда

. (1.6.16)

Будем неограниченно увеличивать . При этом величина , согласно формуле (1.6.15), стремится к нулю. При значительном ее можно считать весьма малой. Разложим, в ряд и ограничимся одним членом разложения (остальные при станут пренебрежимо малыми):

.

Тогда получим

.

По определению функция стремится к нулю при ; следовательно,

и

,

откуда

. (1.6.17)

Это есть не что иное, как характеристическая функция нормального закона с параметрами , (см. пример 2, 13.7).

Таким образом, доказано, что при увеличении характеристическая функция случайной величины неограниченно приближается к характеристической функции нормального закона; отсюда заключаем что и закон распределения величины (а значит и величины ) неограниченно приближается к нормальному закону. Теорема доказана.

Мы доказали центральную предельную теорему для частного, но важного случая одинаково распределенных слагаемых. Однако в достаточно широком классе условий она справедлива и для неодинаково распределенных слагаемых. Например, А. М. Ляпунов доказал центральную предельную теорему для следующих условий:

, (1.6.18)

где - третий абсолютный центральный момент величины :

.

- дисперсия величины .

Наиболее общим (необходимым и достаточным) условием справедливости центральной предельной теоремы является условие Линдеберга: при любом

,

где - математическое ожидание, - плотность распределения случайной величины , .

 

7. Основные понятия математической статистики: случайная выборка из распределения, выборочное пространство, вариационный ряд, эмпирическая функция распределения, выборочное среднее, выборочные дисперсии, выборочные моменты. Точечные оценки известных значений параметров распределений: несмещенные оценки, состоятельные оценки. Примеры

Допустим, что опыт состоял из n повторных измерений некоторой неизвестной величины и в результате получены значения …. . Эти значения естественно считать реализацией набора из n независимых одинаково распределенных случайных величин с неизвестной функцией распределения F(x). Величина x=( …. .) называется случайной выборкой объема n из неизвестного распределения F.

Пространство элементарных событий называется выборочным пространством или пространством исходов.

Вариационным рядом называется выборка, полученная в результате расположения значений исходной выборки …. в порядке возрастания.

Пусть задана случайная выборка наблюдений Построим по выборке ступенчатую функцию , возрастающую скачками величины в точках . Построенная функция называется эмпирической функцией распределения. Для задания значений в точках разрыва формально определим её так: .

Замечание: при этом эмпирическая функция непрерывна справа. Математическое ожидание эмпирической функции распределения E[ ]=F(x), таким образом эмпирическое распределение является несмещённой оценкой теоретической функции распределения F(x).

Дисперсия эмпирического распределения D= .

Вы́ борочное (эмпири́ ческое) сре́ днее — это приближение теоретического среднего распределения, основанное на выборке из него. Пусть …. — выборка из распределения вероятности, определённая на некотором вероятностном пространстве ( ). Тогда её выборочным средним называется случайная величина .

Выборочная дисперсия — это оценка теоретической дисперсии распределения на основе выборки. Различают выборочную дисперсию и несмещённую, или исправленную, выборочные дисперсии. Пусть …. — выборка из распределения вероятности. Выборочная дисперсия — это случайная величина , где символ обозначает выборочное среднее.

Несмещённая (исправленная) дисперсия — это случайная величина .

Выборочные моменты в математической статистике — это оценка теоретических моментов распределения на основе выборки.

Пусть …. — выборка из распределения вероятности. Тогда Выборочный момент порядка k — это случайная величина .

Центральный выборочный момент порядка k — это случайная величина , где символ обозначает выборочное среднее.

Статистической оценкой параметра 𝜃 теоретического распределения называют его приближенное значение, зависящее от данных выбора. Очевидно, что оценка 𝜃 есть значение некоторой функции результатов наблюдений над случайной величиной, т. е. 𝜃 ̅ = 𝜃 ̅ (𝑋 1, 𝑋 2, …, 𝑋 𝑛 ). Точечной называют оценку, которая определяется одним числом. При выборке малого объема точечная оценка может значительно отличаться от оцениваемого параметра, т. е. приводить к грубым ошибкам.

Качество оценки определяют, проверяя, обладает ли она свойствами несмещенности, состоятельности, эффективности.

Несмещенной называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру q при любом объеме выборки, т. е. M( )= q.

При рассмотрении выборок большого объема (n велико! ) к статистическим оценкам предъявляется требование состоятельности.

Состоятельной называют статистическую оценку, которая при n→ ∞ стремится по вероятности к оцениваемому параметру: . Если дисперсия несмещенной оценки при n→ ∞ стремится к нулю, то такая оценка оказывается и состоятельной.

Пример 1: Рассмотрим оценку математического ожидания на основе теоремы Чебышева

В качестве состоятельной оценки математического ожидания может быть использовано среднее арифметическое значение выборки, которое называется выборочным средним: Найдем математическое ожидание этой оценки: , т.к. имеет одинаковый закон распределения, то .

Тогда . Следовательно, оценка является несмещенной. Выборочная средняя является эффективной оценкой для нормально-распределенной случайной величины.

Пример 2: Рассмотрим оценку дисперсии D(x). D(x)=M(|𝑥 − ).

В качестве состоятельной оценки D может быть использовано среднее арифметическое квадратов отклонений выборочных значений от выборочной средней. Такая оценка называется выборочной дисперсией . В качестве несмещенной оценки берут исправленную выборочную дисперсию: .

Выборочным средним квадратическим отклонением(стандартом) называют квадратный корень из выборочной дисперсии: . На практике оценка чаще всего осуществляется либо методом моментов, либо методом максимального правдоподобия.

Обычным эмпирическим моментом порядка k называют среднее значение k-x степеней разностей ( – С): где —наблюдаемая варианта, —частота варианты,

n = å — объем выборки, С — произвольное постоянное число (ложный нуль).

Начальным эмпирическим моментом порядка k называют обычный момент порядка k при С = 0 . В частности, , т. е. начальный эмпирический момент первого порядка равен выборочной средней.

Центральным эмпирическим моментом порядка k называют обычный момент порядка k при . В частности, , т. е. центральный эмпирический момент второго порядка равен выборочной дисперсии.

 

8. Задача проверки статистических гипотез. Основная и альтернативная, простая и сложная гипотезы. Статистические критерии. Ошибки 1-oгo и 2-ого родов при проверки гипотез. Функция мощности критерия. Наиболее мощный и равномерно наиболее мощный критерии. Лемма Неймана-Пирсона. Проверка простых гипотез о параметрах биноминального, полиноминального и нормального распределений.

Задачи статистической проверки гипотез ставятся в следующем виде: относительно некоторой генеральной совокупности высказывается та или иная гипотеза . Из этой генеральной совокупности извлекается выборка. Требуется указать правило, при помощи которого можно было бы по выборке решить вопрос о том, следует ли отклонить гипотезу или принять ее. Статистической называют гипотезу о виде неизвестного распределения, или о параметрах известных распределений.

Например, статистическими являются гипотезы:

1) генеральная совокупность распределена по закону Пуассона;

2) дисперсии двух нормальных совокупностей равны между собой.

В первой гипотезе сделано предположение о виде неизвестного распределений, во второй — о параметрах двух известных распределений. Гипотеза «на Марсе есть жизнь» не является статистической, поскольку в ней не идет речь ни о виде, ни о параметрах распределения. Наряду с выдвинутой гипотезой рассматривают и противоречащую ей гипотезу. Если выдвинутая гипотеза будет отвергнута, то имеет место противоречащая гипотеза. По этой причине эти гипотезы целесообразно различать.

Нулевой (основной) называют выдвинутую гипотезу .

Конкурирующей (альтернативной) - называют гипотезу , которая противоречит нулевой. Например, если нулевая гипотеза состоит в предположении, что математическое ожидание анормального распределения равно 10, то конкурирующая гипотеза, в частности, может состоять в предположении, что а ≠ 10. Коротко это записывают так: .: а= 10; : а ≠ 10.

Различают гипотезы, которые содержат только одно и более одного предположений. Простой называют гипотезу, содержащую только одно предположение. Например, если λ - параметр показательного распределения, то гипотеза : λ = 5 - простая. Гипотеза : математическое ожидание нормального распределения равно 3 (σ известно) - простая.

Сложной называют гипотезу, которая состоит, из конечного или бесконечного числа простых гипотез. Например, сложная гипотеза : λ > 5 состоит из бесчисленного множества простых вида : λ = , где - любое число, большее 5. Гипотеза Но: математическое ожидание нормального распределения равно 3, (σ неизвестно) – сложная.

Статистическим критерием называют случайную величину К, которая служит для проверки нулевой гипотезы. Например, если проверяют гипотезу о равенстве дисперсий двух нормальных генеральных совокупностей, то в качестве критерия К принимают отношение исправленных выборочных дисперсий: F= . Эта величина случайная, потому что в различных опытах дисперсии принимают различные, наперед неизвестные значения, и распределена по закону Фишера—Снедекора.

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки. Поскольку проверку проводят статистическими методами, то ее называют статистической. В итоге статистической проверки гипотезы в двух случаях может быть принято неправильное решение, т.е. могут быть допущены ошибки двух родов.

Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза.

Ошибка второго рода состоит в том, что будет принята неправильная гипотеза. Подчеркнем, что последствия этих ошибок могут оказаться весьма различными. Например, если отвергнуто правильное решение «продолжать строительство жилого дома», то эта ошибка первого рода повлечет материальный ущерб; если же принято неправильное решение «продолжать строительство», несмотря на опасность обвала стройки, то эта ошибка второго рода может повлечь гибель людей. Можно привести примеры, когда ошибка первого рода влечет более тяжелые последствия, чем ошибка второго рода.

Правильное решение может быть принято также в двух случаях:

a. гипотеза принимается, причем в действительности она правильная;

b. гипотеза отвергается, причем и в действительности она неверна.

Вероятность допустить ошибку 1 рода принято обозначать через α; ее называют уровнем значимости. Наиболее часто уровень значимости принимают равным 0.05 или 0.01. Если, например, принят уровень значимости, равный 0.05, то это означает, что в пяти случаях из ста имеется риск допустить ошибку 1 рода (отвергнуть правильную гипотезу).

Критической областью называют совокупность значений критерия, при которых нулевую гипотезу отвергают.

Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что справедлива конкурирующая гипотеза. Другими словами, мощность критерия есть вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза.

Величина риска, связанная с отклонением верной гипотезой, обычно соотносится с функцией потерь типа 1-0: Потери считаются равными 1, если принята гипотеза , а в действительности, , i=0, 1; Если же принято и, , i=0, 1, то потери полагаются равными 0 (θ – неизвестный параметр распределения).

Функция мощности критерия указывает, как часто мы отклоняем нулевую гипотезу, когда q истинное значение параметра, и хорошим следует считать тот критерий, у которого функция m(q) принимает близкие к 0 значения в области и близкие к 1 в области . В связи с этим вводятся две компоненты функции риска: a(q ) = m(q) при q Î и b(q ) =1- m(q ) при q Î . Функция мощности m(q) в области трактуется как вероятность отклонения гипотезы , когда в действительности выбор идет из распределения с альтернативным значением q Î и поэтому часть m(q) при q Î Q называется мощностью критерия j.

Критерий обладающий наименьшей вероятностью ошибки второго рода, при заданном уровне ошибки первого рода, называется наиболее мощным критерием.

Равномерно наиболее мощным критерием называется такой критерий φ уровня a, который равномерно по всем q Î максимизирует мощность m(q) или, что тоже, равномерно по всем

q Î минимизирует вероятность ошибки второго рода b(q).

(Примечание: Функция 0 a(q), q Î Q называется вероятностью ошибки первого рода – она указывает относительную частоту отклонения гипотезы , когда она в действительности верна ( q Î ). Функция b(q), q Î называется вероятностью ошибки второго рода – она указывает относительную частоту принятия гипотезы , когда она ложна (верна альтернативная гипотеза : q Î ). (Θ – распределение).

Лемма Неймана-Пирсона.

Рассмотрим вероятностную модель состоящую из двух распределений с общим носителем и функциями плотности (x) и (x), xÎ X. По выборке проверяется простая гипотеза : выборка взята из распределения при простой альтернативе : выборке соответствует распределение . Определим критическую функцию как индикаторную функцию критической области.

Статистика L называется статистикой отношения правдоподобия, а критерий j* - критерием отношения правдоподобия или критерием Неймана-Пирсона.

Критерий j* отвергает нулевую гипотезу, если правдоподобие альтернативы функции в С раз превосходит правдоподобие нулевой гипотезы .

Свойства критерия Пирсона:

Критерий отношения правдоподобия j* является наиболее мощным критерием в классе всех критериев проверки простой гипотезы при простой альтернативе, размер которых не превосходит размера критерия j*. Если критерий j* имеет размер a, то он обладает наибольшей мощностью в классе всех критериев уровня a.

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки.

Общая схема проверки гипотез:

1. Формулируются гипотезы Но и .

2. Выбирается уровень значимости критерия a.

3. По выборочным данным вычисляется значение некоторой случайной величины K, называемой статистикой критерия, который имеет известное стандартное распределение (нормальное, Т-распределение Стьюдента и т.п.)

4. Вычисляется критическая область и область принятия гипотезы. То есть находится критическое (граничное) значение критерия при уровне значимости a, взятым из соответствующих таблиц.

5. Найденное значение критерия сравнивается с и по результатам сравнения делается вывод: принять гипотезу или отвергнуть.

a) Если вычисленное по выборке значение критерия меньше чем , то гипотеза принимается на заданном уровне значимости a.

(В этом случае наблюдаемое по экспериментальным данным различие генеральных совокупностей можно объяснить только случайностью выборки. Однако принятие гипотезы совсем не означает доказательства равенства параметров генеральных совокупностей. Просто имеющийся в распоряжении статистический материал не дает оснований для отклонения гипотезы о том, что эти параметры одинаковы. Возможно, появится другой экспериментальный материал, на основании которого эта гипотеза будет отклонена.)

b) Если вычисленное значение критерия больше , то гипотеза отклоняется в пользу гипотезы при данном уровне значимости a.

(В этом случае наблюдаемое различие генеральных совокупностей уже нельзя объяснить только случайностями и говорят, что наблюдаемое различие значимо (статистически значимо) на уровне значимости a.)

Критерии значимости подразделяются на три типа:

1. Критерии значимости, которые служат для проверки гипотез о параметрах распределений генеральной совокупности (чаще всего нормального распределения). Эти критерии называются параметрическими.

Параметрические критерии предполагают, что выборка порождена распределением из заданного параметрического семейства. В частности, существует много критериев, 39 предназначенных для анализа выборок из нормального распределения. Преимущество этих критериев в том, что они более мощные. Если выборка действительно удовлетворяет дополнительным предположениям, то параметрические критерии дают более точные результаты. Однако если выборка им не удовлетворяет, то вероятность ошибок (как I, так и II рода) может резко возрасти. Прежде чем применять такие критерии, необходимо убедиться, что выборка удовлетворяет дополнительным предположениям. Гипотезы о виде распределения проверяются с помощью критериев согласия.

2. Критерии, которые для проверки гипотез не используют предположений о распределении генеральной совокупности. Эти критерии не требуют знания параметров распределений, поэтому называются непараметрическими.

3. Особую группу критериев составляют критерии согласия, служащие для проверки гипотез о согласии распределения генеральной совокупности, из которой получена выборка, с ранее принятой теоретической моделью (чаще всего нормальным распределением).

 

9. Критерии согласия. Критерий согласия Пирсона (критерий χ 2). Теорема Пирсона о предельном распределении χ 2-статистики (без доказательства)

Во многих случаях закон распределения изучаемой случайно величины неизвестен, но есть основания предположить, что он имеет вполне определенный вид: нормальный, биномиальный или какой-либо другой.

Пусть необходимо проверить гипотезу о том, что с.в. X подчиняется определенному закону распределения, заданному функцией распределения (X), т.е. : (x)= (X). Под альтернативной гипотезой H1будем понимать в данном случае то, что просто не выполнена основная (т.е. : (x) ≠ (x)).

Для проверки гипотезы о распределении случайной величины X проведем выборку, которую оформим в виде статистического ряда: где — объем выборки. Требуется сделать заключение: согласуются ли результаты наблюдений с высказанным предположением. Для этого используем специально подобранную величину — критерий согласия.

Критерием согласия называют статистический критерий проверки гипотезы о предполагаемом законе неизвестного распределения. (Он используется для проверки согласия предполагаемого вида распределения с опытными данными на основании выборки.)

Существуют различные критерии согласия: Пирсона, Колмогорова, Фишера, Смирнова и др.

Критерий согласия Пирсона — наиболее часто употребляемый критерий для проверки простой гипотезы о законе распределения.

Критерий Пирсона.

Для проверки гипотезы поступают следующим образом.

Разбивают всю область значений с.в. Xна m интервалов Δ 1, Δ 2,..., Δ m и подсчитывают вероятности (i= 1, 2, ..., m) попадания с.в. X(т.е. наблюдения) в интервал , используя формулу

Тогда теоретическое число значений с. в. X, попавших в интервал , можно рассчитать по формуле n • . Таким образом, имеем статистический ряд распределения с. в. X теоретический ряд распределения:

Если эмпирические частоты ( ) сильно отличаются от теоретических (n = ), то проверяемую гипотезу следует отвергнуть; в противном случае — принять.

В качестве меры расхождения между и