КОРРЕЛЯЦИЯ. КОРРЕЛЯЦИОННЫЙ МОМЕНТ И КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ. УРАВНЕНИЕ РЕГРЕССИИ

 

В § 12 мы познакомились с понятием вероятностной зависимости и определили ее как такую зависимость, когда с изменением случай­ной величины X изменяется закон распределения случайной величины Y. Как мы уже знаем, закон распределения, например, для непрерыв­ной случайной величины задается кривой распределения у(х). В за­висимости от того, что изменяем в выражении у(х) - ее вид или только некоторые числовые характеристики, - различают несколько типов вероятностной зависимости. Одним из наиболее распространен­ных типов такой зависимости является так называемая корреляцион­ная зависимость, при которой с изменением х изменяется математиче­ское ожидание у (рис. 23, а и б). Оба рисунка иллюстрируют эту за­висимость, причем в первом случае изменение My происходит непрямо­линейно (криволинейная корреляция), а во втором - по закону пря­мой линии (прямолинейная корреляция). Эту последнюю зависимость часто называют для краткости корреляцией. Если зависимость между X и Y будет установлена и выражена формулой, то ее можно исполь­зовать для надлежащей организации и обработки результатов экспе­римента, например, измерений.

 

 

 

Рисунок 23.

Систему двух случайных величин, как и одну случайную величи­ну, кроме задания закона совместного распределения, определяют еще числовыми характеристиками, так называемыми специальными начальными и центральными моментами порядка s, q.

 

.     (1.87)

 

В частном случае, очевидно, имеем

 

                         (1.88)

 

В теории корреляции важнейшее значение имеет центральный смешанный момент второго порядка

 

                 (1.89)

 

который называют корреляционным моментом и обозначают K_xy .

Его  вычисляют по   формулам

 

                (1.90)

 

         (1.91)

 

соответственно для прерывных и непрерывных случайных величин.

Момент K_xy  как раз и характеризует силу, тесноту корреляции. Однако его значение зависит еще и от размерности случайных вели­чин. Для того чтобы освободиться от последней, вычисляют так на­зываемый коэффициент корреляции

 

                                            (1.92)

 

который численно характеризует силу корреляции в чистом виде.

Коэффициент корреляции изменяется в пределах  -1 ≤ r ≤ 1. Когда он равен +1 или -1, между х и у существует прямолинейная зависимость (рис. 24. а и б) у = ах + b.

 

 

Рисунок 24.

 

Рисунок 25.

 

   Рисунок 26.

В случае r < 0 имеет место отрицательная корреляция с умень­шением (увеличением) X величина Y имеет тенденцию увеличивать­ся (уменьшаться); при r > 0 говорят о положительной корреляции- с уменьшением (увеличением) X величина Y имеет тенденцию умень­шаться (увеличиваться).

На рис. 25 показана положительная корреляция, причем в первом случае она более тесная, чем во втором (r ₁ > r ₂), а на рис. 26 — от­рицательная корреляция, более тесная также в первом случае.

Если случайные величины X и Y независимы, то корреляционный момент K_xy  = 0 (также с r_XY = 0).

Две корреляционные случайные величины также и зависимы. Об­ратное утверждение не всегда имеет место, т. е. если две величины зависимы, то они могут быть как коррелированными, так и некорре­лированными.

В том, что две зависимые величины могут быть некоррелированны­ми, легко убедиться на следующем примере.

Пусть поверхность распределения задана в виде   внут­ри эллипса   и   вне его. Найдем корреляцион­ный момент по формуле

 

.

 

Так как плотность распределения

 

 

симметрична относительно оси O у, то М_х = 0, аналогично M_Y = 0, так как плотность

 

 

симметрична относительно оси х.  Поэтому

 

 

Учитывая, что  f (xy) не содержит переменных, получим

 

 

Внутренний интеграл равен 0 (подынтегральная функция нечетна, пределы интегрирования симметричны относительно начала коорди­нат). Следовательно, K_xy = 0, т. е. x и у некоррелированы, однако зависимы, так как φ (xy) ≠ φ ₁(x) φ ₂(y).

На практике часто встречаются двухмерные случайные величины, распределение которых нормально. В этом случае

 

,

 

где , а так называемая экспонента ехр с = е ^c.

При нормальном законе распределения из некоррелированности следует и независимость х и у. В самом деле, пусть r_XY = 0. Тогда

 

 

что и означает независимость случайных величин х и у.

Таким образом, если две случайные величины подчинены нормаль­ному закону распределения, то некоррелированность и независимость понятия тождественны.

Корреляционную зависимость, кроме задания ее тесноты, необхо­димо характеризовать формой.

Форма прямолинейной связи между X и Y выражается в виде так называемого уравнения регрессии Y  на X

 

                   (1.93)

 

 

или

 

                          (1.94)

где коэффициент

 

                                         (1.95)

 

- коэффициент регрессии у на х. На рис. 25, 26 сплошные линии являются уравнениями регрессии.

Существует уравнение регрессии х на у, имеющее вид

 

 

где

1.222. Доказать, что если случайные величины х и у независимы, то корреляционный момент     К_{х y} = 0.

Р е ш е н и е. Воспользуемся формулой (1.91). Имеем для независимых величин

 

                                  (1.96)

 

Но интегралы - сомножители в формуле (1.96) представляют собой центральные моменты первого порядка, равные нулю. Поэтому K_XY = 0.

1.223. Доказать, что корреляционный момент

 

К _XY = М [(х – М _X)(у – М _Y)]                                                                         (1.97)

 

можно представить в виде

 

К _XY = М _XY – М _X М _Y                                                                                       (1.93)

 

У к а з а н и е. Раскрыть скобки в выражении (1.97) и воспользоваться свойствами математического ожидания.

1.224. Доказать, что если между величинами X и Y имеет место функцио­нальная зависимость вида      у = ах + b, то коэффициент корреляции | r | = 1.

Доказательство. Имеем М _Y  = а М _X + b.

Поэтому для корреляционного момента получим

 

 

Дисперсия D_Y  = а² σ ²  (по свойствам дисперсии (1.39 - 1.40), откуда σ _Y = σ _Y | a | σ _X. (величина а взята по модулю, так как по определению стандарт - вели­чина всегда положительная). Поэтому

 

 

 

 

Рисунок 27.

 

1.225. Имеются три независимые случайные величины Z₁, Z₂ и Z₃ с известными математическими ожиданиями   и с. к. о. . Найти коэффи­циент корреляции между функциями  

 

X = Z₁ + Z₂,  Y = Z₁ + Z₃;

 

и написать уравнение регрессии y на x.

Решение. Имея в виду формулы (1.92) и (1.98), находим, пользуясь свойствами матема­тического ожидания (1.35).

 

.

 

Поэтому   на основании (1.45). Следовательно,

На основании свойства дисперсии для независимых величин имеем  и   Поэтому

.

 

Если  _, то

 

 

В этом случае уравнение регрессии будет  у = M_Y + 0, 5(x - М_х) .

1.226. Доказать, что коэффициент корреляции между двумя углами у₁ и у₂, измеренными способом круговых приемов (рис. 27), равен r = - 0, 5. Объяс­нить, что вызывает корреляцию этих углов. Построить уравнение регрессии у₂  на у₁ и у₁  на у₂.

1.227. Плотность распределения двухмерной случайной величины задана формулой

 

 

Найти с. к. о. σ _X, σ _Y и коэффициент корреляции r_xy.

Ответ: σ _X = √ 2.

1.228. Найти коэффициент корреляции и написать уравнение регрессии у₂ на у₁, если y₁ = x₁,                у = х₁ - х₂,  а .

§ 14. ПОНЯТИЕ О МНОГОМЕРНОМ РАСПРЕДЕЛЕНИИ. КОРРЕЛЯЦИОННАЯ МАТРИЦА

 

Обобщая понятие двухмерной случайной величины, говорят о со­вокупности случайных величин Х₁, Х₂, ..., Х_п, которую называют п - мерным случайным вектором, а величины X _i - его случайными координатами (составляющими). Закон распределения случайного вектора задают в виде функции совместного распределения

F(x) = p (X ₁ < x ₁, Х₂ < х₂, ..., Х_п < х_п)

 

или в виде плотности

 

 

Обобщением понятия математического ожидания случайной ве­личины является понятие математического ожидания случайного вектора, определенного в виде

 

,

 

а обобщением понятия дисперсии D_X случайной величины является понятие корреляционной матрицы К случайного вектора X, опре­деляемой как математическое ожидание случайной матрицы (X - М_Х)(Х - М_х)^Т, т. е.              К _X = M [(X - М_Х)(Х - М_х)^Т].

Так как по определению математическое ожидание случайной матрицы есть матрица, составленная из математических ожиданий ее элементов, то, например, при п = 3 получаем

 

 

или

 

 

где, как и ранее, обозначено   - дисперсии X_i, a K_ij = K_XiYj - корреляционные моменты Х _i  и X_j. В общем случае мат­рица K имеет вид:

                          (1.99)

 

Таким образом, диагональными элементами  корреляционной матрицы являются дисперсии случайных величин X_i, а недиагональ­ными  - корреляционные моменты между случайными вели­чинами (при ). Так как ,  то корреляци­онная матрица всегда симметрична относительно главной, диагонали, т. е. .

Для независимых величин матрица K будет диагональной

 

                  (1.100)

 

Ее называют также дисперсионной матрицей. Если при этом все дис­персии равны между собой , то

 

                                                 (1.101)

 

где Е — единичная матрица.

Из матрицы (1.99) нетрудно составить так называемую нормиро­ванную корреляционную матрицу:

 

                                                        (1.102)

 

где r_ij - коэффициент корреляции между X_i и X_j, вычисляемый по формуле

 

                                 (1.103)

 

Большое значение в теории обработки геодезических измерений имеет так называемый нормальный случайный вектор, плотность рас­пределения вероятностей которого (плотность совместного распре­деления X ₁, X ₂, ..., Х_п) имеет вид

 

 

(1.104)

 

где det К _X - определитель корреляционной матрицы К _X.

1.229. Из урны, в которой а белых и b черных шаров, вынимается один шар. Рассматриваются случайные величины:

 

 

Построить корреляционную и нормированную корреляционную матрицу систе­мы случайных величин.

Решение. Напишем ряд распределения для случайных величин X и Y. Очевидно, получим

 

xi	1	0
pxi

yi	1	0
Pyi

 

Далее находим математическое ожидание

 

 

Дисперсии

 

 

Аналогично

Корреляционный момент получим по формуле (1.90)

 

 

Но вероятности

 

 

Поэтому

 

(1.105)

 

Отсюда следует, что коэффициент корреляции

 

 

Корреляционная матрица

 

 

Заметим, что здесь определитель det K = 0. Такая матрица называется вырож­денной.

1.230. Могут ли быть корреляционными следующие матрицы:

 

 

Ответ: 1) да; 2) нет; 3) да; 4) да.

1.231. Написать плотность многомерного нормального распределения, если корреляционные матрицы К случайных векторов X и X имеют вид матриц K₁ и K₄ из предыдущей задачи.

1.232. Найти коэффициент корреляции r_ху , если det K = 1, a σ _x = σ _Y = 2.

Ответ: r_ху  = ±0, 75.

1.233. Написать нормированную корреляционную матрицу для пяти углов, измеренных способом круговых приемов. Указание (см. задачу 1.226).

Найти корреляционную матрицу, если с. к. о. измеренного направления σ = 3".

§ 15. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ, ДИСПЕРСИЯ И КОРРЕЛЯЦИОННАЯ МАТРИЦА ФУНКЦИЙ СЛУЧАЙНЫХ ВЕЛИЧИН

 

Рассмотрим сначала произвольную функцию

 

F = f(X₁, X₂, ..., Х_п),                                        (1.106)

 

аргументами которой являются случайные величины Х₁, Х₂,..., Х_п. Будем полагать, что эта функция «почти линейная», если во всем диа­пазоне практически возможных значений аргументов она может быть с достаточной для практики точностью линеаризована. Это оз­начает, что

 

 

где

 

 

- значение частной производной, вычисленной по значению X, -, совпадающему с его математическим ожиданием.

Если математические ожидания неизвестны, то вместо них можно использовать приближенные значения , близкие к , например, значения X_i, полученные в результате измерений.

Математическое ожидание почти линейной функции  вычисляется по формуле

 

                                   (1.107)

 

а дисперсия

 

  (1.108)

 

где  - дисперсия случайной величины ,  - корреляци­онный момент величин X_i, X_j.

Когда случайные величины X_i и X_j некоррелированы,

 

                      (1.109)

 

Следует отметить, что формулы (1.107), (1.108) и (1.109) будут совершенно точными, когда функция Y линейна. Для нелинейных функций они являются приближенными и тем более точными, чем бли­же функция к линейной.

Например, для нелинейной функции и = XY, применяя формулу (1.107), получим М_и = М_ХМ _Y. Однако из формулы (1.98) следует, что если случайные величины X и Y коррелированны, то

M_XY = М_хМ_у + K_xy                                                                     (1.109')

Следовательно, из-за того, что при линеаризации функции (1.106) опущены все нелинейные члены разложения, было утеряно второе слагаемое в формуле (1.109).

Существуют формулы, позволяющие уточнить результаты, полу­ченные методом линеаризации.

Рассмотрим теперь систему нескольких функций

 

                   (1.110)

 

Объект φ (Х) называют вектор - функцией. Ясно, что формула (1.106) является частным случаем формулы (1.110) при т = 1. В этом случае математическое ожидание

 

                  (1.111)

 

а корреляционная матрица

 

                                          (1.112)

 

где матрица  определяется следующим образом:

 

                                 (1.113)

 

т. е. каждая ее i - я строка содержит элементы, равные частным произ­водным i - й функции по аргументу.

Отметим, что выражения (1.107) и (1.109) являются частными слу­чаями формул (1.111) и (1.112) соответственно, когда имеется лишь одна функция (тогда ) и когда аргументы некоррелированы.

Для линейных функций вида Y = АХ + b, как частный случай получаем M_Y = АМ_Х + b, а корреляционная матрица K_Y опре­деляется также согласно формуле (1.112).

1.234.   Имеются две случайные величины X и Y, связанные соотношением Y = 2 - 3Х. Числовые характеристики величины X заданы: М_х = -1; D_x = 4.

Определить: а) математическое ожидание и дисперсию величины Y; б) кор­реляционный момент и коэффициент корреляции величин X, Y.

 Решение.

а) М_х = 2 - 3 M_х = 5,  D_Y = (-3)²4 = 36;

б) K_XY = М[Х Y] — М_ХМ _Y = М[Х(2 — 3Х)] + 1 * 5 = 2М_Х — З М[Х²] + 5.

Но М [Х²] = a₂[Х] = D_x + М²_х =4+1 = 5.

Поэтому K_XY = - 2 - 3 - 5+5= - 12; r_XY = -1.

1.235.   Имеется случайная величина X с математическим ожиданием М_х и дисперсией D_x. Найти математическое ожидание и дисперсию следующих случайных величин:

 

Y = —X; Z = X + 2Y - 1;  и = 3Х — Y + 2Z - 3.

 

Ответ: M_Y = — М_х; D_Y = D_x; М _z = - M_Х - 1; D_z = D_x; М_и = 2М_Х - 5; D_u = 4D_X.

1.236.   Дана система случайных величин (X, У, Z) с заданными характеристиками: математическими ожиданиями М_х, M_Y, М _z и корреляционной матри­цей

 

 

Найти математическое ожидание и дисперсию случайной величины

и = аХ - bY + cZ — d.

Ответ:

 

1.237. Даны функции

Y₁ = X₁ + X₂; Y₂ = X₁ + X₃

 

трех независимых случайных величин X_l, X₂, X₃, имеющих дисперсионную мат­рицу

 

 

Найти корреляционную матрицу системы случайных величин Y₁ и Y₂ и коэф­фициент корреляции .

Решение. Имея в виду применить формулу (1.112), составляем матрицу

 

 

и согласно формуле (1.112) находим

 

 

коэффициент корреляции   .

1.238. В условиях предыдущей задачи найти дисперсию функции Z = Y₁ – Y₂.

Решение.

1-й способ. Применяя формулу (1.112), получим

 

 

2-й способ. Применяем формулу (1.108):

 

3-й способ. Выразим функцию Z через независимые случайные величины X_i. Будем иметь        Z = Y₁ — Y₂ = Х₂ — Х₃ . Применяя формулу (1.109), получим

 

 

1.239. Найти корреляционную матрицу и коэффициент корреляции двух уг­лов, измеренных способом круговых приемов (см. задачу 1.226). Найти дисперсию угла у₃ = y₁ + у₂ , а также корреляционную матрицу углов.

Ответ:

1.240. Найти общее выражение корреляционной матрицы приращений ко­ординат

 

 

а также вычислить ее элементы при S = 200 м, σ _S = 1 см, σ _а = 3", а = 0°, 45°, 90°.

Ответ:

 

 

1.241. Найти дисперсии следующих функций:

 

1.

2.

3.

 

если корреляционная матрица вектора z имеет вид

.

 

1.242. Найти математические ожидания и корреляционную матрицу раз­ностей d = х₁ - х₂ и среднего значения  для случайных величин, если

Решение.

 

 

Применяя формулу (1.112), получаем

 

 

Отсюда следует, что

 

 

1.243. Найти математическое ожидание и дисперсию невязки ω угломерно­го хода, содержащего п углов, если углы измеряются без систематической ошибки с с. к. о. σ _i = а.

Ответ:

1.244. Сделать то же самое, если каждый угол X _i измеряется с систематичес­кой ошибкой, равной с.

Ответ: M_ω = cn, σ ² _ω = σ ² n.

1.245. Случайные величины X н Y представляют собой элементарные ошиб­ки, возникающие на входе прибора. Они имеют математические ожидания М_х = - 2 и M_Y = 4, дисперсии D_x = 4 и D_x = 9; коэффициент корреляции этих ошибок равен r_XY = - 0, 5. Ошибка на выходе прибора связана с ошибками на входе функциональной зависимостью

 

Z = 3X² - 2XY + Y² - 3.

 

Найти математическое ожидание ошибки на выходе прибора.

Ответ: M_z = 68.

1.246. Ошибка прибора выражается функцией и = 3 Z + 2Х - X - 4, где X, Y, Z — так называемые «первичные ошибки», представляющие собой сис­тему случайных величин (случайный вектор).

Случайный вектор ( X, Y, Z) характеризуется математическими ожидания­ми М _X = - 4, М _Y = М _Z = 1 и корреляционной матрицей

 

 

 

Определить математическое ожидание, дисперсию и среднее квадратическое от­клонение ошибки прибора.

Ответ: М_и = - 10, σ _u ² = 25, σ _u = 5.

1.247. Доказать, что дисперсия произведения двух некоррелированных случайных величин X и Y выражается формулой

Получить формулу для вычисления дисперсии этой же функции (Z = XY) согласно формуле (1.109). Объяснить расхождение результатов.

Для оценки точности нелинейных функций применяют метод численного дифференцирования. З.М. Юршанским предложена приближенная формула [12]:

 

 

в которой величины q_i определяются как разности

 

 

a K_ij - элементы i-й строки корреляционной матрицы К_х причем К _ii = σ ². Для некоррелированных аргументов К_у = 0. Например, рассмотрим функцию

 

 

(расстояние от начала координат). Корреляционная матрица аргументов пусть будет

 

 

При X = 100 и Y = 200 м найдём

 

 

Следует заметить, что все вычисления необходимо выполнять с помощью микрокалькуляторов.

Решая эту же задачу по формуле (1.112), находим частные производные dS/ dX = cosa и dS/ dY = sina. Матрица А = (cosa sina) =(0, 8944 0, 4472) и дисперсия σ ² = АК _XА^{Т =} 0, 024 м.

Возможен и другой путь решения задачи. Так, в работе [14] предлагается вычислить честные производные по приближенной формуле

 

 

Тогда для дисперсии функции справедливо выражение

 

 

в случае некоррелированных и

 

 

в случае коррелированных аргументов. Здесь коэффициент корреляции r_ij = K_ij/ σ _iσ _j. Так, в нашей задаче

 

 

Глава 2.

⇐ Предыдущая45678910111213Следующая ⇒

Поделиться: