Другие пособия по хемометрике

Другие пособия по хемометрике

Содержание

Базовые сведения

Матрицы

Матрицей называется прямоугольная таблица чисел, например

Рис. 2 Матрица

Матрицы обозначаются заглавными полужирными буквами ( A ), а их элементы — соответствующими строчными буквами с индексами, т.е. a_ij. Первый индекс нумерует строки, а второй — столбцы. В хемометрике принято обозначать максимальное значение индекса той же буквой, что и сам индекс, но заглавной. Поэтому матрицу A можно также записать как { a_ij, i = 1,..., I; j = 1,..., J}. Для приведенной в примере матрицы I = 4, J = 3 и a₂₃ = − 7.5.

Пара чисел I и J называется размерностью матрицы и обознается как I× J. Примером матрицы в хемометрике может служить набор спектров, полученный для I образцов на J длинах волн.

Содержание

Простейшие операции с матрицами

Матрицы можно умножать на числа. При этом каждый элемент умножается на это число. Например —

Рис. 3 Умножение матрицы на число

Две матрицы одинаковой размерности можно поэлементно складывать и вычитать. Например,

Рис. 4 Сложение матриц

В результате умножения на число и сложения получается матрица той же размерности.

Нулевой матрицей называется матрица, состоящая из нулей. Она обозначается O. Очевидно, что A + O = A, A − A = O и 0 A = O.

Матрицу можно транспонировать. При этой операции матрица переворачивается, т.е. строки и столбцы меняются местами. Транспонирование обозначается штрихом, A ' или индексом A ^t. Таким образом, если A = {a_ij, i = 1,..., I; j = 1,..., J}, то A ^t = {a_ji, j = 1,..., J; i = 1,..., I}. Например

Рис. 5 Транспонирование матрицы

Очевидно, что ( A ^t)^t = A, ( A + B )^t = A ^t+ B ^t.

Содержание

Умножение матриц

Матрицы можно перемножать, но только в том случае, когда они имеют соответствующие размерности. Почему это так, будет ясно из определения. Произведением матрицы A, размерностью I× K, и матрицы B, размерностью K× J, называется матрица C, размерностью I× J, элементами которой являются числа

Таким образом для произведения AB необходимо, чтобы число столбцов в левой матрице A было равно числу строк в правой матрице B. Пример произведения матриц —

Рис.6 Произведение матриц

Правило перемножения матриц можно сформулировать так. Для того, чтобы найти элемент матрицы C, стоящий на пересечении i-ой строки и j-ого столбца (c_ij) надо поэлементно перемножить i-ую строку первой матрицы A на j-ый столбец второй матрицы B и сложить все результаты. Так в показанном примере, элемент из третьей строки и второго столбца, получается как сумма поэлементных произведений третьей строки A и второго столбца B

Рис.7 Элемент произведения матриц

Произведение матриц зависит от порядка, т.е. AB ≠ BA, хотя бы по соображениям размерности. Говорят, что оно некоммутативно. Однако произведение матриц ассоциативно. Это означает, что ABC = ( AB ) C = A ( BC ). Кроме того, оно еще и дистрибутивно, т.е. A ( B + C ) = AB + AC. Очевидно, что AO = O.

Содержание

Квадратные матрицы

Если число столбцов матрицы равно числу ее строк (I = J = N), то такая матрица называется квадратной. В этом разделе мы будем рассматривать только такие матрицы. Среди этих матриц можно выделить матрицы, обладающие особыми свойствами.

Единичной матрицей (обозначается I, а иногда E ) называется матрица, у которой все элементы равны нулю, за исключением диагональных, которые равны 1, т.е.

Очевидно AI = IA = A.

Матрица называется диагональной, если все ее элементы, кроме диагональных (a_ii) равны нулю. Например

Рис. 8 Диагональная матрица

Матрица A называется верхней треугольной, если все ее элементы, лежащие ниже диагонали, равны нулю, т.е. a_ij = 0, при i> j. Например

Рис. 9 Верхняя треугольная матрица

Аналогично определяется и нижняя треугольная матрица.

Матрица A называется симметричной, если A ^t = A. Иными словами a_ij = a_ji. Например

Рис. 10 Симметричная матрица

Матрица A называется ортогональной, если

A ^t A = AA ^t = I.

Матрица называется нормальной если

A ^t A = AA ^t.

Содержание

След и определитель

Следом квадратной матрицы A (обозначается Tr( A ) или Sp( A )) называется сумма ее диагональных элементов,

Например,

Рис. 11 След матрицы

Очевидно, что

Sp(α A ) = α Sp( A ) и

Sp( A + B ) = Sp( A )+ Sp( B ).

Можно показать, что

Sp( A ) = Sp( A ^t), Sp( I ) = N,

а также, что

Sp( AB ) = Sp( BA ).

Другой важной характеристикой квадратной матрицы является ее определитель (обозначается det( A )). Определение определителя в общем случае довольно сложно, поэтому мы начнем с простейшего варианта — матрицы A размерностью (2× 2). Тогда

Для матрицы (3× 3) определитель будет равен

В случае матрицы (N× N) определитель вычисляется как сумма 1·2·3·... ·N = N! слагаемых, каждый из которых равен

Индексы k₁, k₂,..., k_N определяются как всевозможные упорядоченные перестановки r чисел в наборе (1, 2, ..., N). Вычисление определителя матрицы — это сложная процедура, которую на практике осуществляется с помощью специальных программ. Например,

Рис. 12 Определитель матрицы

Отметим только очевидные свойства:

det( I ) = 1, det( A ) = det( A ^t),

det( AB ) = det( A )det( B ).

Содержание

Векторы

Если матрица состоит только из одного столбца (J = 1), то такой объект называется вектором. Точнее говоря, вектором-столбцом. Например

Можно рассматривать и матрицы, состоящие из одной строки, например

Этот объект также является вектором, но вектором-строкой. При анализе данных важно понимать, с какими векторами мы имеем дело — со столбцами или строками. Так спектр, снятый для одного образца можно рассматривать как вектор-строку. Тогда набор спектральных интенсивностей на какой-то длине волны для всех образцов нужно трактовать как вектор-столбец.

Размерностью вектора называется число его элементов.

Ясно, что всякий вектор-столбец можно превратить в вектор-строку транспонированием, т.е.

В тех случаях, когда форма вектора специально не оговаривается, а просто говорится вектор, то имеют в виду вектор-столбец. Мы тоже будем придерживаться этого правила. Вектор обозначается строчной прямой полужирной буквой. Нулевым вектором называется вектор, все элементы которого раны нулю. Он обозначается 0.

Содержание

Произведения векторов

Два вектора одинаковой размерности N можно перемножить. Пусть имеются два вектора x = (x₁, x₂,..., x_N)^t и y = (y₁, y₂,..., y_N)^t. Руководствуясь правилом перемножения " строка на столбец", мы можем составить из них два произведения: x ^t y и xy ^t. Первое произведение

называется скалярным или внутренним. Его результат — это число. Для него также используется обозначение ( x, y )= x ^t y. Например,

Рис. 14 Внутреннее (скалярное) произведение

Второе произведение

называется внешним. Его результат — это матрица размерности (N× N). Например,

Рис. 15 Внешнее произведение

Векторы, скалярное произведение которых равно нулю, называются ортогональными.

Содержание

Норма вектора

Скалярное произведение вектора самого на себя называется скалярным квадратом. Эта величина

определяет квадрат длины вектора x. Для обозначения длины (называемой также нормой вектора) используется обозначение

Например,

Рис. 16 Норма вектора

Вектор единичной длины (|| x || = 1) называется нормированным. Ненулевой вектор ( x ≠ 0 ) можно нормировать, разделив его на длину, т.е. x = || x || ( x/ || x ||) = || x || e. Здесь e = x/ || x || — нормированный вектор.

Векторы называются ортонормированными, если все они нормированы и попарно ортогональны.

Содержание

Угол между векторами

Скалярное произведение определяет и угол φ между двумя векторами x и y

Если вектора ортогональны, то cosφ = 0 и φ = π /2, а если они колинеарны, то cosφ = 1 и φ = 0.

Содержание

Линейно зависимые векторы

Векторы одинаковой размерности (N) можно складывать и умножать на число, также как матрицы. В результате получится вектор той же размерности. Пусть имеется несколько векторов одной размерности x ₁, x ₂,..., x _K и столько же чисел α α ₁, α ₂,..., α _K. Вектор

y = α ₁ x ₁+ α ₂ x ₂+...+ α _K x _K

называется линейной комбинацией векторов x _k.

Если существуют такие ненулевые числа α _k ≠ 0, k = 1,..., K, что y = 0, то такой набор векторов x _k называется линейно зависимым. В противном случае векторы называются линейно независимыми. Например, векторы x ₁ = (2, 2)^tи x ₂ = (− 1, − 1)^t линейно зависимы, т.к. x ₁ +2 x ₂ = 0

Содержание

Ранг матрицы

Рассмотрим набор из K векторов x ₁, x ₂,..., x _K размерности N. Рангом этой системы векторов называется максимальное число линейно-независимых векторов. Например в наборе

имеются только два линейно независимых вектора, например x ₁ и x ₂, поэтому ее ранг равен 2.

Очевидно, что если векторов в наборе больше, чем их размерность (K> N), то они обязательно линейно зависимы.

Рангом матрицы (обозначается rank( A )) называется ранг системы векторов, из которых она состоит. Хотя любую матрицу можно представить двумя способами (векторы столбцы или строки), это не влияет на величину ранга, т.к.

rank( A ) = rank( A ^t).

Содержание

Обратная матрица

Квадратная матрица A называется невырожденной, если она имеет единственную обратную матрицу A ^-1, определяемую условиями

AA ^{− 1} = A ^{− 1} A = I.

Обратная матрица существует не для всех матриц. Необходимым и достаточным условием невырожденности является

det( A ) ≠ 0 или rank( A ) = N.

Обращение матрицы — это сложная процедура, для выполнения которой существуют специальные программы. Например,

Рис. 17 Обращение матрицы

Приведем формулы для простейшего случая — матрицы 2× 2

Если матрицы A и B невырождены, то

( AB )^{− 1} = B ^{− 1} A ^{− 1}.

Содержание

Псевдообратная матрица

Если матрица A вырождена и обратная матрица не существует, то в некоторых случаях можно использовать псевдообратную матрицу, которая определяется как такая матрица A ⁺, что

AA ⁺ A = A.

Псевдобратная матрица — не единственная и ее вид зависит от способа построения. Например для прямоугольной матрицы можно использовать метод Мура-Пенроуза.

Если число столбцов меньше числа строк, то

A ⁺=( A ^t A )^{− 1} A ^t

Например,

Рис. 17a Псевдообращение матрицы

Если же число столбцов больше числа строк, то

A ⁺= A ^t( AA ^t)^{− 1}

Содержание

Дополнительная информация

Системы линейных уравнений

Пусть A — матрица размером I× J, а b — вектор размерности J. Рассмотрим уравнение

Ax = b

относительно вектора x, размерности I. По сути — это система из I линейных уравнений с J неизвестными x₁,..., x_J. Решение существует в том, и только в том случае, когда

rank( A ) = rank( B ) = R,

где B — это расширенная матрица размерности I× (J+1), состоящая из матрицы A, дополненной столбцом b, B = ( A b ). В противном случае уравнения несовместны.

Если R = I = J, то решение единственно

x = A ^{− 1} b.

Если R < I, то существует множество различных решений, которые можно выразить через линейную комбинацию J− R векторов. Система однородных уравнений Ax = 0 с квадратной матрицей A (N× N) имеет нетривиальное решение ( x ≠ 0 ) тогда и только тогда, когда det( A ) = 0. Если R = rank( A )< N, то существуют N− R линейно независимых решений.

Содержание

Разложение Холецкого

Если симметричная матрица A положительно определена, то существует единственная треугольная матрица U с положительными элементами, для которой

A = U ^t U.

Например,

Рис. 19 Разложение Холецкого

Содержание

Полярное разложение

Пусть A — это невырожденная квадратная матрица размерности N× N. Тогда существует однозначное полярное представление

A = SR,

где S — это неотрицательная симметричная матрица, а R — это ортогональная матрица. Матрицы S и R могут быть определены явно:

S ² = AA ^t или S = ( AA ^t)^½ и R = S ^{− 1} A = ( AA ^t)^{− ½} A.

Например,

Рис. 20 Полярное разложение

Если матрица A вырождена, то разложение не единственно — а именно: S по-прежнему одна, а вот R может быть много. Полярное разложение представляет матрицу A как комбинацию сжатия/растяжения S и поворота R.

Содержание

Собственные значения

У матрицы A , размерностью (N× N) не может быть больше чем N собственных значений. Они удовлетворяют характеристическому уравнению

det( A − λ I ) = 0,

являющемуся алгебраическим уравнением N-го порядка. В частности, для матрицы 2× 2 характеристическое уравнение имеет вид

Например,

Рис. 21 Собственные значения

Набор собственных значений λ ₁,..., λ _N матрицы A называется спектром A.

Спектр обладает разнообразными свойствами. В частности

det( A ) = λ ₁×...× λ _N, Sp( A ) = λ ₁+...+λ _N.

Собственные значения произвольной матрицы могут быть комплексными числами, однако если матрица симметричная ( A ^t = A ), то ее собственные значения вещественны.

Содержание

Собственные векторы

У матрицы A, размерностью (N× N) не может быть больше чем N собственных векторов, каждый из которых соответствует своему собственному значению. Для определения собственного вектора v _n нужно решить систему однородных уравнений

( A − λ _n I ) v _n = 0.

Она имеет нетривиальное решение, поскольку det( A − λ _n I ) = 0.

Например,

Рис. 22 Собственные вектора

Собственные вектора симметричной матрицы ортогональны.

Содержание

Разложение по сингулярным значениям (SVD)

Пусть имеется прямоугольная матрица A размерностью I× J ранга R (I≤ J≤ R). Ее можно разложить в произведение трех матриц P _R (I× R), D _R (R× R) и Q _R (J× R) —

так, чтобы —

Здесь P _R — матрица, образованная R ортонормированными собственными векторами p _r матрицы AA ^t, соответствующим R наибольшим собственным значениям λ _r;

AA ^t p _r = λ _r p _r;

Q _R — матрица, образованная R ортонормированными собственными векторами q _r матрицы A ^t A;

A ^t Aq _r = λ _r q _r.

D _R = diag (σ ₁,..., σ _R) — положительно определенная диагональная матрица, элементами которой являются σ ₁≥... ≥ σ _R≥ 0 — сингулярные значения матрицы A, равные квадратным корням из собственных значений матрицы A ^t A —

Пример,

Рис. 24 SVD разложение

Дополняя матрицы P _R и Q _R ортонормированными столбцами, а матрицу D _R нулевыми значениями, можно сконструировать матрицы P (I× J), D (J× J) и Q (J× J) такие, что

Об использовании SVD рассказано в пособиях MatLab. Руководство для начинающих и Метод главных компонент (PCA)

Содержание

Линейное пространство

Рассмотрим все возможные векторы размерности N. Это множество называется линейным пространством размерности N и обозначается R^N. Так как в R^N включены все возможные векторы, то любая линейная комбинация векторов из R^N будет также принадлежать этому пространству.

Содержание

Множественность базисов

В линейном пространстве могут быть неограниченное число базисов. Так, в пространстве R³ помимо обычного ортонормированного базиса

можно установить и другой ортонормированный базис, например

Каждый базис можно представить матрицей B = ( b ₁,..., b _N), составленной из базисных векторов. Переход от одного базиса к другому осуществляется с помощью невырожденной квадратной матрицы T, т.е. B ₂ = TB ₁.

Содержание

Подпространство

Пусть имеется набор из K линейно независимых векторов x ₁, x ₂,..., x _K в пространстве R^N. Рассмотрим все возможные линейные комбинации этих векторов

x = α ₁ x ₁+ α ₂ x ₂+...+ α _K x _K

О получившимся множестве Q говорят, что оно является линейной оболочкой или что оно натянуто на векторы x ₁, x ₂,..., x _K. По определению линейного пространства это множество Q само является линейным пространством размерности K. При этом оно принадлежит пространству R^N, поэтому Q называется линейным подпространством R^K в пространстве R^N.

Содержание

Проекция на подпространство

Рассмотрим подпространство R^K, натянутое на векторы X = ( x ₁, x ₂,..., x _K) в пространстве R^N. Матрица базиса X имеет размерность (N× K). Любой вектор y из R^N может быть спроецирован на подпространство R^K, т.е. представлен в виде