Оценка надежности коэффициента корреляции.

коэффициент корреляции должен находится в пределах r±3σ.

8.4. Измерение связи неколичественных признаков (К-нт ассоциации, к-нт контингенции, к-нт сопряженности Пирсона, к-нт сопряженности Чупрова, к-нт корреляции рангов Спирмена, к-нт корреляции Фехнера)

Условно:

Ограничение: a, b, c, d ≠ 0

Коэффициент контингенции

Пирсона:

Чупрова:

n1 – число вариантов значений первого признака,

n2 – число вариантов значений второго признака.

Коэффициент Спирмена:

_{, где}_di_{– разность рангов по обоим признакам для каждого объекта.}

Коэффициент Фехнера

• C – количество совпадающих знаков отклонений от средних

• H – количество несовпадающих знаков отклонений от средних

• C + H = n

Регрессионный анализ.

Цели, виды.

Регрессионный анализ - предсказание значения одного фактора на основе значения другого.

В ходе регрессионного анализа решаются две основные задачи:

l Построение уравнения регрессии, т.е. нахождение вида зависимости между результатным показателем и независимыми факторами x1, x2, ..., xn.

l Оценка значимости полученного уравнения, т.е. определение того, насколько выбранные факторные признаки объясняют вариацию признака у.

Виды:

1. Линейная регрессия

Yi = Сдвиг + Наклон * Xi + Сл.ошибкаi

Y = a + b*X+ε i

2. Множественная регрессия

Y = a + b1*X1 + b2*X2 +... + bp*Xp

Регрессионные коэффициенты

(или B-коэффициенты) представляют независимые вклады каждой независимой переменной в предсказание зависимой переменной.

Ошибка выбранной модели.

y – эмпирическое значение

y* - теоретическое значение

p – число параметров уравнения

Кластерный анализ.

Цели. Евклидово расстояние. Стандартизация.

Разделение выборки объектов на непересекающиеся подмножества (кластеры) так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались.

Позволяет уменьшить количество объектов. Критерием для определения схожести и различия кластеров является расстояние между точками на диаграмме рассеивания.

l Понимание данных (Каждому кластеру – свой метод анализа)

l Сжатие данных (Один типичный представитель от каждого кластера)

l NoveltyDetection (Выделение нетипичных объектов)

Евклидово расстояние - мера расстояния между кластерами

Расстояние между 2 точками в 2-мерном пространстве:

В 3-х мерном:

Стандартизация – выбор масштаба

Z-шкалы (Z-Scores) - из значений переменных вычитается их среднее, и эти значения делятся на стандартное отклонение

Методы объединения объектов.

Метод ближнего соседа

Расстояние между двумя кластерами определяется расстоянием между двумя наиболее близкими объектами (ближайшими соседями) в различных кластерах.

Метод дальнего соседа

-Применяется когда, расстояние между двумя кластерами, определяется расстоянием между двумя наиболее дальними объектами в кластерах.

-Необходим, для выделения кластеров путем соединения дальних объектов этих кластеров друг с другом.

3.Метод Варда :

-Применяется для выборок малых размеров

-Необходим для создания кластеров малых размеров и объединения близко расположенных кластеров в один большой.

Невзвешенного попарного среднего

Взвешенного попарного среднего

Центроидный

Дендрограмма. Основные характеристики кластеров.

Суть иерархической кластеризации состоит в последовательном объединении меньших кластеров в большие или разделении больших кластеров на меньшие.

Dendron — греч.дерево

Графическое изображение процесса объединения кластеров

l Вертикальная

l Горизонтальная

Характеристики кластера.

l Центр кластера - среднее геометрическое место точек в пространстве переменных.

l Радиус кластера - максимальное расстояние точек от центра кластера.

Спорный объект - объект, который может быть отнесен к нескольким кластерам

l Размер кластера может быть определен либо по радиусу кластера, либо по среднеквадратичному отклонению объектов для этого кластера.

l Объект относится к кластеру, если расстояние от объекта до центра кластера не больше радиуса кластера. Если это условие выполняется для двух и более кластеров, объект является спорным.

⇐ Предыдущая 1 2 345 6 7 8 Следующая ⇒