РАЗРАБОТКА ПРОГРАММНО-ТЕХНОЛОГИЧЕСКОГО ОБЕСПЕЧЕНИЯ СТАТИСТИЧЕСКОГО ОПИСАНИЯ ОБЪЕКТОВ

Факультет землеустройства и геодезии

Кафедра системного анализа и информатизации

Шупик Анастасия Алексеевна

РАЗРАБОТКА ПРОГРАММНО-ТЕХНОЛОГИЧЕСКОГО ОБЕСПЕЧЕНИЯ СТАТИСТИЧЕСКОГО ОПИСАНИЯ ОБЪЕКТОВ

Выпускная квалификационная работа

 

 

Обучающегося	4 курса бакалавриата
Направления подготовки	27.03.03 – Системный анализ и управление
	(код и наименование)
Форма обучения	очная
	(очная, заочная)
Научный руководитель профессор, д.т.н., профессор		А.В. Степанов
К ЗАЩИТЕ ДОПУСКАЮ:
Зав. кафедрой, д.т.н., профессор		А.В. Степанов

 

Симферополь, 2016

 

 

Академия биоресурсов и природопользования «КФУ им. В.И. Вернадского
(полное название высшего учебного заведения)
Кафедра	Системного анализа и информатизации
Образовательный уровень	бакалавриат
Направление подготовки	27.00.00 Управление в технических системах
	(код и наименование)
Специальность	27.03.03 – Системный анализ и управление
	(код и наименование)

 

УТВЕРЖДАЮ

Заведующий кафедрой

____________________

____________________

«___»_______20___года

 

ЗАДАНИЕ ДЛЯ ПОДГОТОВКИ

ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

 

Обучающемуся		4 курса
Шупик Анастасии Алексеевне
(фамилия, имя, отчество)
1.	Тема ВКР	Разработка программно-технологического обеспече-
	ния статистического описания объектов
	Руководитель ВКР	Степанов А.В., д.т.н., профессор
		(фамилия и инициалы, ученая степень, звание)
	утверждена приказом № 01С/2600 высшего учебного заведения от
	«25» ноября 2015 г.
2.	Срок сдачи обучающимся ВКР	01.06.2016 г.
3.	Исходные данные к ВКР	научно-техническая документация,
	патентная документация, методика проведения экспериментов и
	обработки данных, ГОСТы, ТУ
4.	Содержание расчетно-пояснительной записки (перечень основных разделов ВКР, которые необходимо разработать)
	Описание математических методов обработки ємпирических данных
	ANCOVA и регрессионный метод.
	Организация среды программирования на Andrjid.
	Приложения разработанного программного обеспечения к обработке
	экспериментальных данных.
	Экологичность и безопасность проекта.
	Организационно-экономическая часть проекта.
5.	Перечень обязательных приложений к ВКР
	Исходный код программы
6.	Перечень графического материала (с перечислением обязательных
	чертежей)	Графический материал должен быть представлен презен
	тацией в электронном виде, изготовленной с помощью SSP PowerPoint.

 

7. Консультанты разделов ВКР

Раздел	Фамилия и инициалы, должность консультанта	Подпись, дата
задание выдал	задание принял
1.	Степанов А.В., профессор
2.	Степанов А.В., профессор
3.	Степанов А.В., профессор
4.	Клиценко Г.Г., доцент
5.	Родзевич Н.А., ст. преп.

8. Дата выдачи задания «25» ноября 2015 г.

 

КАЛЕНДАРНЫЙ ПЛАН

№ п/п	Название этапов выпускной квалификационной работы	Срок выполнения этапов ВКР	Примечание
1.	Сбор, анализ и обоснование
	исходного материала	01.11.2015 г.
2.	Проведение теоретических ис-
	следований, эксперименты, об-
	работка данных, обобщения.	30.04.2016 г.
3.	Оформление текстовой части.	25.05.2016 г.

 

Задание принял (а) к исполнению	«25» ноября 2015 г.
Обучающийся			Шупик А.А.
	(подпись)	(фамилия и инициалы)
Руководитель ВКР			Степанов А.В.
	(подпись)	(фамилия и инициалы)

 

 

АННОТАЦИЯ

Предлагается программное обеспечение для мобильных приложений, осуществляющее статистическое описание объектов в виде эмпирической регрессионной модели. Реализован метод ANCOVA – анализ ковариаций, в части построения статистической модели на основе метода наименьших квадратов. В качестве языка программирования использован язык высокого уровня С++.

Разработанное программное обеспечение предназначено для использования на мобильных устройствах типа Android. Для организации среды программирования предлагается использовать операционную систему Ubuntu 11.10, которая дает возможности для разработки специализированного программного обеспечения на этом языке и C-подобных языках под Android и интегрированная среда разработки приложений Eclipse.

Рассмотрен пример определения коэффициентов эмпирической модели, описывающей процессы упруго-пластичных деформаций плодов томатов при механических воздействиях на них.

Общий объем выпускной бакалаврской работы представлен пояснительной запиской, содержащей 90 страниц машинописного текста, 18 рисунков, 15 таблиц и 12 основных библиографических источников.

 

 

Ключевые слова: язык программирования, мобильное программное приложение, Android, Ubuntu 11.10, интегрированная среда разработки Eclipse, среда программирования, анализ ковариаций, одношаговый метод наименьших квадратов.

ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, ЕДИНИЦ, СОКРАЩЕНИЙ И ТЕРМИНОВ

 

ПО – программное обеспечение

ПП – программный продукт

ГОСТ – государственный стандарт

ТУ – технические условия

ANCOVA – анализ ковариаций

1МНК – одношаговый метод наименьших квадратов

ИШ – источник шума

РТ – расчетная точка

СОДЕРЖАНИЕ

	СОДЕРЖАНИЕ…………………………………………………………
	ВВЕДЕНИЕ……………………………………………………………..
	ОПИСАНИЕ МАТЕМАТИЧЕСКИХ МЕТОДОВ ОБРАБОТКИ ЭМПИРИЧЕСКИХ ДАННЫХ: ANCOVA И РЕГРЕССИОННЫЙ МЕТОД…………………………………………………………………..
	1.1 Дисперсионный анализ……………………………………………..
	1.2 Регрессионный метод и анализ ковариаций ANCOVA……….
	ОРГАНИЗАЦИЯ СРЕДЫ ПРОГРАММИРОВАНИЯ НА ANDROID..
	2.1 Организация операционной системы……………………………
	2.2 Программная реализация метода 1МНК в среде С++ под Android…………………………………………………………………….
	ПРИЛОЖЕНИЯ РАЗРАБОТАННОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ К ОБРАБОТКЕ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ…………………………………………………………………
	3.1 Некоторые дополнительные теоретические сведения………….
	3.2 Измерения физических параметров……………………………….
	ЭКОЛОГИЧНОСТЬ И БЕЗОПАСНОСТЬ ПРОЕКТА………………
	4.1 Анализ условий труда разработчика……………………………
	ОРГАНИЗАЦИОННО-ЭКОНОМИЧЕСКАЯ ЧАСТЬ ПРОЕКТА….
	5.1 Организация разработки программного продукта………………
	5.2 Расчет и оптимизация параметров сетевого графика……………
	ЗАКЛЮЧЕНИЕ………………………………………………………….
	Список использованных источников………………………………….
	ПРИЛОЖЕНИЕ А………………………………………………………

 

ВВЕДЕНИЕ

Развитие средств вычислительной техники в значительной мере влияет на сферы деятельности человека. Одновременно, возможности, которые предоставляются в связи с прогрессом в этой области, постоянно расширяются, расширяется круг задач, которые могут быть решены и которые раньше требовали значительных ресурсных усилий, если вообще были разрешимы. Это опосредованно приводит к необходимости совершенствования существующего программного обеспечения и разработки новых приложений. В частности, автоматизируются различные математические методы обработки различного рода информации. Под развитие средств автоматизированной обработки данных, сами математические методы претерпевают модификации.

Современный прогресс средств обработки эмпирической информации можно охарактеризовать следующим образом. С одной стороны, вычислительная техника преодолела путь от больших вычислительных машин, через персональный компьютер и их локальные вычислительные комплексы, до мобильных устройств, которые в большей степени аккумулировали в себе свойства средств связи (нежели вычислительные средства), но приобрели важное свойство мобильности (оно всегда рядом с человеком). С другой стороны, наблюдается большое разнообразие языковых сред программирования для разработки приложений.

Среди методик первичной обработки эмпирических данных выделяются наиболее распространенные: анализ дисперсий, анализ ковариаций и регрессионный анализ. Эти методики в достаточной мере автоматизированы. Существует масса реализаций соответствующего программного приложения, которое либо интегрировано в программные пакеты и оболочки, либо являются автономными. Принципиально, существующее в этой области программное обеспечение (ПО) предназначено для использования при расчетах на стационарных рабочих станциях, либо может быть установлено на ноутбуках. Как правило, такое ПО разработано на языках высокого уровня типа Pascal Delphi, C++, C#, FORTRAN, либо встроено в библиотеки интегрированных комплексов типа MatLab и т.п. Оно не предназначено для использования на мобильных устройствах типа Android. Известно, что программное обеспечение Androidов разрабатывается на Java. Таким образом, здесь важно иметь соответствующую операционную систему для разработки прикладного ПО.

В связи с выше изложенным, вырисовываются контуры задачи разработки программного обеспечения для мобильных девайсов. Основная цель таких разработок – это дать возможность исследователю, проводящему натурные эксперименты или наблюдения оперативно провести первичную обработку данных. При этом появляется возможность оперативно вмешаться в методику проведения экспериментов и наблюдений без использования результатов расчетов на локальных стационарных станциях, что экономит время. Очевидно, что разработка библиотеки таких программных средств будет полезным набором необходимого инструментария исследователей в области биологии, ботаники, геологии, инженерных кадастровых работ и т.п.

В качестве элементов такого инструментария выбраны: дисперсионный анализ и анализ ковариаций, которые традиционно объединены в методике под названием ANCOVA, и регрессионный анализ, основанный на одношаговом методе наименьших квадратов 1МНК.

 

РЕГРЕССИОННЫЙ МЕТОД

 

Дисперсионный анализ

 

Суть метода заключается в исследовании влияния одной или нескольких качественных переменных (признаков или, как принято говорить, – факторов-признаков) на одну зависимую (количественную) переменную (отклик). В основе такого исследования лежит гипотеза, что одни переменные могут рассматриваться как причины (независимые переменные): , а другие как следствия (зависимые переменные). В эксперименте независимыми переменными исследователь может варьировать и, соответственно, иметь разные уровни отклика.

Отсюда и основная цель – определение уровня значимости различий между значениями средних на основе сравнения дисперсий. Здесь общая дисперсия делится на несколько источников, а далее дисперсия, вызванная различиями между группами данных, сравнивается с дисперсией, которая опосредована внутригрупповой изменчивостью.

Основная гипотеза, если она верна, заключается в том, что оценка дисперсии, связанной с внутригрупповой изменчивостью, близка в определенном смысле к оценке межгрупповой дисперсии. Таким образом, общая дисперсия разбивается на компоненты, которые опосредованы влиянием вполне определенных факторов на исследуемый признак. Далее эти компоненты сравниваются друг с другом, определяется, какова доля общей вариативности результирующего признака обусловлена влиянием независимых фактор-признаков. Здесь используется известный F -критерий Фишера.

Входными данными для проведения F -тестирования (собственно это основа дисперсионного анализа данных) являются данные исследования нескольких (трех и более) выборок , не обязательно равных по объему и, среди которых не учитывается присутствие объективных связей.

Важно отметить, что дисперсионный анализ относится к параметрическим методам, что обуславливает его применение лишь в тех случаях, когда точно известно, что закон распределения генеральной совокупности является нормальным. Кроме того, дисперсионный анализ применяется в том случае, если зависимая переменная измерена в шкалах отношений, интервалов или порядков. При этом сами регулярные переменные могут иметь нечисловую природу (шкала наименований).

В классической постановке задачи, решаемые методом дисперсионного анализа выглядят следующим образом. Пусть производится анализ влияния на случайную величину фактора , который исследуется на уровнях: . На каждом уровне произведено наблюдений: , случайной величины . Таким образом, на всех уровнях фактора в общей сложности произведено наблюдений.

Далее, расположим все данные экспериментов в таблицу (см. табл. 1.1):

 

Таблица 1.1 – Данные экспериментов

Номер наблюдения	Уровни фактора
		…		…
			…		…
			…		…
…	…	…	…	…	…	…
			…		…
…	…	…	…	…	…	…
			…		…
			…		…

 

В табл. 1.1 обозначено: .

Будем рассматривать оценки различных дисперсий. Для оценки дисперсии изменения данных на уровне (по строкам), получим

. (1.1)

Согласно предпосылкам дисперсионного анализа, должно выполняться равенство:

. (1.2)

При выполнении (1.2) находим оценку дисперсии рассеяние случайной величины вне зависимости от воздействий фактора :

. (1.3)

Оценка имеет степень свободы, а оценка , соответственно степень. Оценка выборочной дисперсии с использованием всех наблюдений равна:

. (1.4)

Здесь , а .

Тогда

. (1.5)

Введем в рассмотрение оценку дисперсии , которая характеризует вариации математических ожиданий под воздействием фактора .

. (1.6)

Заметим, что оценка имеет степень свободы.

Исследование влияния фактора на вариацию математических ожиданий , сводится к процедуре сравнения дисперсий и . Их оценки соответственно и . Считается, что фактор значительно влияет на изменения математических ожиданий , если значимо отношение . Оно значимо, если с достоверной вероятностью :

. (1.7)

Здесь квантиль F-распределения Фишера с и степенями свободы. Значения квантиля можно найти по таблицам стандартных распределений.

Противный случай: влияние фактора незначимо, т.е. (1.7) не выполняется, а имеет место соотношение: , то для оценки дисперсии может быть применена более точная оценка с степенями свободы, против с степенями свободы.

 

Алгоритм вычислений.

1. Вычисляются последовательно суммы

. (1.8)

2. Вычисляются

. (1.9)

3. Сравниваются и . При этом устанавливается уровень значимости фактора . Если:

,

то влияние фактора считается значимым. В противном случае всю выборку можно считать однородной с общей дисперсией .

Замечание. Если на различных уровнях фактора производится разное число наблюдений (экспериментов), то формулы дисперсионного анализа примут вид:

(1.10)

. (1.11)

Здесь количество наблюдений на уровне , . Отношение сравнивается с величиной квантиля .

В качестве иллюстрации выше сказанного, приведем пример.

Пример 1.1. Проведем дисперсионный анализ отвлеченных данных, представленных в таблице (см. табл. 1.2).

Таблица 1.2 – Исходные данных экспериментов

	Уровни фактора
	3, 2	2, 6	2, 9	3, 6	3, 0
	3, 1	3, 1	2, 6	3, 4	3, 4
	3, 1	2, 7	3, 0	3, 2	3, 2
	2, 8	2, 9	3, 1	3, 3	3, 5
	3, 3	2, 7	3, 0	3, 5	2, 9
	3, 0	2, 8	2, 8	3, 3	3, 1
S	18, 5	16, 8	17, 4	20, 3	19, 1

1.

2.

3.

Так как влияние фактора на поведение наблюдаемой случайной величины признается значимым.

 

Алгоритм вычислений.

1. Формирование целевой функции. Вычисляются:

Ошибка или отклонение: ;

Квадрат ошибки:

Здесь значения параметров, получаемые в результате оценок.

Сумма квадратов ошибок:

Это и есть целевая функция. Представим ее в виде:

Далее, следуя необходимому условию экстремума функции многих переменных, вычислим частную производную целевой функции и приравняем ее нулю.

мерный вектор мерный вектор

 

Необходимый признак:

 

или

 

В матричном виде:

 

 

Здесь неизвестным (искомым) является вектор . В векторной записи имеем:

Подставляя найденные значения в оцениваемое регрессионное уравнение, получим так называемую эмпирическую регрессионную функцию:

(1.15)

 

С учетом того, что эмпирическая функция регрессии линейная, то дифференцирование ее по каждому из признаков (по переменным ) получим соответствующий эмпирический регрессионный коэффициент в выражении (1.15). Таким образом, изменение этого го слагаемого на единицу, при прочих равных условияхвызовет изменение оцениваемой величины на величину равную .

 

В качестве иллюстрации рассмотрим пример, где одношаговый метод наименьших квадратов в экспресс-режиме дает возможность получить результат в виде (1.12).

Пример 1.2. Проведена оценка процессоров 10-ти рабочих станций локальной сети, построенной на базе машин приблизительно одного типа, но разных производителей (что предполагает некоторые отклонения параметров работы машин от базовой модели). Для тестирования работы процессоров использована смесь типа ICOMP 2.0 в основу, которой положены два основных теста:

1. 125.turb3D – тест моделирования турбулентности в кубическом объеме (прикладное ПО);

2. NortonSI32 – инженерная программа типа AutoCaD.

Вместе со смесью был применен вспомогательный тест для нормирования времени обработки данных SPECint_base95. Оценка процессоров производилась по взвешенному времени выполнения смеси, нормированному по эффективности базового процессора, в соответствии с формулой

 

, (1.15)

 

где время выполнения го теста;

вес го теста;

эффективность базового процессора на м тесте.

 

Если выражение (1.15) логарифмировать, то получим:

 

 

и после переобозначения переменных:

 

. (1.16)

Здесь:

;

базовое время обработки теста SPECint_base95 ;

логарифм времени обработки первого теста, регрессионный коэффициент, получаемый в оценках (вес теста);

логарифм времени обработки второго теста, регрессионный коэффициент, получаемый в оценках (вес теста);

регрессионный коэффициент – вес теста обработки арифметических операций в целых числах (базовый тест).

По данным измерений, приведенным в таблице, построить регрессионную (эмпирическую) функцию, оценить коэффициенты регрессии и проверить модель на адекватность (вычислить ковариационную матрицу, коэффициенты парной корреляции, коэффициент детерминации).

В таблице 1.3 приведены результаты в масштабе единиц общего выделенного признака :

 

Таблица 1.3 – Результаты замеров в масштабе единиц первого признака

№ п/п	=	=	=
	3, 5	45, 0	60, 0
	6, 0	55, 0	36, 0
	5, 0	50, 0	36, 0
	3, 5	40, 0	55, 0
	1, 5	20, 0	90, 0
	2, 5	25, 0	75, 0
	2.0	20, 0	80, 0
	3, 0	30, 0	70, 0

 

Очевидно, будем иметь для указанных данных в соответствии с алгоритмом:

 

 

Вектор правой части системы нормальных уравнений Гаусса определяется следующим образом (в матричной форме):

 

 

Численные значения компонентов вектора регрессионных коэффициентов, оцененные методом наименьших квадратов:

 

 

Сама эмпирическая двухфакторная регрессия будет иметь вид:

 

 

Она приводит к следующим прогнозным (расчетным) значениям регрессанда:

 

 

Далее рассчитываем компоненты вектора отклонений

 

 

и математическое ожидание вектора ошибок:

 

 

Близость его значения к нулю свидетельствует о том, что расчеты выполнены верно. Как уже было указано, оценки носят случайный характер, однако, при этом не исключается, что среди них имеется объективная связь. На этом этапе исследований собственно и включается ядро процедуры метода ANCOVA.

По определению, характеристикой взаимосвязи двух случайных величин является их ковариация. Известно, что ковариацией случайных величин и называется число равное математическому ожиданию произведения отклонений случайных величин и от своих математических ожиданий:

 

Согласно этому определению ковариации, для совокупной характеристики оценок , дисперсии и ковариации , запишем в виде так называемой ковариационной матрицы:

 

 

Ковариационная матрица по эмпирическим данным может быть получена Она неизвестна и может быть лишь оценена.

 

Оцененная матрица: , где

Возвращаясь к примеру, укажем, что

 

 

и рассчитаем величину следующим образом:

Тогда:

 

 

Об уровне связи между оцененными параметрами можно говорить более конкретно, если рассчитать коэффициенты парной корреляции

 

 

 

 

Их значения по абсолютной величине близки к единице. Это свидетельствует о том, что между параметрами существует достаточно тесная связь.

 

Важно заметить, что более существенная роль ковариационному анализу отводится при исследованиях авторегрессионных процессов.

Известно, что автокорреляция возмущений означает, что в регрессионном уравнении для периода зависит от возмущений более ранних периодов в том же уравнении. Для простейшего случая, когда имеет место авторегрессионный процесс первого порядка имеем определение.

Определение: Возмущение подчиняется авторегрессионному процессу первого порядка, если выполняются следующие условия:

 

где

(1.17)

 

Здесь ковариационная матрица, которая имеет следующий вид:

 

 

( ), непосредственно используется для очистки модели от авторегресси при использовании процедуры метода Эйткена.

 

 

НА ANDROID

 

ЗАКЛЮЧЕНИЕ

 

1234567Следующая ⇒

Поделиться: