КРИТЕРИИ С РАЗБИЕНИЕМ ВЫБОРКИ

Внешние критерии, применяемые в М ГУА.

Здесь принцип компромисса (в неявном виде) достигается за счет разбиения выборки на две части. По одной части – „внутренней” –

осуществляется оценивание параметров, по другой – „внешней” – определяется прогнозирующая способность моделей. К этой группе относится критерий регулярности:

где A и B – соответственно обучающая и проверочная части выборки, – оценка параметров модели сложности s по МНК на подвыборке А.

Недостатки классических алгоритмов шаговой регрессии.

Итак, подведем первые итоги дляАШГ

1. Принятие Н₀ достоверно только для генеральной совокупности данных – тогда новые данные ничего нового не дают – значит гипотеза принята достоверно с заданным уровнем значимости.

Но - когда и где мы имеем генеральную совокупность? В наших задачах ( диагностики, доказательной медицины) - очень редко.

Тольковременные ряды, наблюдаемые длительное время (если не вмешивается нестационарность) удовлетворят тому условию.

2. Тест на адекватность пройдут многие модели, полученные любым из алгоритмов, рассмотренных выше, (а это, как правило, разные модели) так что тест на адекватность не решает вопрос единственности модели.

А вот на свежих данных, заранее признается неадекватность полученных моделей

3. Но самое главное, что проблема единственности гораздо критичнее – ведь единственный инструмент влияния на АШР – уровень значимости “рекомендуется” принимать в диапазоне 0, 01-0, 05.

Простите, но при разных уровнях значимости в реальной задаче с корр. аргументами и шумом вы будете получать разные модели!!!!

По сути, объективный вопрос синтеза истинной модели интересующего Вас процесса, переводится в плоскость религиозную, в плоскость доверия - выбора доверительной вероятности (или уровня значимости принятия Н₀).

И при этом полностью игнорируется что человек объективно оценивает вероятность происходящих событий только в диапазоне Р=0, 1-0, 9 , а в хвостах совершенно ее не чувствует - он просто не способен реально сопоставить скажем вероятность 0.01 и 0.0033, кроме того факта, что первая больше. В этих хвостах человек реально не ориентируется, а фактически преобразовывает вероятности по логарифмичесой шкале, сжимая шкалу и деформируя ее. Кстати – это одна из причин популярности ЛШ.

Поэтому если вы возьмете наугад 100 работ, в которых применяется аппарат принятия статистических гипотез, из них в 99 будет фигурировать уровень значимости a=0.05. Никто не хочет связываться с этим тонким вопросом и тупо берет некоторое растиражированное значение, подчиняясь стадному чувству. Причем это не только работы неспециалистов, нестатистиков. Данный стереотип настолько въелся в обиход, что когда задаешь этот вопрос специалисту статистику он в первый момент не соображает чего к нему цепляются – ведь все так делают, а то что от этого кардинально меняется результат -игнорируется.

Причем, при выборе a, как правило, ссылаются на баланс увеличения - уменьшения вероятности ошибок 1-го и 2-го родов.

Чрезмерное уменьшение уровня значимости (вероятности ошибки первого рода) может привести к увеличению вероятности ошибки второго рода, то есть вероятности принять нулевую гипотезу, когда на самом деле она не верна (это называется ложноотрицательным решением, false negative).

Ведь a=0.05 - это вероятность возникновения ошибки 1-ого рода при принятии Н₀ (пропуск цели-ошибочное принятие Н₀ – ошибочно (с вероятностью α ) отсеять значимый аргумент) и уменьшая a мы увеличиваем вероятность ошибки 2-рода принятия незначимого аргумента (увеличивая вероятность сбить своего, или пропуская незначимый аргумент в модель).

 

Но как учесть что уровень значимости по сути является порогом отсева аргументов, и он должен реагировать на условия синтеза, шум в данных и точки его приложения?

Как же выбрать истинную модель?? Кроме того в реальных условиях шумов в данных, возможно, надо выбирать не истинную а какую-то другую модель????

И последнее: вы выслушали критику в адрес классических АШГ.

Но имейте в виду, что те алгоритмы, о которых я буду в дальнейшем рассказывать (метод группового учета аргументов (МГУА) и др) тоже не свободны уже от других недостатков.

Эти алгоритмы, основанные на трех принципах (необходимого разнообразия моделей путем варьирования их сложности, неокончательного решения - свободы выбора и внешнего дополнения), на которых можно получать единственные модели, тем не менее, не свободны от того, что алгоритмов (в зависимости от внешних критериев, схем усложнения моделей, алгоритмов оценивания параметров) тоже должно быть много. В этом смысле проблема единственности не преодолевается.

Единственный и главный плюс – то, что единственная модель выбирается зряче, с пониманием того, в соответствии с каким основным сейчас для нас свойством (внешним критерием) мы выбираем единственную модель. О внешних критериях – основе МГУА поговорим немного позже.

Так вот, поскольку и в других методах есть свои проблемы, (хотя с моей точки зрения алгоритмы МГУА наиболее совершенны и технологичны в настоящее время), то если бы рядом со мной стоял «старый зубр» - статистик (например Цейтлин Натан Абрамович автор книги “из опыта аналитического статистика”) он сумел бы доказывать что и МГУА не совершенны а в рамках АШР он, Цейтлин сможет получать модели не хуже чем мы по МГУА

Ну что же. В этом он наверное прав. Но для этого надо быть Цейтлиным, и иметь многолетний опыт практической работы статистика, чтобы преодолевать проблему множественности моделей с помощью своего многолетнего опыта.

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: