РАНГИ НАБОРОВ ПАРАМЕТРОВ ПО ДВУХГОДИЧНЫМ ТЕСТОВЫМ ПЕРИОДАМ, В ЗАВИСИМОСТИ ОТ ЗНАЧЕНИЙ N

 

Значение N набора	Ранг набора	Ранг набора	Ранг набора	Средний ранг
параметров	параметров в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
				9, 0
				5, 0
				5, 0
				3, 3
				5, 3
				6, 7
				1, 3
				3, 3
				6, 0

ГЛАВА 20. тестирование и оптимизация торговых систем 719

Будет поучительным рассмотреть наблюдения, связанные с предше­ствующим экспериментом по оптимизации.

• Оптимизация вообще не имела никакого значения, когда при­-
менялась к каждому рынку в отдельности.

• Однако примененная к портфелю, оптимизация кажется полез­-
ной для предсказания того, какой набор параметров с наиболь­-
шей вероятностью покажет плохую результативность в будущем.
Тем не менее, оптимизация не может предсказать, какие из на­-
боров параметров с наибольшей вероятностью продемонстри­-
руют хорошую результативность в будущем.

• При более близком исследовании выяснилось, что модель по­-
стоянно плохой результативности была не столько следствием
степени результативности на предшествующем периоде, сколь­-
ко следствием значения параметра. Другими словами, протес­-
тированный диапазон наборов параметров начинался со значе­-
ния, которое явно было далеко от оптимального для данной си­-
стемы: N = 20. Хотя и не показанные в таблицах, более низкие
значения для N продемонстрировали бы дальнейшее падение ре­-
зультативности по мере уменьшения значений N.

• За исключением крайних значений параметров (N = 20 или
ниже в этом примере), явно далеких от оптимального значения,
было мало стабильности в значениях наборов параметров с наи­-
лучшей результативностью внутри широкого диапазона наборов
параметров (от N = 30 до N = 100 в этом примере).

Эти наблюдения, которые согласуются с результатами похожих эм­пирических тестов, предпринятых мною в прошлом, предполагают сле­дующие ключевые выводы относительно оптимизации*:

1. От любой системы, повторяю, от любой системы с помощью оп­тимизации можно добиться того, чтобы она была очень прибыль­ной на исторических данных. Если вы когда-нибудь обнаружи­те систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производ-

* Хотя единственный эмпирический эксперимент не может быть использо­ван как основа для широких обобщений, я готов сделать таковые здесь, по­скольку только что описанные результаты абсолютно типичны для многих по­добных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве до­казательства нежизнеспособности оптимизации, а скорее, в качестве иллюст­рации этого момента.

720 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ству денег (поступайте противоположно ее сигналам, если толь­ко транзакционные затраты не чрезмерны). Таким образом, при­ятно смотреть на удивительную результативность оптимизиро­ванной системы в прошлом, однако она имеет мало практичес­кой ценности.

2. Оптимизация будет всегда, повторяю, всегда преувеличивать по­-
тенциальную будущую результативность системы — обычно
весьма сильно. Таким образом, результаты оптимизации никог­-
да не должны, повторяю, никогда не должны использоваться для
оценки достоинств системы.

3. Для многих, если не для большинства систем, оптимизация не
будет улучшать будущую результативность или улучшит ее незна­-
чительно.

4. Если оптимизация и имеет какое-то значение, оно обычно со­-
стоит в определении широких границ диапазона, из которых
следует выбирать значения наборов параметров для системы.
Тонкая подстройка оптимизации — это в лучшем случае поте­-
ря времени, а в худшем — самообман.

5. В свете всех предшествующих пунктов искушенные и слож­-
ные процедуры оптимизации — пустая трата времени. Наи­-
простейшие оптимизационные процедуры будут предоставлять
не меньшее количество значимой информации (предполагая,
что, вообще, может быть извлечена некоторая значимая ин­-
формация).

В итоге, в противоположность широко распространенным верованиям, существует некий резонный вопрос: приведет ли оптимизация к суще­ственно лучшим результатам при длительном периоде торговли, чем случайным образом выбранный набор параметров? Чтобы не было ни­каких недоразумений, позвольте мне уточнить: это утверждение не при­звано подразумевать, что у оптимизации вообще нет никакой ценнос­ти. Во-первых, как указано ранее, оптимизация может быть полезна при определении явно неподходящего диапазона параметров, который сле­дует исключить при выборе значений параметра (например, N # 20 в нашем примере системы пробоя). Кроме этого, возможно, что для не­которых систем оптимизация может провести некоторые границы в выборе наборов параметров даже после исключения крайних неопти­мальных диапазонов. Однако я подразумеваю, что степень улучшения, предлагаемая оптимизацией, намного меньше, чем обычно представля­ется, и что трейдеры, вероятно, сберегли бы кучу денег, доказывая в начале любое предположение, которое они делают по поводу оптими­зации, а не принимая эти предположения слепо на веру.

ГЛАВА 20. тестирование и оптимизация торговых систем 721

ТЕСТИРОВАНИЕ ИЛИ ПОДГОНКА?

Вероятно, наиболее существенная ошибка, которую делают пользова­тели фьючерсных торговых систем — это предположение, что резуль­тативность оптимизированного набора параметров во время тестово­го периода представляет собой прогноз потенциальной результативно­сти подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоцен­ке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из набо­ров параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятно­сти показывают, что если протестировано достаточное количество на­боров параметров, даже в бессмысленной торговой системе обнаружат­ся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т.е. наборах с наилучшей результативностью на рассматриваемом пе­риоде), является подгонкой системы под прошлые результаты, а не те­стированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следую­щий раздел описывает два разумных подхода.

Слепое моделирование

При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы. Результативность системы затем тестирует­ся с использованием полученных наборов параметров на последующих годах. В идеале, этот процесс следует повторить несколько раз.

Заметьте, что мы избегаем подгонки результатов, поскольку наборы параметров, используемые для измерения результативности в любой дан­ный период, выбираются полностью на основе предшествующих, а не те­кущих данных. В некотором смысле такой подход к тестированию воспро­изводит реальную жизнь (т.е. приходится на основании прошлых данных решать, при каком наборе параметров торговать). Оптимизационные те­сты из предыдущего раздела использовали этот тип процедуры, передви­гаясь во времени по двухгодичным интервалам; в частности, результаты системы для периода 1981-1988 гг. использовались, чтобы выбрать на­боры параметров с наилучшей результативностью, которые потом тести­ровались для периода 1989-1990 гг. Далее результаты системы для пе­риода 1983-1990 гг. использовались при выборе наиболее результатив-

722 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ных наборов параметров, которые затем были протестированы для пери­ода 1991-1992 гг. И наконец, результаты системы за период 1985-1992 гг. использовались при выборе наиболее результативных наборов пара­метров, которые затем были протестированы для периода 1993-1994 гг. Важнейший момент состоит в том, чтобы периоды «слепого моде­лирования» и оптимизации не накладывались один на другой. Модели­рование, которое производится на том же периоде, что и оптимизация, не имеет ценности.

⇐ Предыдущая19202122232425262728Следующая ⇒

Поделиться:

Популярное:

1. Автоматическая идентификация параметров товарно-транспортных потоков цепей поставок
2. Анализ гематологических параметров крови, их изменения в ходе инвазионного процесса
3. Анализ гематологических параметров крови, их изменения при описторхозе
4. Анализ технологических параметров проведения ГРП
5. Аппроксимация табличных значений математической формулой.
6. В. Настройка параметров брандмауэра.
7. Взвешивание вербальных (словесных) значений
8. Влияние некоторых технологических параметров на свойства спеченных тел.
9. Выбор конструктивного типа движителя, ориентировочных значений скорости хода судна и диаметра гребного винта.
10. ВЫБОР ОСНОВНЫХ ПАРАМЕТРОВ ДВИГАТЕЛЯ И ТРАНСМИССИИ АВТОМОБИЛЯ
11. Выбор параметров режима сварки взрывом.
12. Геометрических параметров на чертежах