Кросс-валидация в трейдинге
 Wed, 22 Nov 2023 00:22:13 +0300
Доброй ночи вам.

Тематика этого поста — про подход и способ выявления торговых систем, которые с наибольшей вероятностью будут работать в будущем, на неизвестных им прежде данных, а так же про понятие кросс-валидации в ML и его адаптации к трейдингу.

Итак, начнём.

Само понятие кросс-валидации пришло к нам из машинного обучения.

В классике, в машинном обучении, определение звучит так: кросс-валидация — это метод проверки качества модели, при котором данные разбиваются на несколько частей. Одна из частей используется как тестовый набор данных, а остальные части используются для обучения модели. После этого процесс повторяется несколько раз, каждый раз выбирается новый тестовый набор данных, пока все части данных не будут использованы как тестовый набор.

Давайте рассмотрим пример для ML, где мы используем 12-кратную кросс-валидацию для оценки качества модели. У нас есть набор данных, который мы разбиваем на 12 частей. Затем мы проводим обучение модели на 11 частях данных и тестируем на 1 части данных. Далее мы меняем тестовую часть и повторяем процесс обучения и тестирования. После завершения всех итераций у нас есть 12 наборов результатов (один для каждой части данных).

Для усреднения данных, полученных таким образом, мы просто берем среднее значение результатов всех итераций. Это позволяет получить более надежную оценку качества модели, так как мы учитываем различные варианты тестовых наборов данных.

Справедливости ради, отмечу, что в ML существует много различных типов кросс-валидации, и тот, что описан выше, называется K-fold. Из популярных есть ещё 6 (наиболее распространенных) типов — Holdout, Stratified k-fold, Rolling, Monte Carlo, Leave-p-out и Leave-one-out, но большинство из них не подойдёт для задач трейдинга от слова «совсем». Кстати говоря, Holdout — это тот самый любимый большинством In Sample / Out of Sample. Видите, как много дал трейдингу ML? А вы его ругаете :)

Думаю, тут практикующим алготрейдерам понятно, что данный подход в трейдинге «в лоб» не применим, поскольку «много неясного».
Более того, используя конкретные торговые терминалы, мы получаем профдеформацию, которая выглядит как представление о том, что есть только два куска: train и test или in sample и out of sample, если угодно. Если на train мы получили минус, то подавляющее большинство не видит смысла проводить с такой торговой системой какие-либо ещё упражнения в смысле тестирования / проверки её профпригодности на других временных отрезках.
Кроме того, для классической интерпретации термина не существует понятия времени. Там каждый кусок данных условно равнозначен, он как бы ни в прошлом, ни в будущем, ни в настоящем. Он просто есть. Мы же понимаем, что на небольших интервалах цена в прошлом всё-таки определяет в подавляющем большинстве случаев диапазон цены в будущем. Сбер не может стоить сегодня 15 рублей, завтра 300, потом 25. Выбросы, конечно, есть, кто же с этим спорит, но они есть везде, и их меньшинство. ML этого не учитывает, а нам стоит задуматься.

Дальше — больше. Мы ищем торговые системы на train и проверяем их на test. Если мы возьмём ценовой ряд, разобьём его на несколько кусков и скажем, что один из них — это test, а остальные — train, то что с этим делать дальше?
Обыкновенно, если результаты торговой системы на train нас не устраивают, есть ли (и какой) смысл проверять её на test?
С другой стороны, если на 5 кусках train у нас одни и те же параметры и одна и та же торговая система, как предполагает подход ML, то какие, к чёрту, это train? Train там будет только один, а остальные будут test — очевидно.

Вот и получается, что у нас, в алготрейдинге, должно быть наоборот: один train и несколько test. Нашли на train, и последовательно проверяем на всех test. А train меняем так, как это описано применительно к test в кросс-валидации для ML. Но так никто не делает, потому что у большинства выученная привычка, см. далее. Я бы даже сказал: привычка, навязанная терминалами.

Следующая проблема состоит в том, что нам эти результаты нужно сохранять, так как следует провести множество вычислений для разных инструментов, кусков train/test и самих торговых систем, а какие-то выводы можно сделать только на сводных результатах исследований. В штатной комплектации существующие торговые терминалы делать этого не позволяют. Собственно, и автоматизированно тестировать торговые системы, меняя смысл отдельных участков входных данных с train на test или наоборот, даже без записи результатов тестирования, они тоже не позволяют. Нужно всё это прикручивать сбоку руками. Как-то и где-то.

Ну и ещё вот эта привычка большинства, о которой тоже хочется сказать пару слов: взять тики лет за 20, и прогнать стратегию на них целиком. Без разделения на серии кусков. Имеет ли право такой подход на существование? Очевидно, да. Будет ли он эффективнее, чем разбиение ценовой истории на относительно небольшие куски и валидация каждого куска отдельно? Очевидно, нет, ведь в этом случае ТС должна подстроиться под 20 лет, да и оптимизируем мы её «на глаз» по кривой доходности и нашим внутренним убеждениям, зачастую, в отрыве от контекста (ведь мы не наблюдаем параллельно с кривой эквити кривую цены, чтобы чётко понимать, что происходило с доходом в моменты тех или иных движений цены, смены трендов, боковика или резких движений рынка, а главное — почему: проанализировать все эти кейсы)
В «кусочном» варианте такой задачи не стоит, поскольку мы отдаляемся от точки «торговая система должна быть эффективна всегда и вечно, как в прошлом, так и в будущем» и приближаемся к «эта конкретная торговая система должна быть эффективна здесь и сейчас, были до неё, будут и после». Не встаём на эту точку, а именно приближаемся к ней, поскольку крайностей вообще не существует.

Это всё мне напоминает про тыкать пальцем в мягкое, надеясь обнаружить нечто твёрдое. Ну, алмаз или золотой слиток в глине, что-то вроде. По сути, случайный поиск вручную. Авось, повезёт.

Первый вариант совершенно очевиден, понятен и логичен, если… мы говорим, что мы будем всегда торговать одним инструментом, одной системой и на одном таймфрейме. Что далеко от реальности, ведь сила алготрейдинга состоит именно в массовости совершения торговых операций разными алгоритмами и на разных рынках, что недоступно человеку. А чтобы торговать одним алгоритмом на одном инструменте — алготрейдинг не нужен. Всегда следует помнить, что алготрейдинг — это не про «торговать лучше, чем человек», а про «торговать больше, чем человек».

Не будучи осведомлён о всём том, что написано выше, я раньше определял для себя кросс-валидацию как валидацию ТС, найденной на одном инструменте, на ценовых данных других инструментов. Это совершенно нетривиальная задача, учитывая иногда на порядки различающиеся параметры тех или иных инструментов между собой. Я её для себя решил, а как — писал ранее.

Я пришёл к моему решению задачи кросс-валидации в трейдинге интуитивно.
В моём подходе, все имеющиеся данные — это пространство поиска торговых систем, и все же имеющиеся данные — это пространство для их проверки. Условие тут, очевидно, только одно: для каждой конкретной торговой системы данные, на которых она была найдена, и данные, на которых она будет тестироваться, не должны пересекаться. Звучит очень просто, а по факту так оно и есть.

Есть и другие любопытные факты, которые говорят о бесполезности идеи тестирования торговой системы на всей ценовой истории испокон веков.
Один из них состоит в том, что, действительно, в дремучей древности цен можно найти алгоритмы, которые успешно будут работать сегодня. Но в недалёком прошлом таких алгоритмов находится в разы, если не на порядки, больше, чем в прошлом. Следовательно, данные годичной давности более репрезентативны для поиска торговых систем, чем данные 20-летней давности. Это элементарно объясняется тем, что в разные временные отрезки на одном и том же рынке работают разные игроки с разными паттернами поведения и торговыми стратегиями, которые и определяют эффективность тех алгоритмов, которые там находятся.

Другой факт: ни один инструмент всей своей историей не опишет всех рыночных ситуаций, которые с ним потенциально могут происходить. Вот набор из сотен инструментов будет уже куда эффективнее в этом смысле, а один — точно нет и это ещё одна из причин, по которым непрерывное тестирование торговой системы на 20 годах истории я считаю бессмысленным упражнением.

И, наконец, ещё такой: даже использование 20 лет истории не гарантирует того, что ваша ТС не подстроена. Да-да, я о том самом пресловутом курва-фиттинге. Если же использовать адаптированный K-fold, вероятность подгонки существенно снижается, как, впрочем, и число валидных торговых систем. Думаю, это нормально. И зависимость подгонки от коэффициента вероятности, про который пишу ниже, не линейная, а обратно пропорциональная. Чем на большем количестве test имеем позитивный результат, тем ниже вероятность подгонки. А в классике IS /OOS test у вас всего один, не так ли?

Гарантий заработка на финансовых рынках нет, а потому мы оперируем вероятностями.
В этом и состоит краеугольный камень моего подхода.
Разбив ценовые данные инструментов моего портфеля на отдельные дискретные интервалы, а именно — месяц, я тестирую каждую торговую систему на каждом интервале каждого инструмента. Получаю число интервалов, где она прибыльна, и число, где она убыточна и, следовательно, вероятность её успешности на заданном наборе данных — число успешных интервалов к их общему числу. Собственно, я писал об этом ранее. Тут — и меня снова не затруднит бросить камень в окно популярных и не очень терминалов — мне достаточно рассчитать один раз и записаться, между тем, как в других нужно считать снова и снова. Это на порядки сокращает число расчётов при поступлении новых данных.
Проранжировав торговые системы по рассчитанной, как описано выше, вероятности их успешности и не только на «родном» инструменте, уже и науськиваю их лучший топ на те или иные торговые инструменты. Работает превосходно.

В принципе, вроде это и кросс-валидация, если не присматриваться к деталям, но и понятие получилось шире, с одной стороны, и, с другой стороны, как-то по-другому в сравнении с классическими формулировками. Вроде бы и усреднение есть, только оно выражается в вероятности. А усреднение параметров торговой стратегии мы знаем, к чему приведёт, и это никого не порадует. Но когда читаешь классическое описание, звучит именно так: посчитайте, смешайте всё в кучу, сложите, разделите, посчитайте среднее. Авось, что-то и получится. А если говорить об усреднении чистой прибыли — какой смысл делить на отрезки? Можно и сразу тестирование захерачить на всех данных, с начала времён. И лучше, непременно, на тиках. Собственно, так большинство и делает. И, вроде, работает. А тогда зачем что-то менять?

Доброй ночи вам и приятных снов и лёгкой кросс-валидации ваших торговых систем :)

Макрообзор № 46 (2023)
 Tue, 21 Nov 2023 21:47:02 +0300

Выделю одну тему: прогноз ВВП.

Мы пересмотрели прогноз на 2023 год до +4,2% (предыдущий прогноз +5,8%), но повысили прогноз роста на 2024 год до +7,7% (предыдущий прогноз +6,0%). Это означает, что российская экономика продолжит удивлять наблюдателей как в России, так и за рубежом.

Ниже оглавление и краткий дайджест обзора, а затем подробности по каждой новости с иллюстрациями.

  

 

ДАЙДЖЕСТ

Мировая экономика

• В США инфляция в октябре снизилась до 3,2% годовых (3,7% в сентябре). При этом цены производителей падают в реальном выражении, что является негативным сигналом.
• Инфляция в Британии снизилась в октябре до 4,6% годовых (6,6% в сентябре). При этом падение реальной денежной массы продолжается.

Экономика России

• ВВП в 3 квартале по предварительной оценке Росстата вырос на 5,5%, что выше оценок правительства (5,2%) и ЦБ (5,1%).
• Учитывая фактическую динамику ВВП за 3 квартала, мы понизили свой прогноз роста ВВП в 2023 году до +4,2% (предыдущий прогноз +5,8%).
• Наш новый прогноз предполагает ускорение ВВП в 4 квартале этого года до 7,3% и рост ВВП в 2024 году на 7,7%.
• Денежная база на 1 ноября составила 24,8 трлн рублей. Реальный рост денежной базы замедлился до 12% (с 27% в июне). Замедление роста реальной денежной базы негативно скажется денежной массе.
• Сальдо торгового баланса в октябре составило 14,3 млрд. долларов. Падение замедлилось с -78% в апреле до -23% в октябре. Сальдо стабилизируется на отметке около 120-130 млрд за 12 месяцев.
• Инфляция в ноябре ожидается на уровне 7,8% годовых.
• Узкая денежная база: рост показателя продолжает замедляться в ноябре, что является признаком замедления и денежной массы.

МИРОВАЯ ЭКОНОМИКА

США: падение реальных цен производителей ускоряется

Годовая инфляция в США в октябре снизилась на 0,5 процентного пункта (с 3,7 до 3,2% годовых).

  

 

При этом цены производителей замедлились на целый процентный пункт (с 2,6 до 1,6% годовых). Это означает, что в реальном выражении цены производителей падают.

  

 

Реальное падение цен производителей в октябре ускорилось до -1,6% (после -1,1% в сентябре).

Оценка. Падение реальных цен производителей наблюдается в США с января 2023 года. Как правило, это сигнал о предстоящем замедлении экономики (см. “Дефляция под маской”).

Такую оценку подтверждают данные о промпроизводстве в США, в октябре оно упало на 0,7% к октябрю прошлого года.

Великобритания: инфляция в октябре снизилась до 4,6% годовых

По итогам октября годовая инфляция в Великобритании резко снизилась с 6,6 до 4,6%.

  

 

Таким образом, инфляция опустилась ниже ставки Банка Англии, которая была сохранена в ноябре на уровне 5,25%.

  

 

Снижение инфляции позитивно для экономики Британии. Но оно не спасает от сокращения реальной денежной массы. Номинально денежная масса падает на 5,8% (сентябрь), а в реальном выражении её падение в сентябре достигло 12% годовых.

Оценка. Сжатие реальной денежной массы отразится негативно на экономике Британии.

ЭКОНОМИКА РОССИИ

ВВП в 3 квартале вырос на 5,5% (Росстат)

Росстат сообщает, что по предварительной оценке ВВП в 3 квартале вырос на 5,5% к 3 кварталу прошлого года.

  

 

Это выше, чем рост во 2 квартале (+4,9%).

Напомним, что Минэкономразвития оценивало рост ВВП 3 квартала в 5,2%, а ЦБ в 5,1%.

ВВП за 4 квартала (скользящий год) пока не вышел на уровень “до СВО”.

  

 

ВВП за первые три квартала показал рост на 3% к трём кварталам прошлого года.

Оценка

Рост ВВП в третьем квартале ускорился на 0,6 процентных пункта (с 4,9% во 2 квартале до 5,5% в третьем). Ускорение роста ВВП, по нашей оценке, продолжится и в 4 квартале.

Прогноз: рост ВВП в 2023 году составит 4,2%

Учитывая фактическую динамику ВВП по данным за 3 квартала, мы понижаем свой прогноз роста ВВП в 2023 году с 5,8% до 4,2%.

В ноябре прогнозировать ВВП уходящего года почти не имеет смысла – год, практически, закончился.

Тем не менее, учитывая новые данные по ВВП за 3 квартал, скорректируем наш ранее сделанный прогноз.

На графике наглядно показан новый прогноз (фиолетовый цвет) и его отличия от предыдущего прогноза (голубой цвет).

  

 

Фактическая траектория ВВП во 2 и 3 кварталах (фиолетовые выноски) идёт чуть ниже, чем ожидалось по нашему предыдущему прогнозу (голубые выноски).

Исходя из этих фактических данных, для роста ВВП по итогам 2023 года на 5,8% необходим рост на 13% в 4 квартале. Даже таким оптимистам, как мы, такой рост кажется почти невероятным.

Наш новый прогноз предполагает рост ВВП в 2023 году на 4,2% до 138 трлн рублей в ценах 2021 года. Причём его нельзя назвать пессимистичным: он предполагает ускорение роста ВВП в 4 квартале до 7,3%.

Изменится и прогноз 2024 года. Мы исходим из того, что к концу 2024 года ВВП выйдет на ту траекторию, которую ему задаёт реальная денежная масса (синяя линия).

Это означает, что ВВП 2024 года составит 148,6 трлн рублей в ценах 2021 года (см. выноску на графике). Эта же логика была заложена и в предыдущем прогнозе.

Прогнозы на два года сопоставлены в таблице.

  

 

Оба прогноза предполагают рост на 12,2% за два года, меняется лишь распределение по годам.

Как менялись прогнозы на 2023 год четырёх других организаций (правительства, ЦБ, МВФ и ВБ) в сопоставлении с нашим прогнозом, показано на графике.

  

 

Напомним, что ВВП в 3 квартале вырос на 5,5%. Наш и “их” прогнозы предполагают разную динамику 4 квартала:

• Наш: предполагается ускорение роста ВВП. Наш прогноз предполагает ускорение ВВП в 4 квартале (до +7,3%).
• “Их”: предполагается замедление роста ВВП. Остальные прогнозы предполагают, что ВВП в 4 квартале замедлится до 2,6% (правительство) или даже ниже.

Дальнейшая корректировка прогноза ВВП 2023 года не имеет смысла. Будем ждать фактических данных и подводить итоги.

Ещё раз напомню, что осенью 2022 года только наш прогноз предполагал рост ВВП (на 7,4%). Другие прогнозы предполагали падение ВВП на 1-4%. Сейчас, когда вопрос стоит о том, вырастет ВВП на 3% или больше, очевидно, что прогнозы падения были ошибочными.

Резюме

• Мы предполагаем, что в 4 квартале рост ВВП ускорится до +7,3%.
• Прогноз роста ВВП в 2023 году пересмотрен с +5,8% до +4,2%.
• Прогноз роста ВВП в 2024 году пересмотрен с +6,0% до +7,7%.

Денежная база на 1 ноября: 24,8 трлн рублей

Широкая денежная база (или просто денежная база, ДБ) на 1 ноября составила 24,8 трлн рублей.

  

 

В реальном выражении (с поправкой на инфляцию) денежная база составляет 16,5 трлн рублей в ценах 2016 года.

  

 

Это меньше, чем в марте 2022 года.

Рост в годовом выражении (к 1 ноября прошлого года) составил 12%.

  

 

Оценка

Рост реальной денежной базы резко замедлился с 27% на 1 июня до 12% на 1 ноября.

Это негативно скажется на динамике реальной денежной массы.

Сальдо торгового баланса в октябре: 14,3 млрд долларов (-23%)

В октябре профицит в торговле товарами составил 14,3 млрд. долларов.

  

 

Второй месяц текущие значения сальдо торгового баланса находятся выше своих среднегодовых значений (голубая линия выше тёмно-синей). Низшей точкой падения сальдо был, по всей видимости, июль.

Тем не менее, сальдо в октябре на 23% ниже, чем в октябре прошлого года.

  

 

Темпы падения явно замедляются: текущие значения (-23%) выше среднегодовых (-54%).

Положительное сальдо в торговле товарами за последние 12 месяцев (скользящий год) составило 129 млрд. долларов.

  

 

Это намного ниже, чем на пике нынешнего цикла (301 млрд. по итогам сентября 2022 года). Но надо учитывать, что в сентябре 2022 года был установлен исторический рекорд.

Сейчас падение 12-месячного сальдо замедляется и показатель может остановиться на уровне 120-130 млрд долларов.

Падение внешнеторгового сальдо не помешает российскому ВВП в 2023 году вырасти, как рост сальдо не помешал российскому ВВП в 2022 году упасть.

См. подробнее “Почему падение цен на нефть не влияет на российский ВВП”.

Инфляция в ноябре ожидается на уровне 7,8% годовых

С 1 по 14 ноября среднесуточный рост цен составил 0,046%.

  

 

Если такой рост сохранится до конца месяца, то по итогам ноября инфляция поднимется до 7,8% годовых (против 6,7% по итогам октября).

  

 

Данные недельной давности говорили о возможности роста инфляции до 8%. Сейчас оценка снизилась до 7,8%.

Будем надеяться, что этот тренд продолжится и через неделю ожидаемая инфляция ноября будет ещё ниже. .

Узкая денежная база

На 10 ноября узкая денежная база снизилась до 18,4 трлн рублей.

  

 

Это на 16,7% больше, чем год назад.

  

 

При ожидаемой в ноябре инфляции (7,8%, см. выше) это означает, что реальный рост УДБ в ноябре может опуститься до 8%.

Оценка

Замедление узкой денежной базы говорит о схожей динамике денежного агрегата М0 – наличной части денежной массы. Это значит, что замедление реальной денежной массы (М2) в ноябре, вероятно, продолжается.

В СЛЕДУЮЩЕМ ОБЗОРЕ

• Процентная ставка в Турции и в Китае;
• Экономика в Японии;
• Цены производителей в России(октябрь);
• И другая информация.

P.S.

Ориентироваться в моих статьях, заметках и видео удобно через НАВИГАТОР

Более полный перечень статей с разбивкой по темам есть ЗДЕСЬ.

___

Раньше всего материалы публикуются в Дзен и Телеграм

Телеграм: https://t.me/m2econ

Дзен: https://zen.yandex.ru/m2econ

Подписывайтесь!

Буду благодарен вам за лайки и комментарии

О логике прогноза ВВП
 Tue, 21 Nov 2023 21:36:10 +0300

Чтобы снять вопросы по нашему прогнозу ВВП, дам несколько пояснений.

Ключевое предположение

Мы исходили из того, что фактический ВВП (голубая линия) к концу 2024 года выйдет на уровень расчётного (рассчитанного по реальной денежной массе) ВВП (синяя линия).

  

 

Говоря проще, ВВП из первой красной точки (это итоги 2022 года; 132,5 трлн рублей в ценах 2021 года) придёт во вторую красную точку (это итоги 2024 года; 148,6 трлн рублей в ценах 2021 года).

  

 

Это и есть 12,2% роста ВВП за два года.

Что это означает для роста ВВП 2023 года

Однако, прийти из точки А в точку Б можно разными путями.

Предыдущий прогноз

Наш предыдущий прогноз предполагал такой путь.

  

 

Рост ВВП в 2023 году предполагался на уровне 5,8%, в 2024 году — на уровне 6,0%.

Нынешний прогноз

Наш новый прогноз учитывает более сдержанную динамику ВВП (относительно ожидаемой ранее) и предполагает другую траекторию.

  

 

(предыдущий прогноз показан пунктиром).

Новый прогноз предполагает рост ВВП в 2023 году на 4,2%, и рост в 2024 году на 7,7%.

Оба эти прогноза сведены в таблицу.

  

 

Как видим, оба прогноза предполагают один и тот же рост за два года.

Ограничения прогноза

Почему прогноз может оказаться ошибочным? Тому может быть несколько причин.

Пересмотр результатов 2022 года

Если Росстат пересмотрит ВВП 2022 года в сторону повышения (мы считаем, что это неизбежно), то картина изменится.

  

 

Для выхода на тот же самый объём ВВП (148,6 трлн рублей в ценах 2021 года) «понадобится» меньший рост ВВП в 2023-2024 годах.

Говоря иначе, наш нынешний прогноз в этом случае окажется завышенным с точки зрения темпов ВВП, но точным с точки зрения объёмов ВВП.

Ошибка в ключевом предположении

Мы исходили из того, что ВВП вернётся на «заданную» траекторию, опираясь на опыт восстановления после пандемии. Тогда ВВП тоже отклонился от «заданной» траектории, но потом вернулся на неё.

Но далеко не факт, что так будет и на этот раз.

Во-первых, ВВП может возвращаться на заданную траекторию не два года, а три или четыре.

  

 

Такие сценарии показаны на графике выше пунктирными линиями. В этом случае наш прогноз окажется завышенным.

Во-вторых, может оказаться, что ВВП и вовсе не будет возвращаться на «заданную» реальной денежной массой траекторию.

  

 

Например, так, как показано пунктирной линией на графике выше.

И такой сценарий тоже делает наш прогноз завышенным.

Резюме

Риск, что наш прогноз окажется завышенным, существует.

P.S.

Ориентироваться в моих статьях, заметках и видео удобно через НАВИГАТОР

Более полный перечень статей с разбивкой по темам есть ЗДЕСЬ.

___

Раньше всего материалы публикуются в Дзен и Телеграм

Телеграм: https://t.me/m2econ

Дзен: https://zen.yandex.ru/m2econ

Подписывайтесь!

Буду благодарен вам за лайки и комментарии

Как отторговали первый час во вторник и что нового произошло?
 Tue, 21 Nov 2023 11:44:51 +0300