Картина всегда одна: зелёные графики вверх, скриншоты со словами вроде «алгоритм с доходностью 200% годовых», обещания «системы, которая никогда не проигрывает». И звучит это увереннее, чем должна звучать честная работа с рынком.

И это главный сигнал, на который стоит научиться реагировать. Уверенность в трейдинге почти никогда не означает качество. Обычно она означает, что человек не сделал нужные проверки. Настоящая работа с рынком выглядит скучнее: много скепсиса, мало громких обещаний и скромный результат, к которому приходишь через несколько слоёв самообмана.

Несколько месяцев я собирал такую систему на крипте — в первую очередь чтобы научиться отличать настоящий результат от четырёх вещей, которые на него очень похожи. Ниже разберу на пальцах, без формул: что такое торговая стратегия, какие цифры важно понимать и как эти цифры врут.

Что такое систематическая стратегия

Систематическая стратегия — это чёткий алгоритм, который заменяет интуицию и спонтанное желание «купить вот это прямо сейчас» набором заранее заданных правил: что покупать, при каком условии входить и когда выходить. Эти правила одинаковы каждый день и не зависят от настроения, новостей или вчерашнего результата.

Вместо «мне кажется, этот актив сейчас вырастет» берётся конкретное правило, которое можно проверить на компьютере. Например: «если цена выше своей средней за последние полгода и росла последние пару месяцев, держим биткоин; иначе сидим в кэше». Никаких новостей и никаких ощущений: каждый день проверяем условие, выполняется оно или нет.

Преимущество правила перед интуицией не в том, что оно умнее, а в том, что его можно проверить на истории: запустить на данных за прошлые годы и посмотреть, что было бы, если бы вы торговали по нему с 2018 года. Эта проверка называется бэктестом, и именно она становится главным источником самообмана в трейдинге: почти всегда бэктест выдаёт результат красивее, чем он был бы на самом деле.

Sharpe ratio: одна цифра, которую стоит понимать

Из всего трейдерского жаргона новичку полезно знать одну метрику — Sharpe ratio (произносится «шарп»). Дальше я буду называть его просто «Sharpe».

Sharpe измеряет не то, «сколько вы заработали». Он показывает, сколько прибыли вы получили на каждую единицу нервотрёпки, то есть на каждый процент колебаний по дороге. Стратегия, которая принесла +50% за пять лет и при этом росла более-менее стабильно, имеет высокий Sharpe. А та, что принесла те же +50%, но по дороге дважды теряла половину капитала, имеет низкий: прибыль одинаковая, но трепало вас куда сильнее.

Грубая шкала, по которой можно ориентироваться:

  • Sharpe ~0.5 — слабый результат, едва отличимый от удачи.
  • Sharpe ~1 — приличный, такому можно верить, если стратегия выдержала честные проверки.
  • Sharpe ~2 — отличный, редкий для частного исследователя.
  • Sharpe выше 3 — почти всегда означает либо ошибку в коде, либо подгонку под прошлое. Это красный флаг, а не повод для восторга. Лучшие фонды мира десятилетиями держат Sharpe около 1.5–2.5, так что если домашняя стратегия из интернета показывает 5, значит, кто-то обманул себя или вас.

Если совсем коротко: большим красивым числам в трейдинге стоит не радоваться, а сразу их подозревать.

Три способа, которыми бэктест врёт

Бэктест выглядит как объективная проверка: программа пробежала по историческим данным и честно посчитала, сколько бы вы заработали. Но есть три классических способа, которыми он начинает врать, и все три встречаются в интернете на каждом шагу.

1. Подглядывание в будущее

Самая коварная из ошибок, потому что её невозможно заметить по графику.

Представьте правило: «покупаем актив утром, если день закроется в плюс». Звучит выгодно, ведь мы гарантированно входим только в зелёные дни. Вот только утром, в момент покупки, мы ещё не знаем, каким будет закрытие вечером. Если бэктест случайно использует цену закрытия для решения «тем же утром», он выдаёт фантастические результаты, целиком собранные из подглядывания в будущее.

Пример карикатурный, в реальном коде ошибка прячется тоньше: где-то функция случайно подтянула цену на день вперёд, и стратегия использовала её, сама того не зная. График капитала при этом выглядит шикарно, и без отдельной проверки настоящий талант не отличить от случайно встроенного заглядывания вперёд.

2. Незамеченные комиссии

Когда вы покупаете криптовалюту на бирже, она берёт комиссию, обычно 0.1–0.4% от суммы. На одной сделке это действительно мелочь. Но активная стратегия может делать 50, 100, а то и 200 сделок в год.

И обычный бэктест часто врёт прямо по умолчанию: считает так, будто сделки бесплатны. На бумаге стратегия зарабатывает 50% в год, а в реальности после комиссий теряет 10%. «Лучший фонд поколения» превращается в ноль из-за одной строчки кода, которую забыли дописать.

Поэтому, увидев красивый график, задайте первый и самый дешёвый вопрос: «а комиссии тут учтены?». В половине случаев ответ «нет», и весь результат рассыпается уже на нём.

3. Перебор вариантов до красивого числа

Это самое тонкое место, и сюда проваливаются даже честные исследователи.

Идея простая: вы пробуете не одну стратегию, а 500 вариантов одной идеи с разными параметрами, порогами и комбинациями. Хотя бы один из 500 обязательно даст красивый Sharpe просто по случайности — так устроена статистика. Если кинуть 500 монеток по 50 раз, у какой-нибудь выпадет 35 орлов из 50. Это не значит, что монетка волшебная. Это значит, что вы достаточно долго перебирали обычные.

Дальше человек, не зная про эту ловушку, показывает миру только лучший вариант: «Sharpe 2.5! Бэктест чистый, комиссии учтены!». Формально всё честно, если бы не одна деталь: результат построен на чистом везении при переборе.

Для этой ловушки есть строгая статистическая поправка под названием DSR (deflated Sharpe ratio). Как она считается, новичку знать не обязательно. Достаточно одного правила: если вам показывают стратегию, но не говорят, сколько вариантов перепробовали, прежде чем остановиться на этом, — спросите сами. Ответ почти всегда обнуляет всю красоту.

Четвёртая подделка совсем другого рода

Допустим, вы избежали всех трёх ловушек. Бэктест честный: без подглядывания, с комиссиями, без перебора. Стратегия принесла +80% за пять лет.

Остаётся вопрос, который почти никто не задаёт первым, а должен: а это вообще лучше, чем ничего не делать и просто держать биткоин?

Часто ответ — «нет, не лучше». И тогда сложная стратегия с кучей условий и месяцами кода проигрывает кнопке «купил и забыл». Она не сломана, она просто не нужна.

Это вопрос другого класса. Первые три ловушки — дефекты, из-за которых плохая стратегия выглядит красиво на бумаге. А этот вопрос остаётся в силе, даже если стратегия идеально чистая. Бэктест честно отвечает на «сколько»; на вопрос «а оно того стоит» он не отвечает в принципе. Его задаёт сам исследователь. А если не задаёт, годы работы уходят на то, что хуже обычного холда.

Что вышло у меня

Вернёмся к моей крипто-стратегии. Она нужна здесь не ради хвастовства, а как живая иллюстрация того, как все эти проверки работают на практике.

Первый, наивный бэктест показал Sharpe 1.38 на восьми с половиной годах истории. По шкале выше это отличный результат, лучше большинства профессиональных фондов, и картинка выглядела убедительно.

Дальше я начал снимать с неё слой за слоем. Сначала проверил, не держится ли результат на данных одной конкретной биржи: прогнал то же правило на ценах с другой. Сигнал совпал почти идеально (хороший знак), но честно сравнить удалось только последние четыре с половиной года — раньше у второй биржи просто не было данных. На этом окне Sharpe оказался 0.72.

Затем применил ту самую поправку DSR, которая отвечает на вопрос «а не результат ли это перебора?». Она опускает оценку до уровня, который реалистично получить, если вслепую искать лучшую конфигурацию среди 500 вариантов. После неё остаётся примерно ноль.

И вот что здесь важнее всего. Каждое из этих чисел — не провал, а сработавшая проверка. Наивный бэктест показал 1.38 не потому, что стратегия так хороша, а потому, что он не умеет вычитать самообман. Каждый следующий слой снимал по одной иллюзии, и то, что осталось в итоге, и есть честная оценка.

Так выглядит нормальная работа со стратегией: начинаешь с большой красивой цифры, и она тает по мере того, как ты её проверяешь. А те, кто продаёт уверенное «да», просто этих слоёв не снимали. Когда кто-то обещает вам стабильные +30% годовых, дело не в том, что он нашёл то, чего не нашли другие. Дело в том, что он не дошёл до вопросов, на которых уверенность распадается.

Что в сухом остатке

Названия проверок запоминать не нужно. Достаточно задавать любому графику стратегии, своему или чужому, три вопроса:

  1. Не подглядывает ли стратегия в будущее? Использует ли она для решения данные, которые на тот момент в реальности ещё не были известны?
  2. Посчитаны ли комиссии? Каждая сделка стоит денег: учтены ли эти деньги в результате?
  3. Не результат ли это перебора, и лучше ли он, чем просто купить и держать? Сколько вариантов перепробовали, прежде чем остановиться на этом, и обыгрывает ли итог простой холд?

Если хоть на один из этих вопросов нет ясного ответа, перед вами не результат, а обещание.

Что дальше

Стратегия из примеров сейчас работает в режиме бумажной торговли: без реальных денег, просто каждый день записывает, что бы она сделала. Через несколько месяцев напишу продолжение — что показала эта работа, где честные оценки сошлись с практикой, а где разошлись. Никаких обещаний по исходу: собственно, вся польза наблюдения в том, что я сам не знаю, чем оно закончится.