Biblioteka Zero · Стратегії Zero
Бектест стратегії — як перевірити стратегію і не обдурити самого себе
Бектест стратегії — це застосування жорстких правил до історичних даних із записом кожної угоди, яку уклала б стратегія. Щоб не обдурити самого себе, потрібні п’ять речей: правила без двозначностей, витрати в результаті, достатньо угод, частина даних, відкладена для перевірки, і обережність щодо перенавчання. Бектест не доведе, що стратегія заробить. Зате він може швидко і дешево показати, що ідея не працює. «Стратегії Zero» називають це його найбільшою цінністю.
Навіщо взагалі бектест
Фраза «стратегія має 80% точності» звучить у багатьох відео про трейдинг. Майже ніколи не відомо, на скількох угодах це пораховано, з якими витратами і на якому ринку.
Бектест дозволяє перевірити це самому. Гортаєш графік свічка за свічкою і записуєш вхід, стоп, вихід і результат кожної угоди. Наприкінці рахуєш кілька показників якості.
Пам’ятай одне: минуле завжди здається легшим, ніж було. А ринок змінюється.
Крок 1. Дані з різних ринкових умов
Вибери ринок, таймфрейм і період. Період має охоплювати зростання, падіння і консолідацію. Стратегія, перевірена лише на бичачому ринку, каже щось про бичачий ринок, а не про себе.
На криптовалютах додаються дві речі. Кожна біржа має трохи інші котирування й інший обсяг. Безстрокові контракти (perpetual) мають ще й плату за фінансування, якої немає на спотовому ринку. Тестуй на тому ринку, на якому торгуватимеш.
Крок 2. Правила, які не залишають вибору
Правила мають бути настільки точними, щоб дві людини незалежно знайшли ті самі угоди.
Погане правило звучить так: «купую, коли індикатор низько і видно силу покупців». Добре називає конкретний індикатор і поріг, місце стопу, умову виходу і сталий ризик на угоду. Книжка показує такий зразок і наголошує, що це приклад форми, а не рекомендована стратегія.
Кожне «залежить від ситуації» у правилах працює на твою користь у тесті. Ти вже знаєш майбутнє, тож за кожного сумніву вирішиш так, щоб результат вийшов кращим.
Крок 3. Витрати як частина результату
Комісія, спред і прослизання (різниця між запланованою і виконаною ціною) належать до результату.
Розділ наводить приклад з іншої частини Бібліотеки. Система, що заробляє в середньому 0,15% на угоді при 500 угодах на рік, дає +112% до витрат. Після комісії 0,1% за вхід і 0,1% за вихід виходить −22%.
Висновок простий. Що більше угод і що менший середній прибуток, то більше витрати вирішують результат. Додавай їх завжди, із запасом.
Крок 4. Цифри, що кажуть більше, ніж кінцевий результат
| Метрика | Що каже |
|---|---|
| Точність | Яка частка угод закінчилася прибутком |
| Середній прибуток і середній збиток у R | Скільки заробляєш і втрачаєш у кратних ризику (1R — збиток на стопі) |
| Profit factor | Сума прибутків, поділена на суму збитків; нижче 1 стратегія втрачає |
| Математичне сподівання | Скільки в середньому приносить одна угода |
| Максимальне просідання | Найбільше падіння капіталу від піку до дна |
| Кількість угод | Чи результат узагалі щось означає |
Математичне сподівання рахуєш так: точність, помножена на середній прибуток, мінус частка збитків, помножена на середній збиток. У прикладі з книжки (цифри вигадані) точність 40%, прибуток 2,5R і збиток 1R дають +0,4R на угоду до витрат.
Просідання показує, чи витримаєш стратегію психологічно. Після падіння на 20% потрібно +25%, щоб повернутися на пік. Після падіння на 50% — уже +100%.
Книжка показує і криву капіталу зі 100 випадкових угод із додатним математичним сподіванням. Дорогою трапляються вісім збитків поспіль і просідання близько 9%. Так виглядає нормальний перебіг стратегії з перевагою.
Чому 30 угод замало
Це число найчастіше пропускають. Розділ показує це на стратегії, яка насправді є підкиданням монетки, зі справжньою точністю 50%.
| Кількість угод | Де в 95 випадках зі 100 опиниться виміряна точність |
|---|---|
| 30 | бл. 33–67% |
| 100 | бл. 40–60% |
| 400 | бл. 45–55% |
При 30 угодах шанс, що підкидання монетки покаже 60% або більше, — близько 18%. Майже кожен п’ятий такий тест виглядає як непогана стратегія.
Книжка називає розумний мінімум: близько 100 угод, до того ж у різні періоди ринку.
Дані для побудови і дані для перевірки
Поділи історію на дві частини. На першій будуєш і налаштовуєш стратегію. Другої не торкаєшся, поки стратегія не готова. Потім запускаєш її на ній один раз.
Якщо, побачивши результат, виправляєш правила і тестуєш знову, ці дані перестають бути новими.
Наступний крок — ковзний тест (walk-forward), який описав Роберт Пардо. Налаштовуєш стратегію на одному відрізку, перевіряєш на наступному, зсуваєш вікно і повторюєш. Це найближче до того, що переживеш наживо: ти завжди торгуєш на даних, яких у момент налаштування параметрів ще не було.
Перенавчання, тобто підгонка під шум
Перенавчання (overfitting) — це підгонка правил під випадковий шум у даних. Розділ називає три симптоми:
- багато параметрів і умов при малій кількості угод,
- гострий пік результатів: одне налаштування заробляє, а сусідні втрачають,
- чудовий результат на даних для побудови і посередній на даних для перевірки.
Проблема росте з кожним перевіреним варіантом. Книжка наводить дослідження Бейлі, Борвейна, Лопеса де Прадо і Чжу: на п’яти роках денних даних достатньо перевірити близько 45 незалежних варіантів, щоб якийсь виглядав дуже добре виключно випадково. Девід Аронсон називає це помилкою вибору найкращого результату. Переможець багатьох спроб завжди виглядає кращим, ніж є.
Ліки, за розділом: мало параметрів, запис кожного перевіреного варіанта і пошук широких областей, у яких сусідні налаштування дають подібний результат.
Дві тихі помилки
Помилка виживання (survivorship bias). Тестуєш стратегію на двадцяти найбільших сьогодні альткоїнах за останні п’ять років. У тесті бракує монет, які за цей час збанкрутували або зникли з бірж, а в реальній торгівлі ти міг їх купити. Результат завищений ще до того, як почнеш рахувати.
Помилка погляду в майбутнє (look-ahead bias). Використовуєш інформацію, якої в момент рішення ще не було. Наприклад, купуєш за ціною відкриття свічки, яка закрилася над опором. Про це закриття дізнаєшся лише наприкінці свічки. Так само діють індикатори, які заднім числом змінюють свої показники.
Що після бектесту
Стратегія, яка пройшла бектест і тест на нових даних, іде на демо-рахунок. Там торгуєш у реальному часі й порівнюєш результати з тестом. Заодно перевіряєш себе: чи вмієш виконувати правила, коли свічка ще рухається.
Лише потім приходять невеликі справжні гроші, з ризиком щонайбільше 1% капіталу на угоду, а на старті 0,5%. Навіть найкращий бектест не захищає від збитку. Торгівля завжди пов’язана з ризиком втрати капіталу.
Інший погляд на ту саму тему, з акцентом на те, як не обдурити себе під час тестів, дає стаття про бектест стратегії на strefatradingu.pl.
У книжці
Розділ 1 «Стратегії Zero» містить малюнок кривої капіталу з позначеним просіданням, схему ковзного тесту, повний приклад правил стратегії й опис ведення бектесту в таблиці, колонка за колонкою. Там є також зауваги про пастки вбудованих тестерів стратегій і список джерел, з яких походять наведені дослідження.
