Backtest strategii — jak sprawdzić strategię i nie oszukać samego siebie

Backtest strategii to przyłożenie sztywnych reguł do danych historycznych i zapisanie każdej transakcji, którą strategia by zawarła. Żeby nie oszukać samego siebie, potrzebujesz pięciu rzeczy: reguł bez niejasności, kosztów w wyniku, wystarczająco wielu transakcji, części danych odłożonej do sprawdzenia i ostrożności wobec przeuczenia. Backtest nie udowodni, że strategia będzie zarabiać. Może za to szybko i tanio pokazać, że pomysł nie działa. „Strategie Zero” nazywają to jego największą wartością.

Po co w ogóle backtest

Zdanie „strategia ma 80% trafności” pada w wielu filmach o tradingu. Prawie nigdy nie wiadomo, na ilu transakcjach to policzono, z jakimi kosztami i na jakim rynku.

Backtest pozwala sprawdzić to samemu. Przewijasz wykres świeca po świecy i zapisujesz wejście, stop, wyjście i wynik każdej transakcji. Na końcu liczysz kilka wskaźników jakości.

Pamiętaj o jednym: przeszłość zawsze wygląda na łatwiejszą, niż była. A rynek się zmienia.

Krok 1. Dane z różnych warunków rynku

Wybierz rynek, interwał i okres. Okres powinien obejmować wzrosty, spadki i konsolidację. Strategia sprawdzona tylko w hossie mówi coś o hossie, a nie o sobie.

Na kryptowalutach dochodzą dwie sprawy. Każda giełda ma trochę inne notowania i inny wolumen. Kontrakty bez daty wygaśnięcia (perpetual) mają też opłaty finansowania, których nie ma na rynku kasowym. Testuj na tym rynku, na którym będziesz handlować.

Krok 2. Reguły, które nie zostawiają wyboru

Reguły mają być tak dokładne, żeby dwie osoby niezależnie znalazły te same transakcje.

Zła reguła brzmi: „kupuję, gdy wskaźnik jest nisko i widać siłę kupujących”. Dobra podaje konkretny wskaźnik i próg, miejsce stopu, warunek wyjścia oraz stałe ryzyko na transakcję. Książka pokazuje taki wzór, zaznaczając, że to przykład formy, a nie polecana strategia.

Każde „to zależy” w regułach działa na twoją korzyść w teście. Znasz już przyszłość, więc przy każdej wątpliwości zdecydujesz tak, żeby wynik wyszedł lepiej.

Krok 3. Koszty jako część wyniku

Prowizja, spread i poślizg (różnica między ceną planowaną a wykonaną) należą do wyniku.

Rozdział przytacza przykład z innej części Biblioteki. System, który zarabia średnio 0,15% na transakcji przy 500 transakcjach w roku, daje +112% przed kosztami. Po prowizji 0,1% za wejście i 0,1% za wyjście wychodzi −22%.

Wniosek jest prosty. Im więcej transakcji i im mniejszy średni zysk, tym bardziej koszty decydują o wyniku. Doliczaj je zawsze, z zapasem.

Krok 4. Liczby, które mówią więcej niż wynik końcowy

Metryka	Co mówi
Trafność	Jaki odsetek transakcji skończył się zyskiem
Średni zysk i średnia strata w R	Ile zarabiasz i tracisz w wielokrotnościach ryzyka (1R to strata na stopie)
Profit factor	Suma zysków podzielona przez sumę strat; poniżej 1 strategia traci
Wartość oczekiwana	Ile średnio przynosi jedna transakcja
Maksymalne obsunięcie	Największy spadek kapitału od szczytu do dołka
Liczba transakcji	Czy wynik w ogóle coś znaczy

Wartość oczekiwaną liczysz tak: trafność razy średni zysk minus odsetek strat razy średnia strata. W przykładzie z książki (liczby wymyślone) trafność 40%, zysk 2,5R i strata 1R dają +0,4R na transakcję przed kosztami.

Obsunięcie pokazuje, czy wytrzymasz strategię psychicznie. Po spadku o 20% potrzebujesz +25%, żeby wrócić na szczyt. Po spadku o 50% już +100%.

Książka pokazuje też krzywą kapitału ze 100 losowych transakcji o dodatniej wartości oczekiwanej. Po drodze jest osiem strat z rzędu i obsunięcie około 9%. Tak wygląda normalny przebieg strategii z przewagą.

Dlaczego 30 transakcji to za mało

To najczęściej pomijana liczba. Rozdział pokazuje to na strategii, która w rzeczywistości jest rzutem monetą, z prawdziwą trafnością 50%.

Liczba transakcji	Gdzie w 95 przypadkach na 100 wypadnie zmierzona trafność
30	ok. 33–67%
100	ok. 40–60%
400	ok. 45–55%

Przy 30 transakcjach szansa, że rzut monetą pokaże 60% lub więcej, wynosi około 18%. Prawie co piąty taki test wygląda jak niezła strategia.

Książka podaje rozsądne minimum: około 100 transakcji, do tego różne okresy rynku.

Dane do budowy i dane do sprawdzenia

Podziel historię na dwie części. Na pierwszej budujesz i dostrajasz strategię. Drugiej nie dotykasz, dopóki strategia nie jest gotowa. Potem uruchamiasz ją na niej raz.

Jeśli po obejrzeniu wyniku poprawiasz reguły i testujesz ponownie, te dane przestają być nowe.

Krok dalej to test kroczący (walk-forward), opisany przez Roberta Pardo. Dostrajasz strategię na jednym odcinku, sprawdzasz na następnym, przesuwasz okno i powtarzasz. To najbliższe temu, co przeżyjesz na żywo: zawsze handlujesz na danych, których w chwili ustawiania parametrów jeszcze nie było.

Przeuczenie, czyli dopasowanie do szumu

Przeuczenie (overfitting) to dopasowanie reguł do przypadkowego szumu w danych. Rozdział wymienia trzy objawy:

• dużo parametrów i warunków przy małej liczbie transakcji,
• ostry szczyt wyników: jedno ustawienie zarabia, a sąsiednie tracą,
• świetny wynik na danych do budowy i przeciętny na danych do sprawdzenia.

Problem rośnie z każdym sprawdzonym wariantem. Książka przytacza badanie Baileya, Borweina, Lópeza de Prado i Zhu: przy pięciu latach danych dziennych wystarczy sprawdzić około 45 niezależnych wariantów, żeby któryś wyglądał bardzo dobrze wyłącznie przez przypadek. David Aronson nazywa to błędem wyboru najlepszego wyniku. Zwycięzca wielu prób zawsze wygląda lepiej, niż jest.

Lekarstwo według rozdziału: mało parametrów, zapisywanie każdego sprawdzonego wariantu i szukanie szerokich obszarów, w których sąsiednie ustawienia dają podobny wynik.

Dwa ciche błędy

Błąd przeżywalności (survivorship bias). Testujesz strategię na dwudziestu największych dziś altcoinach z ostatnich pięciu lat. W teście brakuje monet, które w tym czasie upadły albo zniknęły z giełd, a w prawdziwym handlu mogłeś je kupić. Wynik jest zawyżony, zanim zaczniesz liczyć.

Błąd patrzenia w przyszłość (look-ahead bias). Używasz informacji, której w chwili decyzji jeszcze nie było. Na przykład kupujesz po cenie otwarcia świecy, która zamknęła się nad oporem. O tym zamknięciu dowiadujesz się dopiero na końcu świecy. Podobnie działają wskaźniki, które po czasie zmieniają swoje odczyty.

Co po backteście

Strategia, która przeszła backtest i test na nowych danych, idzie na konto demo. Tam handlujesz w czasie rzeczywistym i porównujesz wyniki z testem. Sprawdzasz przy tym siebie: czy umiesz wykonać reguły, gdy świeca jeszcze się rusza.

Dopiero potem przychodzą małe realne pieniądze, z ryzykiem najwyżej 1% kapitału na transakcję, a na start 0,5%. Nawet najlepszy backtest nie chroni przed stratą. Handel zawsze wiąże się z ryzykiem utraty kapitału.

Inne spojrzenie na ten sam temat, z naciskiem na to, jak nie oszukać samego siebie przy testach, daje artykuł o backteście strategii na strefatradingu.pl.

W książce

Rozdział 1 „Strategii Zero” zawiera rysunek krzywej kapitału z zaznaczonym obsunięciem, schemat testu kroczącego, pełny przykład reguł strategii i opis prowadzenia backtestu w arkuszu, kolumna po kolumnie. Są tam też uwagi o pułapkach wbudowanych testerów strategii i lista źródeł, z których pochodzą przytoczone badania.

Sprawdź to na bieżących danych: na kalkulatorze drawdownu i historii ceny BTC (kryptoliczby.pl).