Handlowcy, którzy chcą wypróbować pomysł na rynku na żywo, często popełniają błąd polegając całkowicie na wynikach weryfikacji historycznej, aby ustalić, czy system będzie opłacalny. Chociaż testowanie wsteczne może dostarczyć handlowcom cennych informacji, często jest mylące i jest tylko jedną częścią procesu oceny.
Testy poza próbą i przyszłe testy wydajności dostarczają dalszego potwierdzenia skuteczności systemu i mogą pokazać prawdziwe kolory systemu, zanim prawdziwe środki pieniężne znajdą się na linii. Dobra korelacja między testami historycznymi, wynikami poza próbą i wynikami testów wydajnościowych ma zasadnicze znaczenie dla określenia rentowności systemu handlowego.
Podstawy weryfikacji historycznej
Testowanie wsteczne odnosi się do zastosowania systemu transakcyjnego do danych historycznych w celu sprawdzenia, jak system działałby w określonym czasie. Wiele dzisiejszych platform handlowych obsługuje testowanie wsteczne. Inwestorzy mogą testować pomysły za pomocą kilku naciśnięć klawiszy i uzyskać wgląd w skuteczność pomysłu bez ryzyka funduszy na rachunku transakcyjnym. Testowanie wsteczne umożliwia ocenę prostych pomysłów, takich jak zachowanie średniej kroczącej na danych historycznych lub bardziej złożonych systemów z różnorodnymi danymi wejściowymi i wyzwalaczami.
Tak długo, jak pomysł można skwantyfikować, można go poddać weryfikacji historycznej. Niektórzy inwestorzy i inwestorzy mogą skorzystać z wiedzy wykwalifikowanego programisty, aby rozwinąć pomysł w testowalną formę. Zazwyczaj wymaga to od programisty kodowania pomysłu na własny język obsługiwany przez platformę transakcyjną. Programista może włączyć zdefiniowane przez użytkownika zmienne wejściowe, które pozwalają traderowi „dostosować” system.
Przykładem może być wspomniany powyżej prosty system zwrotnicy średniej ruchomej: Inwestor byłby w stanie wprowadzić (lub zmienić) długości dwóch średnich kroczących używanych w systemie. Inwestor mógł przetestować wstecznie, aby ustalić, które długości średnich kroczących byłyby najlepsze w przypadku danych historycznych.
Badania optymalizacyjne
Wiele platform handlowych pozwala również na badania optymalizacyjne. Wymaga to wprowadzenia zakresu dla określonych danych wejściowych i umożliwienia komputerowi „wykonania matematyki”, aby dowiedzieć się, które dane wejściowe byłyby najlepsze. Optymalizacja wielu zmiennych może wykonać obliczenia matematyczne dla dwóch lub więcej zmiennych, aby ustalić, które kombinacje osiągnęłyby najlepszy wynik.
Na przykład inwestorzy mogą powiedzieć programowi, które dane wejściowe chcieliby dodać do swojej strategii; byłyby one następnie zoptymalizowane do ich idealnych wag, biorąc pod uwagę przetestowane dane historyczne.
Testowanie wsteczne może być ekscytujące, ponieważ nierentowny system można często magicznie przekształcić w maszynę do zarabiania pieniędzy z kilkoma optymalizacjami. Niestety, ulepszenie systemu w celu osiągnięcia najwyższego poziomu rentowności w przeszłości często prowadzi do systemu, który będzie działał słabo w prawdziwym handlu. Ta nadmierna optymalizacja tworzy systemy, które dobrze wyglądają tylko na papierze.
Dopasowanie krzywej to wykorzystanie analizy optymalizacyjnej do stworzenia największej liczby wygranych transakcji przy największym zysku z danych historycznych wykorzystanych w okresie testowym. Wprawdzie wygląda to imponująco w wynikach testowania wstecznego, dopasowanie krzywej prowadzi do niewiarygodnych systemów, ponieważ wyniki są zasadniczo specjalnie zaprojektowane dla tych konkretnych danych i okresu.
Testowanie wsteczne i optymalizacja zapewniają inwestorowi wiele korzyści, ale jest to tylko część procesu oceny potencjalnego systemu handlowego. Kolejnym krokiem tradera jest zastosowanie systemu do danych historycznych, które nie zostały wykorzystane w początkowej fazie weryfikacji historycznej.
Dane w próbie a dane poza próbą
Podczas testowania pomysłu na danych historycznych warto zarezerwować okres danych historycznych do celów testowych. Początkowe dane historyczne, na których pomysł jest testowany i optymalizowany, nazywane są danymi z próby. Zestaw danych, który został zarezerwowany, jest znany jako dane poza próbą. Ta konfiguracja jest ważną częścią procesu oceny, ponieważ zapewnia sposób przetestowania pomysłu na danych, które nie były składnikiem modelu optymalizacji.
W rezultacie dane nieobjęte próbą w żaden sposób nie wpłyną na ten pomysł, a handlowcy będą mogli określić, jak system może sobie radzić z nowymi danymi, tj. W prawdziwym handlu.
Przed rozpoczęciem testowania wstecznego lub optymalizacji handlowcy mogą zarezerwować procent danych historycznych, które mają zostać zarezerwowane do testowania poza próbą. Jedną z metod jest podzielenie danych historycznych na trzy części i posegregowanie jednej trzeciej do wykorzystania w testach poza próbą. Tylko wstępne dane i wszelkie optymalizacje powinny zostać wykorzystane.
Poniższy rysunek pokazuje linię czasu, w której jedna trzecia danych historycznych jest zarezerwowana do testowania poza próbą, a dwie trzecie do testowania w próbie. Chociaż poniższy rysunek przedstawia dane poza próbą na początku testu, w typowych procedurach część poza próbą byłaby bezpośrednio poprzedzająca działanie do przodu.
Oś czasu reprezentująca względną długość danych w próbie i poza próbką wykorzystywanych w procesie weryfikacji historycznej. Zdjęcie Julie Bang © Investopedia 2020
Korelacja odnosi się do podobieństw między wynikami a ogólnymi trendami dwóch zestawów danych. Miary korelacji można wykorzystać do oceny raportów skuteczności strategii utworzonych w okresie testowym (funkcja zapewniana przez większość platform handlowych). Im silniejsza korelacja między nimi, tym większe prawdopodobieństwo, że system dobrze sobie poradzi w zakresie przyszłych testów wydajności i handlu na żywo.
Poniższy rysunek ilustruje dwa różne systemy, które zostały przetestowane i zoptymalizowane na danych z próby, a następnie zastosowane do danych poza próbą. Wykres po lewej pokazuje system, który był wyraźnie dopasowany do krzywej, aby dobrze działać na danych w próbie i całkowicie zawiódł na danych poza próbą. Tabela po prawej pokazuje system, który dobrze działał zarówno na danych z próby, jak i poza próbą.
Dwie krzywe akcji. Dane handlowe przed każdą żółtą strzałką oznaczają testowanie w próbie. Transakcje wygenerowane między żółtymi i czerwonymi strzałkami wskazują na testy poza próbą. Transakcje po czerwonych strzałkach pochodzą z faz testowania wydajności.
Po opracowaniu systemu handlowego z wykorzystaniem danych z próby można go zastosować do danych z próby. Handlowcy mogą oceniać i porównywać wyniki wydajności między danymi z próby i poza próbą.
Jeśli istnieje niewielka korelacja między testami w próbie i poza próbą, jak lewy wykres na powyższym rysunku, prawdopodobne jest, że system został nadmiernie zoptymalizowany i nie będzie dobrze działał w handlu na żywo. Jeśli istnieje silna korelacja w wynikach, jak widać na prawym wykresie, następny etap oceny obejmuje dodatkowy rodzaj testów poza próbą, znany jako przyszłe testy wydajności.
Podstawy testowania wydajności do przodu
Forwardowe testy wydajności, znane również jako handel papierowy, zapewniają handlowcom kolejny zestaw danych pozapróbowych, na podstawie których można ocenić system. Forwardowe testy wydajności są symulacją faktycznego handlu i obejmują przestrzeganie logiki systemu na rynku na żywo. Nazywa się to również handlem papierowym, ponieważ wszystkie transakcje są wykonywane wyłącznie na papierze; to znaczy, wejścia i wyjścia handlowe są dokumentowane wraz z wszelkimi zyskami lub stratami dla systemu, ale nie są przeprowadzane żadne prawdziwe transakcje.
Ważnym aspektem przyszłych testów wydajności jest dokładne przestrzeganie logiki systemu; w przeciwnym razie dokładna ocena tego etapu procesu staje się trudna, jeśli nie niemożliwa. Handlowcy powinni być szczerzy wobec wszelkich transakcji i wyjść handlowych oraz unikać zachowań takich jak transakcje zbierania wiśni lub nie włączać handlu papierowego racjonalizując, że „nigdy bym tego nie podjął”. Jeśli handel miałby miejsce zgodnie z logiką systemu, należy go udokumentować i ocenić.
Wielu brokerów oferuje symulowane konto handlowe, na którym można składać transakcje i obliczać odpowiedni zysk i stratę. Korzystanie z symulowanego konta handlowego może stworzyć pół-realistyczną atmosferę, w której można ćwiczyć handel i dalej oceniać system.
Powyższy rysunek pokazuje również wyniki przyszłych testów wydajności w dwóch systemach. Ponownie, system przedstawiony na lewym wykresie nie radzi sobie dobrze poza wstępnym testowaniem danych w próbie. System pokazany na właściwej tabeli nadal jednak działa dobrze na wszystkich etapach, w tym w testach wydajności do przodu. System, który wykazuje pozytywne wyniki z dobrą korelacją między testami wydajności w próbie, poza próbą i do przodu, jest gotowy do wdrożenia na rynku na żywo.
Dolna linia
Testowanie wsteczne jest cennym narzędziem dostępnym na większości platform handlowych. Dzielenie danych historycznych na wiele zestawów w celu zapewnienia testów w próbie i poza próbą może zapewnić handlowcom praktyczne i skuteczne środki do oceny pomysłu i systemu handlowego. Ponieważ większość traderów stosuje techniki optymalizacji w testach historycznych, ważne jest, aby następnie ocenić system na czystych danych, aby określić jego żywotność.
Kontynuacja testów poza próbą z testami wydajności zapewnia kolejną warstwę bezpieczeństwa przed wprowadzeniem systemu na rynek, ryzykując prawdziwą gotówkę. Pozytywne wyniki i dobra korelacja między testowaniem wstecznym w próbie i poza próbą oraz testowaniem wydajności w przód zwiększa prawdopodobieństwo, że system będzie dobrze działał w rzeczywistym obrocie.
