Jakie są różne rodzaje strategii weryfikacji historycznej?
Istnieją trzy główne podejścia do strategii weryfikacji historycznej: wykorzystanie rzeczywistych danych cenowych podzielonych na trzy grupy; bootstrap, który wykorzystuje rzeczywiste dane cenowe, ale je ponownie próbkuje; oraz symulacja Monte Carlo. Istnieją teoretyczne problemy, które dzielą konstruktorów systemów, która metoda jest najlepsza. Ważne dla tradera jest to, że poprawnie stosuje przynajmniej jedną strategię weryfikacji historycznej swojego systemu, zanim zaufa mu swój kapitał handlowy. Krytycznym problemem przy wyborze strategii weryfikacji historycznej jest liczba wygenerowanych transakcji; na każdym etapie pracy konstruktora systemu potrzeba co najmniej 1000 transakcji.
Korzystanie z rzeczywistych danych cenowych, podzielonych na trzy części, jest zwykle punktem wyjścia dla większości konstruktorów systemów. System jest tworzony przy użyciu pierwszej jednej trzeciej danych. W tym momencie konstruktor znalazł algorytmy, które wydają się generować wystarczający zysk przy wystarczająco małym ryzyku, aby zapewnić dobre perspektywy. Druga jedna trzecia danych jest wykorzystywana do optymalizacji systemu.
Po zoptymalizowaniu systemu zostanie on zastosowany do pozostałej jednej trzeciej danych. Nazywa się to testowaniem poza próbą i właśnie tam zawodzi większość systemów. Jeśli system nadal ma dobre wyniki w co najmniej 1000 transakcji, twórca systemu ma opłacalny system. Jeśli system generuje mniej niż 1000 transakcji w testach poza próbą, konstruktor powinien rozważyć inną strategię weryfikacji historycznej.
Bootstrapping to metoda pobierania niektórych danych z całego zestawu, testowania, ponownego wprowadzania danych i pobierania większej ilości danych lub ponownego próbkowania i ponownego testowania. Idealna liczba próbek wynosi n n lub n do n- tej potęgi, gdzie n jest liczbą danych w oryginalnej próbce. Dla tradera, który prawdopodobnie ma do czynienia z co najmniej 2500 punktami danych - 250 dni w roku przez 10 lat - nie jest to praktyczne. Na szczęście 100 próbek zapewni wysoki poziom pewności, że próbka ładowania początkowego będzie odzwierciedlać oryginalne dane, dzięki czemu wyniki będą wiarygodne. Jeśli pobranie 100 próbek nie zapewni potrzebnych 1000 transakcji, inwestor musi kontynuować próbkowanie do momentu osiągnięcia tego celu, jeśli spodziewa się, że system, a nie tylko ponowne próbkowanie danych, będzie wiarygodny.
Ostatnią metodą strategii weryfikacji historycznej jest symulacja Monte Carlo (MC). Ta metoda wykorzystuje komputer do generowania danych symulowanych, a następnie system jest testowany na tych danych. Zaletą symulacji MC jest to, że można tworzyć nieograniczoną ilość danych, co pozwala wygenerować 10 000 transakcji lub dowolną inną liczbę transakcji. Kolejną zaletą jest to, że każdy nowy zestaw danych jest poza próbą. Daje to możliwość powtarzania optymalizacji i testowania; po prostu zoptymalizuj ten zestaw danych, a następnie zastosuj te parametry systemowe do następnych danych generowanych przez komputer.
Wadą symulacji MC jest to, że dane mogą nie mieć dokładnie tej samej funkcji rozkładu prawdopodobieństwa, co dane handlowe, co może wypaczyć wyniki. W najlepszym ze wszystkich możliwych światów podczas weryfikacji systemu należy stosować wszystkie trzy strategie weryfikacji historycznej. Sukces we wszystkich trzech przypadkach powinien oferować bardzo wysokie prawdopodobieństwo sukcesu w handlu rzeczywistym.