Hvad er de forskellige typer backtesting-strategier?
Der er tre mainstream tilgange til backtesting-strategier: ved hjælp af faktiske prisdata opdelt i tre grupper; bootstrap, der bruger faktiske prisdata men resamples dem; og Monte Carlo-simulering. Der er teoretiske problemer, der deler systembyggerne over, hvilken metode der er bedst. Det, der er vigtigt for den erhvervsdrivende, er, at han korrekt anvender mindst en af backtesting-strategierne til sit system, før han har tillid til hans handelskapital til det. Et kritisk spørgsmål ved valg af en backtesting-strategi er antallet af genererede handler; mindst 1000 handler er nødvendige i hver fase af systembyggerens arbejde.
Brug af faktiske prisdata, opdelt i tre dele, er det sædvanlige udgangspunkt for de fleste systembyggere. Systemet oprettes ved hjælp af den første tredjedel af dataene. På dette tidspunkt har bygherren fundet algoritmer, der ser ud til at generere nok profit med lille nok risiko til at tilbyde gode udsigter. Den anden tredjedel af dataene bruges til at optimere systemet.
Når systemet er optimeret, anvendes det på den resterende tredjedel af dataene. Dette kaldes out-of-sample-test, og det er her de fleste systemer mislykkes. Hvis systemet stadig har gode resultater på tværs af mindst 1.000 handler, har systembyggeren et levedygtigt system. Hvis systemet genererer færre end 1.000 handler i testen uden for prøven, skal bygherren overveje en anden strategi for backtesting.
Bootstrapping er en metode til at trække nogle data fra det samlede sæt, teste, sætte dataene tilbage i og tegne flere data, eller genprøve og prøve igen. Det ideelle antal resamples er n n eller n til den nde magt, hvor n er antallet af data i den originale prøve. For en erhvervsdrivende, der sandsynligvis beskæftiger sig med mindst 2.500 datapunkter - 250 dage om året over 10 år - er det ikke praktisk. Heldigvis vil 100 genprøver give en høj grad af tillid til, at bootstrap-prøven spejler de originale data, hvilket gør resultaterne pålidelige. Hvis det at tage 100 genprøver ikke giver de nødvendige 1000 handler, skal den erhvervsdrivende fortsætte med at genprøve, indtil dette mål er nået, hvis han forventer, at systemet snarere end blot omprøve dataene skal være pålidelige.
Den sidste metode til backtesting-strategier er Monte Carlo (MC) -simulering. Denne metode bruger en computer til at generere simulerede data, og systemet testes derefter på disse data. Fordelen ved MC-simulering er, at man kan oprette ubegrænsede mængder data, så man kan generere 10.000 handler eller et hvilket som helst andet antal handler. En anden fordel er, at hvert nyt datasæt er ude af prøven. Dette giver mulighed for at gennemføre gentagne optimerings- og testkørsler; bare optimer dette datasæt, og anvend derefter disse systemparametre på de næste data, computeren genererer.
En ulempe ved MC-simulering er, at dataene muligvis ikke har nøjagtigt den samme sandsynlighedsfordelingsfunktion, som handelsdata har, hvilket kan skjule resultaterne. I den bedste af alle mulige verdener bør alle tre backtesting-strategier bruges i processen med at undersøge systemet. Succes i alle tre bør give en meget stor sandsynlighed for succes i den virkelige verden handel.