Wat zijn de verschillende soorten backteststrategieën?
Er zijn drie gangbare benaderingen van backteststrategieën: met behulp van actuele prijsgegevens verdeeld in drie groepen; bootstrap, die werkelijke prijsgegevens gebruikt, maar deze opnieuw analyseert; en Monte Carlo-simulatie. Er zijn theoretische kwesties die systeembouwers verdelen over welke methode het beste is. Wat belangrijk is voor de handelaar is dat hij correct ten minste een van de backteststrategieën in zijn systeem gebruikt voordat hij zijn handelskapitaal erop vertrouwt. Een cruciaal probleem bij het kiezen van een backteststrategie is het aantal gegenereerde transacties; er zijn ten minste 1.000 transacties nodig in elke fase van het werk van de systeembouwer.
Het gebruik van werkelijke prijsgegevens, verdeeld in drie delen, is het gebruikelijke beginpunt voor de meeste systeembouwers. Het systeem wordt gemaakt met behulp van het eerste derde deel van de gegevens. Op dit punt heeft de bouwer algoritmen gevonden die voldoende winst lijken te genereren met een klein genoeg risico om goede vooruitzichten te bieden. Het tweede eenderde deel van de gegevens wordt gebruikt om het systeem te optimaliseren.
Nadat het systeem is geoptimaliseerd, wordt het toegepast op het resterende derde deel van de gegevens. Dit wordt out-of-sample testen genoemd en hier falen de meeste systemen. Als het systeem nog steeds goede resultaten heeft over minstens 1.000 transacties, heeft de systeembouwer een levensvatbaar systeem. Als het systeem minder dan 1.000 transacties genereert bij het testen buiten de steekproef, moet de bouwer een andere backteststrategie overwegen.
Bootstrapping is een methode om enkele gegevens uit de totale set te trekken, te testen, de gegevens weer in te voeren en meer gegevens te tekenen of opnieuw te bemonsteren en opnieuw te testen. Het ideale aantal resamples is n n , of n tot de nde macht, waarbij n het aantal gegevens in de oorspronkelijke sample is. Voor een handelaar die waarschijnlijk te maken heeft met ten minste 2500 gegevenspunten - 250 dagen per jaar gedurende 10 jaar - is dat niet praktisch. Gelukkig geven 100 resamples een hoge mate van vertrouwen dat het bootstrap-monster de originele gegevens zal spiegelen, waardoor de resultaten betrouwbaar zijn. Als het nemen van 100 monsters niet de benodigde 1.000 transacties oplevert, moet de handelaar doorgaan met bemonsteren totdat dat doel is bereikt als hij verwacht dat het systeem, in plaats van alleen het opnieuw bemonsteren van de gegevens, betrouwbaar is.
De laatste methode voor backtesting-strategieën is Monte Carlo (MC) -simulatie. Deze methode gebruikt een computer om gesimuleerde gegevens te genereren en het systeem wordt vervolgens op die gegevens getest. Het voordeel van MC-simulatie is dat je onbeperkte hoeveelheden gegevens kunt maken, waardoor je 10.000 transacties of een ander aantal transacties kunt genereren. Een ander voordeel is dat elke nieuwe dataset uit de steekproef is. Dit biedt de mogelijkheid om herhaalde optimalisatie- en testruns uit te voeren; optimaliseer eenvoudigweg deze gegevensset en pas die systeemparameters toe op de volgende gegevens die de computer genereert.
Een nadeel van MC-simulatie is dat de gegevens mogelijk niet exact dezelfde kansverdelingsfunctie hebben die handelsgegevens hebben, waardoor de resultaten scheef kunnen gaan. In de best mogelijke wereld moeten alle drie de backteststrategieën worden gebruikt om het systeem te controleren. Succes in alle drie zou een zeer grote kans van slagen moeten bieden in de echte handel.