Handlere som er ivrige etter å prøve en handelsidé i et levende marked, gjør ofte feilen å stole helt på backtesting-resultater for å avgjøre om systemet vil være lønnsomt. Selv om backtesting kan gi handelsmenn verdifull informasjon, er det ofte misvisende, og det er bare en del av evalueringsprosessen.
Testing utenfor prøven og fremføringstesting gir ytterligere bekreftelse angående systemets effektivitet og kan vise et systems virkelige farger før reelle penger er på banen. God korrelasjon mellom backtesting, out-of-sample og fremtidig resultattesting er avgjørende for å bestemme levedyktigheten til et handelssystem.
Grunnleggende om testing
Backtesting viser til anvendelse av et handelssystem på historiske data for å bekrefte hvordan et system ville ha prestert i løpet av den angitte perioden. Mange av dagens handelsplattformer støtter backtesting. Næringsdrivende kan teste ideer med noen få tastetrykk og få innsikt i effektiviteten av en idé uten å risikere midler på en handelskonto. Backtesting kan evaluere enkle ideer, for eksempel hvordan et glidende gjennomsnittlig crossover ville fungere på historiske data, eller mer komplekse systemer med en rekke innganger og triggere.
Så lenge en idé kan kvantifiseres, kan den testes på nytt. Noen handelsmenn og investorer kan søke kompetanse fra en kvalifisert programmerer for å utvikle ideen til en testbar form. Vanligvis involverer dette en programmerer som koder ideen til det proprietære språket som er vert for handelsplattformen. Programmereren kan innlemme brukerdefinerte inngangsvariabler som lar den næringsdrivende "finjustere" systemet.
Et eksempel på dette vil være i det enkle bevegelige gjennomsnittsovergangssystemet som er nevnt ovenfor: Handleren vil kunne legge inn (eller endre) lengdene til de to glidende gjennomsnittene som brukes i systemet. Den næringsdrivende kunne backtest for å bestemme hvilke lengder av glidende gjennomsnitt ville ha prestert best på de historiske dataene.
Optimaliseringsstudier
Mange handelsplattformer åpner også for optimaliseringsstudier. Dette innebærer å legge inn et område for den spesifiserte inngangen og la datamaskinen "gjøre regnestykket" for å finne ut hvilken inngang som ville ha fungert best. En optimalisering med flere variabler kan gjøre matematikk for to eller flere variabler for å bestemme hvilke kombinasjoner som ville oppnådd det beste resultatet.
For eksempel kan handelsmenn fortelle programmet hvilke innganger de ønsker å legge til i strategien sin; disse vil da bli optimalisert til sine ideelle vekter gitt de testede historiske data.
Backtesting kan være spennende ved at et ulønnsomt system ofte magisk kan forvandles til en pengegående maskin med noen få optimaliseringer. Dessverre fører det til at et justering av et system for å oppnå størst mulig nivå av fortidens lønnsomhet ofte fører til et system som vil prestere dårlig i ekte handel. Denne overoptimaliseringen skaper systemer som bare ser bra ut på papiret.
Kurvepassing er bruk av optimaliseringsanalyse for å skape det høyeste antall vinnende handler med størst fortjeneste på de historiske dataene som ble brukt i testperioden. Selv om det ser imponerende ut i backtesting-resultater, fører kurvepassing til upålitelige systemer siden resultatene egentlig er spesialdesignet for den bestemte data og tidsperiode.
Backtesting og optimalisering gir mange fordeler for en næringsdrivende, men dette er bare en del av prosessen når du evaluerer et potensielt handelssystem. En handelsmanns neste trinn er å bruke systemet på historiske data som ikke har blitt brukt i den innledende backtestingfasen.
In-sample versus out-of-sample data
Når du tester en idé om historiske data, er det en fordel å reservere en periode med historiske data til testformål. De første historiske dataene som ideen testes og optimaliseres på, blir referert til som data i utvalget. Datasettet som har blitt reservert, er kjent som data uten data. Dette oppsettet er en viktig del av evalueringsprosessen fordi den gir en måte å teste ideen på data som ikke har vært en komponent i optimaliseringsmodellen.
Som et resultat vil ideen på ingen måte ha blitt påvirket av data uten prøven, og handelsmenn vil være i stand til å bestemme hvor godt systemet kan prestere på nye data, dvs. i handel i virkeligheten.
Før de igangsetter en eventuell backtesting eller optimalisering, kan handelsmenn sette av en prosentandel av de historiske dataene som skal reserveres for testing uten prøve. En metode er å dele opp de historiske dataene i tredjedeler og adskille en tredjedel for bruk i testen uten sampler. Bare data i prøven skal brukes til den første testen og for optimalisering.
Figuren nedenfor viser en tidslinje der en tredjedel av de historiske dataene er reservert for ut-fra-prøving, og to tredjedeler blir brukt til prøven i utvalget. Selv om figuren nedenfor viser dataene utenfor prøven i begynnelsen av testen, ville typiske prosedyrer ha delen utenfor prøven umiddelbart før fremføringen.
En tidslinje som representerer den relative lengden på in-sample og out-of-sample data brukt i backtesting prosessen. Bilde av Julie Bang © Investopedia 2020
Korrelasjon refererer til likheter mellom forestillingene og de samlede trender for de to datasettene. Korrelasjonsmålinger kan brukes til å evaluere strategiytelsesrapporter som er opprettet i løpet av testperioden (en funksjon som de fleste handelsplattformer gir). Jo sterkere sammenhengen mellom de to, jo bedre er sannsynligheten for at et system vil prestere godt i fremtidig ytelsestesting og live trading.
Figuren nedenfor illustrerer to forskjellige systemer som ble testet og optimalisert på data i prøven, og deretter brukt på data utenfra prøven. Diagrammet til venstre viser et system som tydelig var kurvetilpasset for å fungere bra på dataene i prøven og fullstendig mislyktes på dataene uten prøven. Diagrammet til høyre viser et system som fungerte bra på både inn- og ut-fra-prøvedata.
To aksjekurver. Handelsdataene før hver gule pil representerer testing i utvalget. Handlene som ble generert mellom de gule og røde pilene indikerer testing utenfor prøven. Handlene etter de røde pilene er fra fremdriftsprøvingsfasene.
Når et handelssystem er utviklet ved bruk av data i utvalget, er det klart til å brukes på ut-fra-prøvedata. Næringsdrivende kan evaluere og sammenligne resultatene mellom data i utvalget og uten data.
Hvis det er liten sammenheng mellom in-sample og out-of-sample testing, som det venstre diagrammet i figuren over, er det sannsynlig at systemet har blitt overoptimalisert og ikke vil fungere godt i live trading. Hvis det er sterk korrelasjon i ytelsen, som det vises i det rette diagrammet, innebærer den neste fasen av evalueringen en ekstra type utenom-prøvetesting kjent som fremtidig ytelsestesting.
Grunnleggende om fremføring av testprestasjoner
Fremover ytelsestesting, også kjent som papirhandel, gir handelsmenn et annet sett uten data-ut-data for å evaluere et system. Fremover ytelsestesting er en simulering av faktisk handel og innebærer å følge systemets logikk i et live marked. Det kalles også papirhandel siden alle handler bare utføres på papir; det vil si at handelsoppføringer og -utganger er dokumentert sammen med noe overskudd eller tap for systemet, men ingen reelle handler utføres.
Et viktig aspekt ved fremføringstestingstesting er å følge systemets logikk nøyaktig; Ellers blir det vanskelig, om ikke umulig, å evaluere dette trinnet i prosessen nøyaktig. Næringsdrivende bør være ærlige om handel og avganger og unngå oppførsel som handel med kirsebærplukk eller ikke å inkludere papirhandel som rasjonaliserer at "Jeg ville aldri tatt den handelen." Hvis handelen ville ha skjedd etter systemets logikk, bør den dokumenteres og evalueres.
Mange meglere tilbyr en simulert tradingkonto der handler kan plasseres og det tilsvarende resultatet og beregnes. Ved å bruke en simulert tradingkonto kan du skape en semi-realistisk atmosfære som du kan øve på handel og vurdere systemet videre.
Figuren over viser også resultatene for fremføringstesting på to systemer. Igjen klarer ikke systemet som er representert i det venstre diagrammet, langt utover den innledende testingen på data i prøven. Systemet vist i høyre diagram fortsetter imidlertid å prestere godt gjennom alle faser, inkludert fremføringstesting. Et system som viser positive resultater med god sammenheng mellom in-sample, out-of-sample og forward performance testing er klar til å bli implementert i et live marked.
Bunnlinjen
Backtesting er et verdifullt verktøy tilgjengelig i de fleste handelsplattformer. Å dele historiske data i flere sett for å sørge for utprøving i prøven og uten prøve kan gi handelsmenn et praktisk og effektivt middel for å evaluere en handelsidee og et system. Siden de fleste handelsmenn bruker optimaliseringsteknikker i backtesting, er det viktig å evaluere systemet på rene data for å bestemme levedyktigheten.
Å fortsette testen uten prøve med fremtidig ytelsestesting gir et annet lag med sikkerhet før du setter et system i markedet og risikerer reelle kontanter. Positive resultater og god sammenheng mellom back-testing og utprøving av prøven og fremover ytelse øker sannsynligheten for at et system vil prestere godt i faktisk handel.
