Backtest je način provjere učinkovitosti strategije u prošlosti. Radi li ovaj alat stvarno?
Kad krenete u svijet trgovine, jedna od prvih stvari koje naučite je koncept backtestinga. Odnosno, prije upotrebe strategije poželjno je, ako ne i bitno, provjeriti rezultate nekih pravila u prethodnim razdobljima. Ova pravila nazivamo sustav trgovanja ili jednostavno sustav. Sam koncept, ili barem ideja, vrlo je dobar. Iako nam se sada čini očitim, nije to uvijek bilo. Štoviše, čak i danas postoje trgovci ili investitori koji radije, pogreškom ili propustom, svoj kapital povjere budućnosti budućnosti.
Očito je da svi nagađaju sa svojim kapitalom kako smatraju prikladnim. Naravno, sa sredstvima udaljenim barem jednim klikom da biste barem pokušali provjeriti, i s relativno lakoćom, prinose koje je strategija imala u prošlosti, čini se barem apsurdnim ne činiti to.
Napomena: Izostavljamo one dijelove analize koji se ne mogu mjeriti. Nešto što se događa u svim vrstama analiza. Uvijek nam nešto nedostaje.
Prethodni povrati ne jamče buduće povrate
Neki od onih koji nisu voljni kvantificirati svoje strategije, mogu tvrditi - i vrlo dobro argumentirano - da prošli povratak ne jamči budući povratak. Ali, imajući na umu da su u pravu, uvijek dolazim do sljedećeg zaključka: ako ne možete osigurati da će ono što je uspjelo i dalje raditi, ono što vas tjera da mislite da će ono što nije uspjelo raditi sada. Moglo bi uspjeti? Da, ali čini mi se više kao čin vjere nego bilo što drugo.
Nada je posljednja stvar koju treba izgubiti jer, naravno, prije nego što je izgubite, ono što ćete sigurno izgubiti je vaš kapital.
Ni backtest ne radi
Usredotočeni na ideju da je backtest bolji od oslanjanja na astrologiju, moramo nastaviti usavršavati kako ne bismo činili iste pogreške koje su mnogi trgovci činili, i nažalost i dalje će činiti.
U ovom trenutku moramo staviti ulje na platno kako bismo potvrdili da je backtest bolji od oslanjanja na slučajnost odredišta, ali daleko od toga da je dovoljan.
Zašto nije dovoljno?
Pozadinski test dovoljan je da provjerimo bi li, upotrebljavajući određeni sustav trgovanja u prošlosti, generirali određene rezultate. Ali alat tu završava. Sama riječ kaže: ‘Natrag’ (prošlost) i ‘test’ (Dokaz). Ekstrapoliranje, bez daljnje analize, neki su rezultati još uvijek - premda u manjoj mjeri - još jedan čin vjere. Budući da je slučajno mogao nastaviti raditi i pronašao je sustav koji funkcionira ne znajući zašto ili da radi, a vi ne znate do kada. Ovakav postupak nekih kvantitativnih analitičara kontrastira s njihovom neprestanom kritikom tehničke analize. Odnosno, kritiziraju nešto što i sami, nesvjesno, svakodnevno primjenjuju.
Što se tu ima za analizirati?
Pod pretpostavkom da sustav ima fiksne parametre, potrebno je provjeriti njegovu valjanost u različitim tržišnim okruženjima. Čak i u sredinama koje ne postoje. Provjerite kako bi sustav funkcionirao u okruženjima s velikom volatilnošću i niskom volatilnošću, prije i nakon strukturnih promjena, na bikovskom, medvjeđem i bočnim tržištima. I tako bismo mogli ići gotovo u nedogled.
Ako sustav ima promjenjive parametre, što se obično događa u većini slučajeva, postupit ćemo na isti način, ali imajući na umu da je sustav moguće mijenjati i stoga ga je moguće optimizirati. Sama činjenica da je moguće optimizirati čini osjetljivom na pretjeranu optimizaciju. Ova je točka od vitalne važnosti za pokušaj postizanja stabilnih prinosa u budućnosti.
Uobičajeni korak nakon pronalaska strategije koja je dobro funkcionirala u prošlosti je pokušaj optimizacije modela. Velika pogreška. Prvo biste to morali staviti u napetost ili, kako ja to nazivam, naglašavanje sustava. Uključite ga u najgore moguće okruženje poznato po takvim sustavima. Tako, na primjer, ako imamo sustav trendova, bit će potrebno staviti ga u rad u duljim bočnim razdobljima kako bismo vidjeli kako se ponaša kada ne postoji povoljan scenarij za generiranje povrata iz sustava. Razlog navedenom je taj što ne znamo što će se dogoditi u budućnosti, pa nas stavljanje u najgori mogući scenarij vodi što dalje od neizbježne (i poželjne) slučajnosti.
Što učiniti osim naglasiti?
Koncepti koji sve mijenjaju su ispitivanje naprijed i testiranje van uzorka. Ali, ako ne znamo budućnost, kako ćemo testirati nešto o nečemu što ne znamo? Imamo dvije mogućnosti, koje ćemo vidjeti uskoro. S druge strane, imamo koncept izvan uzorka. Izbor ovog uzorka - za koji preporučujem da ih bude poprilično (ne samo jedan) i s raspodjelom vjerojatnosti koji imaju različite karakteristike - presudan je za postizanje sustava koji funkcionira. Ideja je da se backtest i optimizacija provode u različitim razdobljima. Tako će ostati besplatni uzorci. Iako je to prema ukusu analitičara. To se može učiniti i na drugi način, ali možemo upasti u statističke pogreške koje nisu cilj ovog članka.
- Prvi način izvođenja postupka je ono što ćemo nazvati tradicionalnim: izrađujemo sustav, optimiziramo ga i nakon uvida u neke mjerne podatke stavljamo u rad s fiktivnim novcem ili s malo stvarnog novca. Ako sve bude u redu, stavit ćemo ga u stvarnost.
- Drugi način izvođenja postupka je ono što ćemo nazvati 'novim', iako u stvarnosti ima malo novog: provodimo sustav, optimiziramo ga, provjeravamo stabilnost parametara tijekom vremena, provodimo izvan uzorci testova, umjetni testovi prema naprijed i pokrenuli smo ga s pravim testom naprijed. Ako sve bude u redu, stavit ćemo ga u stvarnost.
Drugi način postupanja, u usporedbi s prvim, temelji se na dva koncepta: stabilnost parametara tijekom vremena i umjetni testovi naprijed. Umjetni testovi naprijed nisu vrsta testova izvan uzorka koji pokušavaju simulirati pravi test naprijed. Razmislimo o sljedećem:
Prošli smo godinu dana radili postupak za sustav. Puštanje u rad od ovog mjeseca (srpanj) do kraja godine (prosinac) praktički je isto kao i pomicanje naprijed svih 6 mjeseci i simulacija testa naprijed od siječnja do srpnja. Nije isto, jer nam stvarni uvjeti uvijek nude situacije koje je teško izmisliti, ali napredujemo dalje i postižemo bolje rezultate. A nakon tih "izuma", jer su zapravo izumi, proveli smo napredni test u stvarnom vremenu. Na to mislim pod umjetnim testovima naprijed. Nekima se ovo možda neće svidjeti, ali razmišljanje drugačije je mentalno pristrano. Da ste ovu strategiju otkrili 6 mjeseci ranije, učinili biste isto.
S druge strane, imamo stabilnost parametara sustava tijekom vremena. Za mene je ovo najvažnija metrika i govori nam je li sustav previše optimiziran. Ako parametri ostaju stabilni tijekom vremena nakon optimizacija svakih X razdoblja, to znači da je manja vjerojatnost da su parametri pretjerano optimizirani od ostalih koji se više razlikuju. Ako ovome dodamo da za svaku od optimizacija provodimo umjetni test naprijed, a rezultati su također stabilni, suočavamo se sa sustavom s vjerojatnošću da ćemo zaista biti profitabilni.
Sve ovo može postati puno zamršenije. Iako se čini složenim, nije. Težak je, ali jednostavniji je od mehanizma vrča. Kao i uvijek, svatko ima svoj način rada, to nije jedini način, ali ono što sam želio razjasniti jest da je backtest bez pratitelja na putu beskoristan i beskoristan. Barem, naravno, u svijetu trgovine.
