Walk Forward Analysis per verificare la robustezza di un Trading System

[Apocalips]

Non mi piace procedere nei miei studi in modo casuale e del tutto disorganizzato per cui cerco sempre di proseguire con ordine e disciplina perchè questo è l'unico modo per arrivare prima al traguardo e soprattutto senza farsi male.
Approcciarsi allo studio dei Trading System non è semplice per cui prima di fare disastri mi piacerebbe sentire il parere di Tiziano sulla tecnica della Walk Forward Analysis che mi ha parecchio incuriosito.

Esiste una vasta letteratura in rete che ne spiega il funzionamento ma che detta in breve ha lo scopo principale di determinare se la performance di un trading system ottimizzato è il risultato illusorio dell’overfitting, oppure è il risultato di un modello di trading robusto in grado di prevedere la dinamica di prezzo del mercato e quindi di essere profittevole sui dati di mercato non noti, successivi alla ottimizzazione.

cosa ne pensi Tiziano?

secondo la tua esperienza vale la pena approfondire il concetto e applicarlo anche nei nostri TS ?
Ho visto che in alcuni software è gia inclusa nel modulo di testing dei TS.

grazie
Apo

[Apocalips]

Ecco il mio primo approccio di sviluppo e testing di un Trading system con la tecnica dell' IN SAMPLE e OUT OF SAMPLE

Ho caricato su BT uno storico di circa 10.000 barre ( dax 5 min.) e diviso in due settori, uno di circa 6300 barre chiamato in sample e l'altro di circa 3300 barre chiamato out of sample.

Nel periodo IN SAMPLE ho sviluppato e ottimizzato il mio TS dopodichè ne ho verificato l'efficacia nel periodo OUT OF SAMPLE come se stessi simulando una situazione futura ignota all'algoritmo del TS.

ecco i risultati:




OTTIMIZZAZIONE



VERIFICA POST OTTIMIZZAZIONE


in base a questi risultati il TS dovrebbe essere robusto poichè l'equity dell' out of sample non degrada e mantiene lo stesso rendimento del periodo in sample. Il numero di trade inoltre per entrambi i campioni è statisticamente significativo ( circa 900 in totale).
Resta da lavorare un pochino sul profict factor per migliorare il rapporto utile/spese.

che ne pensate di questa metodica ? a me sembra la strada giusta da percorrere.

Apo

[Cagalli Tiziano]

Non mi piace procedere nei miei studi in modo casuale e del tutto disorganizzato per cui cerco sempre di proseguire con ordine e disciplina perchè questo è l'unico modo per arrivare prima al traguardo e soprattutto senza farsi male.
Approcciarsi allo studio dei Trading System non è semplice per cui prima di fare disastri mi piacerebbe sentire il parere di Tiziano sulla tecnica della Walk Forward Analysis che mi ha parecchio incuriosito.

Esiste una vasta letteratura in rete che ne spiega il funzionamento ma che detta in breve ha lo scopo principale di determinare se la performance di un trading system ottimizzato è il risultato illusorio dell’overfitting, oppure è il risultato di un modello di trading robusto in grado di prevedere la dinamica di prezzo del mercato e quindi di essere profittevole sui dati di mercato non noti, successivi alla ottimizzazione.

cosa ne pensi Tiziano?

secondo la tua esperienza vale la pena approfondire il concetto e applicarlo anche nei nostri TS ?
Ho visto che in alcuni software è gia inclusa nel modulo di testing dei TS.

grazie
Apo

Penso che sia un sistema logico, in pratica si passano al vaglio una parte dei dati a disposizione e su questi si ottimizza.
Una volta fatta l'ottimizzazione si verifica la bontà con la seconda parte dei dati.

E' una tecnica molto usata, anche da professionisti per cui ritengo sia ottima.

Io non faccio così, ma preferisco ottimizzare il tS su una serie di titoli diversi e poi provarlo su altri titoli.

Prendo una decina di titoli che abbiano valori di Last abbastanza diversi, ottimizzo il TS su cinque di questi titoli e cerco una performance media (se fosse solo una media mobile e i valori ottimali si fossero verificati tra il 5 ed il 10, la setto a 7 oppure 8) e poi provo il TS sui rimanenti 5 titoli.

Se va ...bene e mi fermo
Se non va ritorno sui 5 titoli di prima e modifico il sistema, poi ottimizzo nuovamente e poi ancora sui rimanenti 5.

[Apocalips]

Penso che sia un sistema logico, in pratica si passano al vaglio una parte dei dati a disposizione e su questi si ottimizza.
Una volta fatta l'ottimizzazione si verifica la bontà con la seconda parte dei dati.

E' una tecnica molto usata, anche da professionisti per cui ritengo sia ottima.

Io non faccio così, ma preferisco ottimizzare il tS su una serie di titoli diversi e poi provarlo su altri titoli.

Prendo una decina di titoli che abbiano valori di Last abbastanza diversi, ottimizzo il TS su cinque di questi titoli e cerco una performance media (se fosse solo una media mobile e i valori ottimali si fossero verificati tra il 5 ed il 10, la setto a 7 oppure 8) e poi provo il TS sui rimanenti 5 titoli.

Se va ...bene e mi fermo
Se non va ritorno sui 5 titoli di prima e modifico il sistema, poi ottimizzo nuovamente e poi ancora sui rimanenti 5.

grazie Tiziano, molto interessante

se ti va, puoi mostrarci qualche equity di un tuo TS o anche una cumulativa di portafoglio ? giusto per avere una idea di come deve essere una equity in real money

grazie

[freddie]

Ecco il mio primo approccio di sviluppo e testing di un Trading system con la tecnica dell' IN SAMPLE e OUT OF SAMPLE

Ho caricato su BT uno storico di circa 10.000 barre ( dax 5 min.) e diviso in due settori, uno di circa 6300 barre chiamato in sample e l'altro di circa 3300 barre chiamato out of sample.

Nel periodo IN SAMPLE ho sviluppato e ottimizzato il mio TS dopodichè ne ho verificato l'efficacia nel periodo OUT OF SAMPLE come se stessi simulando una situazione futura ignota all'algoritmo del TS.

ecco i risultati:




OTTIMIZZAZIONE



VERIFICA POST OTTIMIZZAZIONE


in base a questi risultati il TS dovrebbe essere robusto poichè l'equity dell' out of sample non degrada e mantiene lo stesso rendimento del periodo in sample. Il numero di trade inoltre per entrambi i campioni è statisticamente significativo ( circa 900 in totale).
Resta da lavorare un pochino sul profict factor per migliorare il rapporto utile/spese.

che ne pensate di questa metodica ? a me sembra la strada giusta da percorrere.

Apo

Ciao,

complimenti, la metodica è buona ed i risultati ottimi. Mi chiedo se i valori del report sono espressi in euro, perché in tal caso l'average trade di 26 mi sembra decisamente troppo basso. A meno che tu non abbia incluso nel calcolo già commissioni e due tick di slippage. Se sono punti l'avg trade sarebbe 12.5x26=325 euro quindi ottimo!
Hai fatto altre prove con finestre di ottimizzazione più corte e revisione periodica dei valori ottimizzati? I valori ottimizzati fanno parte di un intorno o sono valori isolati?

[Cagalli Tiziano]

grazie Tiziano, molto interessante

se ti va, puoi mostrarci qualche equity di un tuo TS o anche una cumulativa di portafoglio ? giusto per avere una idea di come deve essere una equity in real money

grazie

Lunedì quando sarò in ufficio le posterò.

Anticipo già che non hanno una pendenza molto elevata perchè somma di equity sui vari titoli che compongono il portafoglio.

[Cagalli Tiziano]

Ciao,

complimenti, la metodica è buona ed i risultati ottimi. Mi chiedo se i valori del report sono espressi in euro, perché in tal caso l'average trade di 26 mi sembra decisamente troppo basso. A meno che tu non abbia incluso nel calcolo già commissioni e due tick di slippage. Se sono punti l'avg trade sarebbe 12.5x26=325 euro quindi ottimo!
Hai fatto altre prove con finestre di ottimizzazione più corte e revisione periodica dei valori ottimizzati? I valori ottimizzati fanno parte di un intorno o sono valori isolati?

Anticipo io.

[Apocalips]

Ciao,

complimenti, la metodica è buona ed i risultati ottimi. Mi chiedo se i valori del report sono espressi in euro, perché in tal caso l'average trade di 26 mi sembra decisamente troppo basso. A meno che tu non abbia incluso nel calcolo già commissioni e due tick di slippage. Se sono punti l'avg trade sarebbe 12.5x26=325 euro quindi ottimo!
Hai fatto altre prove con finestre di ottimizzazione più corte e revisione periodica dei valori ottimizzati? I valori ottimizzati fanno parte di un intorno o sono valori isolati?

Si tutti i valori dei report sono espressi in euro.
Quello che ho mostrato era solo un esempio di applicazione della metodica - in sample/out of sample -
Il TS pur avendo superato il test non puo ovviamente andare a mercato per via dei costi dovuti a commissioni e slippage che ne appiattirebbero l'equity per cui bisogna ancora laorarci su per migliorare il rendimento.
Come giustamente dici andrebbe condotto il test della Walk Forward Analisys dividendo l'intero arco temporale di dati storici in una successione di finestre temporali sfasate tra di loro e divise ciascuna in dati in sample e dati out of sample.
Esistono diversi forum che spiegano come funziona la WFA e se vuoi approfondire basta fare una ricerca con google.

Apo

[freddie]

Si tutti i valori dei report sono espressi in euro.
Quello che ho mostrato era solo un esempio di applicazione della metodica - in sample/out of sample -
Il TS pur avendo superato il test non puo ovviamente andare a mercato per via dei costi dovuti a commissioni e slippage che ne appiattirebbero l'equity per cui bisogna ancora laorarci su per migliorare il rendimento.
Come giustamente dici andrebbe condotto il test della Walk Forward Analisys dividendo l'intero arco temporale di dati storici in una successione di finestre temporali sfasate tra di loro e divise ciascuna in dati in sample e dati out of sample.
Esistono diversi forum che spiegano come funziona la WFA e se vuoi approfondire basta fare una ricerca con google.

Apo

Ti ringrazio,

conosco piuttosto bene le problematiche legate all' ottimizzazione dei sistemi e le varie teorie al riguardo. Mi sono dedicato ai sistemi per qualche anno ma con visual trader. Seguo con interesse il vostro lavoro e non appena sarò in grado di padroneggiare le opzioni ho intenzione di dedicarmi all'apprendimento del funzionamento di Bee trader. dato che come dice il maestro chi insegue due lepri non ne prende nemmeno una....per ora inseguo le opzioni ma sono sempre pronto se posso a dare il mio contributo.
Sarebbe interessante poter implementare una funzione tipo walk-forward in Bee trader.
Io non ho mai usato Multiucharts e quindi non ho mai provato a fondo questa tecnica, mi sono limitato a frazionare i vari storici. Se qualche utente lo ha usato sarebbe interessante conoscere esperienze dirette.
Già che ci sono pongo un quesito, è possibile ottimizzare il fattore Average trade? Lo ritengo più importante del Total net Profit.

Un saluto.

[Marco Bosco]

Ti ringrazio,

conosco piuttosto bene le problematiche legate all' ottimizzazione dei sistemi e le varie teorie al riguardo. Mi sono dedicato ai sistemi per qualche anno ma con visual trader. Seguo con interesse il vostro lavoro e non appena sarò in grado di padroneggiare le opzioni ho intenzione di dedicarmi all'apprendimento del funzionamento di Bee trader. dato che come dice il maestro chi insegue due lepri non ne prende nemmeno una....per ora inseguo le opzioni ma sono sempre pronto se posso a dare il mio contributo.
Sarebbe interessante poter implementare una funzione tipo walk-forward in Bee trader.
Io non ho mai usato Multiucharts e quindi non ho mai provato a fondo questa tecnica, mi sono limitato a frazionare i vari storici. Se qualche utente lo ha usato sarebbe interessante conoscere esperienze dirette.
Già che ci sono pongo un quesito, è possibile ottimizzare il fattore Average trade? Lo ritengo più importante del Total net Profit.

Un saluto.

ciao freddie,
è un peccato che tu non possa dare da subito un qualche contributo visto che sei un esperto .
Giustissima la tua citazione del maestro.
E se è vero che si corre solo dietro ad una lepre alla volta...ogni tanto devi voltarti e vedere dove va l'altra ... altrimenti presa la prima , dell'altra non ritrovi più la strada

...e quindi ormai che ci hai svelato che "..conosci piuttosto bene..." ti tocca aiutare tutti nella community ...


beeTrader effettua già l'ottimizzazione verso il fattore AverageTrade
Puoi trovarlo tra le colonne non visualizzate di default e mostrarlo in un secondo.
Tasto destro sulle colonne...



buona giornata,
Marco