Backtesting Most important ?

Bonsoir,

Bonnes fêtes !

Plusieurs questions me viennent à l'esprit, et j'ai besoin d'avis.
Peut-on se fier aux résultats d'un backtesting sur 1 ans, 2 ans, 3 ans,..,5 ans ?
Qu'est-ce qui est le plus important à regarder/analyser/prendre en compte dans le résumé détaillé ?

Falex, je compte sur toi hein

tu peux

Spoiler:

En vrac car je n'ai pas le temps de développer :
Si vous voulez avoir une idée de ce que donne en réel votre backtest il faut absolument mettre le spread/frais et là on a souvent de mauvais surprise : une stratégie géniale devient nulle.

PRT tri les résultat par gain brut, ce n'est pas forcément le meilleur critère mais c'est un bon début pour éliminer les stratégies qui ne rapportent rien.

le Profit factor est un bon élément qui permet d'avoir en un seul coup d'oeil un mélange entre : gain/perte/taux de réussite.

Ensuite il y d'autre facteur important comme le drawdown, le dd max mais cela dépend de votre stratégie (si TP/SL fixe le DD on s'en Fiche puisqu'on le connait.

Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?

Hello,
Selon moi, les backtests permettent surtout de valider ou non un "feeling" de stratégie que tu veux mettre en place.
Tu as parfois des surprises entre ce que tu "vois" comme stratégie à l'oeil nu sur quelques journées et ce qui sort d'un backtest sur une année.

Maintenant, comme le rappel souvent Benoist et les autres, la bourse évolue toujours, je ne suis pas certain que prendre un historique de 5ans si tu veux faire de l'intraday soit vraiment utile.
(une stratégie gagnante cette année ne l'aurait probablement pas été en 2008...dans ce cas, tes backtests seront un peu faussés si tu remontes trop dans le temps).

Le profit factor est un bon indicateur à prendre en compte mais attention : il faut le mettre en vis à vis du nombres de positions gagnantes et perdantes que donne le backtest.

je m'explique : tu peux avoir un backtest qui te donnera un profit factor de 6 avec, par exemple, des stats de 1 seule position en MV sur 52 semaines.
Tu te dis : "génial, un profit factor pareil, c'est du velour".
Sauf que , dès qu'une nouvelle position est en MV, ton profit factor va passer à une valeur très faible (genre 1,2).
Et là, c'est une mauvaise position à prendre.

Donc, si ton profit factor est bon et que tu as une proportion correcte entre PV et MV, c'est que ton backtest te donne une bonne stratégie.... à priori.


Bon courage.
le backtesting, ça prend énormément de temps si tu as plein d'idées

tu peux
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?

Oui, curieux

Spoiler:

Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...

Je vais refaire mes backtests, et notez les résultats pour vous les communiquez et lire vos avis
Je réfléchis depuis quelques temps sur un indicateurs qui arrive presque à maturité, il fonctionne plutôt bien, sur un time-frame de 1h, 30mins & 15 mins, mais je m'oriente plus sur 1h, car à priori on est à moins de 2 ordres/jours, ce qui est au vu de mon Taf, la meilleure solution
Il à l'air très performant en "Market Bull", moins en "Market Bear".
J'ai donc, si les résultats des backtests sont probants, bien l'envie de le suivre sur les signaux @chats, et plus au feeling sur les signaux de vente...

Je fais cela tout à l'heure

Merci de vos réponses

tu peux
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?

Oui, curieux

Spoiler:

Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...

Falex m'inspire pas mal aux niveaux des backtests et ses remarques sont judicieuses.
On sent qu'il a pas mal d'heures de boulot derrière lui sur les backtests.
Comme je ne veux pas lui gâcher son plaisir , je ne te dirai pas pourquoi il t'a posé cette question (si tu suis un peu ce qu'il poste, tu sais déjà que c'est son petit plaisir de faire remarquer ce critère de % gagnant).

Allez, Falex, fais toi plaisir , donnes lui un exemple

ps : Greg31600, si tu veux notre avis sur un backtest, ne donne pas seulement les infos contenus dans le récap des % car les détails repris dans le rapport détaillé ont également leur importance (c'est là que tu trouves notamment le Profit factor et le nbr de trades perdants ou gagnant en long ou short). Sans ce détail, on ne sait pas vraiment te donner un avis complet sur ton backtest....enfin, c'est mon avis de débutant du backtest

Pour l'échantillonnage je dirais que "malheureusement" on fait avec ce que l'on a.

Chez ig c'est 2 mois pour les ut inf à 5min
1 an les ut entre 5min et inf à1 heure
Plusieurs années à partir de 1heure.

A titre perso je fais 99,9% de mes backtest en ut15. Donc je suis limite à une année glissante. Avec rogue nous avions fait le backtest sur son compte perso prt ou il y avait 2,5sns d'historique et là les résultats étaient totalement différent.

Donc je dirais qu'il est difficile de répondre à ta question sur la longueur d'historique. Dans les backtest si je limite le test par trimestre je n'obtiens pas forcément les mêmes résultats que du je backtest l'année entière.
Pour les ut courte la limite de deux mois est quand même sacrement handicapant car ks bourse c'est à mon humble avis au minimum un cycle d'un an.

tu peux
Vous avez vu je n'ai jamais cité le %-de-trade-gagnant comme critère de sélection, curieux ou pas ?

Oui, curieux

Spoiler:

Dans mes résultats, le % de trades de gagnants est pas énorme alors que la stratégie semble l'être...

Falex m'inspire pas mal aux niveaux des backtests et ses remarques sont judicieuses.
On sent qu'il a pas mal d'heures de boulot derrière lui sur les backtests.
Comme je ne veux pas lui gâcher son plaisir , je ne te dirai pas pourquoi il t'a posé cette question (si tu suis un peu ce qu'il poste, tu sais déjà que c'est son petit plaisir de faire remarquer ce critère de % gagnant).

Allez, Falex, fais toi plaisir , donnes lui un exemple

elaboration-d-une-methode-de-trading-do ... gie#p68975

Je me souviens effectivement de cette discussion

Voilà donc les résultats des backtests "Market Bull", Market Bear est encore en "développement".
Sachant évidemment, comme vous vous en doutez qu'il prend obligatoirement toutes les positions du programme, et que, au vu de l'état du marché en étant devant le pc, à priori, on les ouvriraient pas toutes...

Alors voilà les rapports détaillés :

N°1 Capital de 1000€ ; contrat Mini-Dax 5€ ; aucun horaire :

http://uprapide.com/image/682548-bt-n-1

N°1 Bis changement horaire 0700-2200 :

http://uprapide.com/image/682550-bt-n--1-bis_1

N°2 Changement de capital 10000€ ; Contrat Idem ; Pas d'horaire :

http://uprapide.com/image/682551-bt-n-2

N°2 Bis changement horaire 0600-2200 :

http://uprapide.com/image/682552-bt-n--2-bis


Vos avis ?

Hello,
La première chose saute aux yeux est que tu prends uniquement les positions longues dans tes backtests.
Je ne sais pas ce qu'en pense Falex mais personnellement, je considère rarement un backtest avec uniquement des positions dans un seul sens.
Pourquoi ?
tout simplement parce que 2013 a été une année fortement Bull et que ton backtest va obligatoirement te donner de bons résultats rien qu'en prenant des positions longues. Etant donné qu'on ne sait pas dans quel sens va aller 2014 , je trouve ça plutôt dangereux comme hypothèse de base.

Le profit factor de tes différents tests me semble très faible : je prends rarement en compte un backtest avec un profit factor <2.
Pour tous tes tests, tes gains moyens sont fort faibles par rapport à tes pertes moyennes.

Il faut également voir ces tests en vis à vis de ton capital car si tu regardes par exemple ton test n°2.
Si tu es dans la pire configuration au départ de tes prises de positions :
- perte moyenne des positions perdantes : 93eur
- nbr de pertes max consécutives : 13

Donc, dans le pire scénario , tu aurais 93*13=1209 eur en MV et dans ce cas, ton capital de départ est déjà explosé.

Est-ce que tu mets de SL et des TP ou pas du tout ?
Si oui, est-ce que tu permets plusieurs positions en parallèle ou non ? Car il faut faire attention que les backtests te recalculent tes SL et TP en fonction de tes positions multiples. Ce qui peut également fausser tes résultats réels si tu laisses un SL et TP fixe à chaque position en réel.

Est-ce que tu as bien tenu compte du spread dans tes backtests ?
car, quand tu ne mets pas d'horaire ou des horaires à cheval sur les horaires d'ouverture des marché, le spread sera différent et peut avoir une grande influence sur tes résultats finaux.


Voilà, ce n'était que mon avis.
Je ne suis pas une référence en matière de backtest ni en matière de trading donc tu en fais ce que tu veux

Je sais qu'en voyant un backtest qui te donne 836% de gains, c'est très alléchant et on a envie de le tenter mais fait juste bien attention au risque que tu prends en fonction de ton Moneymanagement.

Salut et merci,

Pour te répondre, l’algorithme pour les ventes je suis encore dessus...
Effectivement, comme expliqué avant, c'est un algorithme qui ouvre une position a chaque signal, donc parfois c'est peu judicieux, ça saute aux yeux devant l'écran, et puis parfois certaines positions sont ouvertes la nuit...je compte pas me lever
Oui,2013,2012,2010 et 2009 ont étés des années Bull, mais l'on peut tous tomber d'accord que sans crise majeure ou problèmes internationaux, le marché est rarement bear... en attendant que je finalise mon algo vente, si j'y arrive, mes positions en VAD seraient faites au feeling.
On est d'accord sur le MM.
Alors, le SL est à 20 points, pas de TP, enfin le TP intervient sur signal.
Pas de positions en parallèle. D'ailleurs je me demande si un pyramidage est programmable en backtest du genre si une position est gagnante depuis x barres, alors en ouvrir une autre...
J'ai bien pris en compte le spread, mais pas les frais over-night (faisable ça ?).

Merci encore

Tu as fait des backtest en 1 heure attention t'es backtest ne dont peut-être pas juste :
Chez ig sur le mini DAX en 1 heure tu as un historique de "fou"
Si tu zoom tu verras qu'il y a une cessure vers avril 2012 si j'ai bonne mémoire.
Avant les bougies ne correspondent d'un au cash ensuite tu as une votation 24/24 ...

Refait tes tests en utilisant le DAX plein.

Pour le reste je rejoins clodreb : essayes de viser des profit factor de 2.
Pour le full long ou full short la remarque de vlodreb est juste et je la partage. A toi de voir si ta stratégie est "perméable"/ insensible au fait d'avoir eu un marche quasi Bull pendant de long mois.
Sur ce dernier point je m'interroge également à propos de mes propres stratégie.

Pas de positions en parallèle. D'ailleurs je me demande si un pyramidage est programmable en backtest du genre si une position est gagnante depuis x barres, alors en ouvrir une autre...
J'ai bien pris en compte le spread, mais pas les frais over-night (faisable ça ?).

Merci encore

Quand je dis "positions en parallèle", je ne parle pas forcément de pyramidage.
Tu peux très bien bien avoir une prise position sur base d'un indicateur qui te donnerait 2 positions d'achat à la suite. Dans ce cas, il faut juste faire attention que PRT va repositionner tes SL etTP pour la position n°1 (déjà ouverte) de manière à avoir un SL et TP global sur les 2 positions qui suit les valeurs encodées pour la position n°2 (je ne sais pas si je suis très clair, là )

En ce qui concerne les frais overnight, désolé mais je ne sais pas comment tu peux les prendre en compte dans les backtests (pour l'instant, je fais surtout des backtests qui clôturent en fin de journée...j'ai toujours un peu peur de se qui peut se passer pendant la nuit ....faut que j'arrête de lire des histoires de loups garoux pour endormir ma fille )

Dans tes commentaires, tu dis que le but n'est pas de prendre toutes les positions en réelles.
Pour que tu puisses utiliser les résultats d'un backtest, je pense qu'il faut essayer que celui-ci "colle" le plus possible à tes futures prises de positions. Sinon, les statistiques de réussite sur lesquelles tu te bases seront faussées.
Dans un backtest, tu peux te dire de positions perdantes :"oui, ok. celle là je ne l'aurai pas prise en réelle" mais inversement, certaines positions gagnantes "évidentes" dans le backtest n'auraient pas forcément été évidentes en "live" et tu ne les aurais peut-être pas prises non plus.

Est-ce que tu ne sais pas affiner un peu tes conditions de backtest pour qu'il te donne moins de positions à ouvrir mais qu'elles s'approchent plus de ce que tu veux faire en réel ?
Si tu dis que tu ne comptes pas ouvrir de position pendant la nuit, pourquoi veux-tu faire des backtest sans faire de restriction sur les horaires ? y a-t-il une raison à cela ?

a+

Je vais essayer de répondre :

Dans un 1er temps @Falex : j'ai refait les tests avec contrat plein Dax, le résultat est identique.
Dans un second @Clodreb, il n'y a qu'une seule position ouverte dans le même temps. Une position est ouverte, elle devra être fermée avant d'en ouvrir une autre.

L'algo que j'ai essayé de monter pour faire simple, tente de détecter une tendance en faisant abstraction du "bruit". Donc, lorsque je le bidouille pour backtester les VAD, évidemment, dans un marché qui a été relativement "Bull", les VAD font augmenter les pertes, pour faire bien, je pense qu'il faut que je backtest une VAD seule avec des stratégies différentes, et que je retouche ou complète l'algo...
Concernant les horaires, en fait je m’aperçois que si une position ouverte doit le rester pendant la nuit, c'est parce que a 80% du temps, la position est gagnante depuis plusieurs heures et dans ces cas là le reste le lendemain.

Cela veut dire aussi, qu'il y a possibilité de remonter le stop en place avant de dormir...
Cela veut dire aussi, qu'il y a possibilité de se prendre un gap baissier, mais le stop en place, même avec un splitage négatif, la position étant ouverte depuis plusieurs heures ne devraient pas terminer en Mv...

Pour en revenir, à cette histoire de backtest @chat, en effet, que faire si le marché n'est pas "Bull" ?
En fait, j'y réfléchis, mais lorsque je regarde en arrière les années "bear" l'ont toujours étaient du à une crise majeure (Bulle internet, subprimes, Grèce) et dans ces cas là (je ne l'ai pas vécu en tant que trader hein) je pense que l'on se pose pas trop de question quand à savoir dans quel camp il faut se mettre...
Apres, l'on peut discuter un peu fondamental sur ce qui pourrait se passer l'année prochaine, mais en étant honnête, a part une crise majeure, je ne vois pas trop pourquoi le... bref.

Alors est-ce que ma stratégie est insensible au fait d'avoir eu un marché quasi-Bull pendant de long mois, clairement non, celle-ci la "Market Bull" à besoin que le marché soit Bull.
Le sera t-il ? no lo sé, une petite idée tout de même...
Je vais continuer à travailler la partie "Market-bear", mais encore une fois, je pense que l'algo tel qu'il est convient lors de belle tendance marquée et dans un marché Bull, le coté VAD ne donne pas de bons résultats.
Il me faudrait pouvoir le tester sur une année ou mois dans un marché quasi-bear...
Et on en revient à tout à l'heure, quand est-ce arrivé la dernière fois...

Enfin, oui je vais essayer d'affiner un peu plus les conditions
En même temps, pour le moment, on réfléchit (ça va), on programme (beaucoup plus dur), on backtest (easy now sur prt )

Au plaisir de vous lire

Ok, pas de soucis pour moi si tu prends uniquement l'hypothèse d'un market Bull. Chacun choisit ses hypothèses et les situations qu'il préfère. Tout peut fonctionner en fonction de ta manière de trader.

Si on résume :
- une seule position ouverte à la fois
- SL à 20
- pas de TP et clôture de la position sur base d'un signal donné par ton backtest
- position laissée en overnight
- tu ne passes pas tes nuits devant le pc pour ouvrir ou fermer une position

Perso, pour "coller" à ces hypothèses, je mettrai quand même une condition horaire pour l'ouverture ou clôture de position uniquement en journée (sans pour autant forcer la clôture en fin de journée). comme cela :
- tu laisses la position en overnight si tu veux
- le spread est fixe car tu prends en compte uniquement des positions en journée
- tu ne "pollues" pas ton backtest avec des positions nocturnes que de toutes façons tu ne veux pas prendre en réel.

Essayes peut-être avec ces conditions et vois ensuite s'il y a encore des positions "parasites" que tu ne prendrais pas et essayes de trouver un moyen pour les limiter le plus possible.
Ainsi tu auras un backtest vraiment proche de ce que tu vas vraiment faire et des stat plus "parlante" pour toi.

Très bonne idée Cloreb, je vais tester ça. Et on en reparle
Pour le résumé, c'est tout à fait cela !

Maintenant, je pense qu'il peut fonctionner dans un "Market bear", mais je n'ai actuellement pas les moyens de le vérifier...

Salut Greg je ne sais pas comment tu as construit ton algo mais penses que dans un marché bear la volatilité augmente enormement due au stress et à la panique des operateurs qui doivent se couvrir rapidement. Il faut que tu en tiennes compte pour tes stop loss et prises de position, là où tu peux parfois mettre un stoploss à 5pts en marché Bull tu le mettras à 50 pts ailleurs.
Je dis ça car comme dit l'adage "les cours montent par l"escalier et descendent par l'ascenseur", au delà de l'adage cela veut dire qu'ils parcourent une distance beaucoup plus importante en moins de temps du coup meme si visuellement on a l'impression que c'est repassé Bull en fait on est toujours bear et inversement.