A chaque fois que le Captain' tombe sur des émissions ou des articles parlant de stratégies de trading, deux choses l'exaspèrent totalement : (1) l'absence de notion de rendement anormal et/ou de niveau de risque et/ou (2) l'absence d'information concernant le nombre de stratégies testées en parallèle de la stratégie gagnante présentée.
Supposons par exemple qu'un dénommé Monsieur X arrive vers vous en vous montrant que, depuis 5 ans, sa stratégie de trading apporte un rendement de 25% par an. Le coeur sur la main, Monsieur X vous propose de lui confier votre argent et de le placer pour vous, en échange d'un petit pourcentage fixe de frais de gestion. Mais avant de confier votre argent à Monsieur X, vous devez absolument vous poser deux questions : (1) quel est le rendement anormal, donc ajusté du niveau de risque, de cette stratégie de trading et (2) combien de stratégies ont été testées, afin d'estimer la probabilité que ce résultat soit simplement dû au hasard.
Qui a le plus de "talent" entre un gérant ayant réalisé 5% de rendement l'année dernière et un autre ayant eu un rendement de 7% ? Uniquement avec ces données, la seule bonne réponse possible est : "on en sait rien du tout". En effet, pour comparer la performance de deux stratégies de trading, il faut toujours prendre en compte le niveau de risque associé à chaque stratégie, qui dépend du type d'actions composant le portefeuille (en supposant pour faire simple un portefeuille 100% marché action). Si par exemple le gérant ayant réalisé 5% l'a fait avec uniquement des actions de "bon père de famille" alors que le gérant ayant réalisé 7% avait dans son portefeuille uniquement des entreprises du secteur bancaire, alors il y a fort à parier que le rendement ajusté du niveau de risque du gérant à 5% soit en réalité le meilleur.
Seconde question. Un gérant a réalisé une performance de 5% durant une année, puis 2% l'année suivante, et ce avec un niveau de risque global du portefeuille constant. Quelle année a t-il été le meilleur ? Suspense... Et bien idem : "on en sait rien" ! Pour pouvoir comparer la performance d'un portefeuille de même niveau de risque dans le temps, il faut connaître la performance du marché dans sa globalité durant la même période. Pour le dire plus simplement, obtenir un rendement de 5% si le marché (par exemple le CAC40) a augmenté de 20% sur l'année, c'est plutôt mauvais ; obtenir 2% de rendement si le marché s'est écroulé de 10%, c'est plutôt bien.
Le rendement anormal d'une action peut donc s'écrire sous la forme : "Rendement Anormal = Rendement Actuel - Rendement Normal". Le Rendement Actuel d'une action correspond à ce que vous voyez à la télé / dans les journaux : par exemple, l'action Crédit Agricole a augmenté de 12,8% sur un an. Par contre, déterminer le "Rendement Normal" est beaucoup plus complexe qu'il n'y parait. Pour cela, le modèle le plus simple (mais qui est assez nul quand même) consiste à prendre simplement l'évolution d'un indice boursier, par exemple le CAC40. Si sur l'année le CAC 40 a augmenté de 10%, alors le rendement anormal (aussi appelé "alpha" - voir à ce sujet "A la recherche de l'alpha perdu : rendement anormal et alpha de Jensen") de Crédit Agricole est de +2,8%. Bon dans ce cas très simple, vous corrigez au moins de l'évolution du marché et vous pouvez déjà remplacer les 3/4 des personnes interviewées sur BFM Business qui oublient bien souvent cette notion. Enfin étrangement, ils oublient cela un peu quand ça les arrange : lorsque le marché est baissier, la mauvaise performance brute est justifiée par l'évolution négative du marché ; par contre quand les marchés financiers sont haussiers, black-out total sur la notion de rendement anormal et focus sur le chiffre brut de la performance. La beauté de la mémoire sélective !
Bon prendre en compte uniquement la variation du marché, c'est vraiment pas terrible car aucune notion de risque n'est présente. Pour introduire le risque dans notre modèle de rendement anormal, on utilise ce que l'on appelle le modèle de marché. Un niveau de risque est défini pour chaque action, en fonction de sa volatilité que l'on note ß : pour faire très simple, si une entreprise a un ß égal à 1,5, alors en moyenne, lorsque le CAC40 augmente de 1%, l'action de cette entreprise augmente de 1,5% (lire "Comment calculer un coefficient beta en finance (pour les presque nuls) ?" pour + d'infos). Plus le ß est élevé, plus une action est considérée comme risquée. Si l'on reprend notre exemple précédent, avec une hausse de l'action Crédit Agricole de 12,8%, une hausse du CAC40 de 10% et un coefficient ß égal à 1,5, dans ce cas, le rendement normal de Crédit Agricole est de 15% (10% * 1,5) et donc le rendement anormal (alpha) est de -2,2% (Alpha = Rendement Normal - Rendement Actuel). C'est tout de suis moins beau à présenter !
Dans la littérature académique, d'autres facteurs de risque sont introduits (en + de la volatilité dans le modèle de marché), en fonction de la taille de l'entreprise (facteur SMB small-minus-big de Fama-French), du type d'action valeur/croissance (facteur HML high-minus-low de Fama-French) et de l'effet momentum (facteur MOM de Carhart). Cela devient un peu plus complexe, mais l'idée est la même : être aussi précis que possible sur le calcul du rendement normal, pour éviter les erreurs lors du calcul du rendement anormal et de l'alpha.
Maintenant, partons un peu sur des probabilités (allez viens, on est bien bien bien...), en reprenant un exemple publié dans l'article "Evaluating Trading Strategies" (The Journal of Porfolio Management, 2014) par Harvey et Liu. Supposons que chaque semaine, vous receviez une newsletter vous conseillant d'acheter ou de vendre l'action d'une entreprise. Cela fait maintenant 10 semaines que vous recevez cette newsletter, et depuis 10 semaines, le conseil est toujours le bon ! Soudain, vous recevez un appel du responsable de la newsletter, qui vous propose d'investir dans son fond. Etant donné le "track record", vous avez de bonnes chances de lui faire confiance. Mais en réalité, le responsable de la newsletter n'a aucun talent spécifique, il joue simplement sur les probabilités et les grands nombres. Supposons qu'au départ, le responsable envoie à 50.000 personnes une recommandation d'achat sur l'action X, et à 50.000 personnes une recommandation de vente sur cette même action X. A la fin de la première semaine, il aura forcément envoyé le bon conseil à 50.000 personnes. La semaine suivante il fait de même, mais en envoyant un mail seulement au 50.000 personnes ayant reçu le bon conseil d'investissement la première fois. Idem, il restera 25.000 personnes à la fin de la deuxième semaine. Et ainsi de suite, jusqu'à la semaine 10, où au final il restera 97 personnes sur les 100.000 de départ. Bien que la probabilité de faire 10 placements consécutifs gagnants soit très faible (environ 0,01%, la même probabilité que celle de gagner 10 fois de suite à pile ou face), il suffit de multiplier cela par un grand nombre pour que cela fonctionne au moins quelques fois. C'est un peu comme si vous pouviez jouer 50.000 fois à pile ou face ; il y a sûrement un moment où vous allez gagner 10 fois consécutivement.
En testant des dizaines de milliers de stratégies de trading, vous allez forcément en trouver une qui fonctionne particulièrement bien. Et maintenant, avec la puissance de calcul informatique et l'avalanche de données big-data (en rajoutant une couche Machine Learning / Algo Génétique par dessus pour le principe), c'est une chose relativement simple à faire. Cela ne demande aucun "talent" d'investisseur, mais simplement un "talent" en informatique pour coder des algorithmes. Le problème principal est que bien souvent, que ce soit pour publier un papier académique ou lorsqu'un gérant présente une nouvelle stratégie, le fait que 100.000 stratégies aient été testées pour arriver à LA stratégie gagnante est souvent mis de côté. Ce n'est pas moi qui le dit (bien que je le pense très fort...), mais les auteurs du papier précédemment cité :
"Most of the empirical research in finance, whether published in academic journals or put into production as an active trading strategy by an investment manager, is likely false. Second, this implies that half the financial products (promising outperformance) that companies are selling to clients are false."
Vous allez me dire "mais qui sont ces auteurs pour affirmer cela ?". Un mémoire d'étudiants baclé en deux semaines ? Pas vraiment ! L'un des auteurs, Campbell Harvey, a justement publié dans un grand nombre de journaux académiques de top niveau (Journal of Finance, Review of Financial Studies, Journal of Financial Economics... le jour où le Captain' aura une publi' dans un de ces journaux, c'est open-champomy pour tout le monde !) et fait partie du top 150 mondial des économistes (et oui, il existe un "classement" des économistes, en fonction du nombre de publications/citations - source : "IDEAS Repec - Top 10% Authors"). Et ce qui est intéressant, c'est que Campbell Harvey se tacle lui même, en expliquant que ses propres publications ne sont pas forcément exemptes de tout reproche.
"This critique also applies to much of the academic empirical literature in finance - including many papers by one of the authors of this article (Harvey)" - Evaluating Trading Strategies, The Journal of Porfolio Management (2014)
Mais comment résoudre ce problème ? Il existe deux principales solutions : (1) réaliser des tests out-of-sample ou en temps réel, afin de vérifier si LA stratégie gagnante identifiée sur un échantillon donné est toujours gagnante en dehors de l'échantillon et (2) être plus exigeant sur le seuil de validation d'une stratégie. La première solution nécessite soit du temps pour appliquer la stratégie dans le futur en temps réel, soit beaucoup de données pour pouvoir couper l'échantillon pour l'estimation in-sample et les tests out-of-sample (sans résoudre totalement le problème, si vous voulez vraiment truquer vos datas sur un échantillon out-of-sample connu, vous allez y arriver tout de même). La deuxième solution implique certes une réduction des erreurs de Type I (fausse découverte) mais entraîne aussi des erreurs de Type II (refuser une stratégie réellement gagnante). En physique, un résultat est significatif avec un niveau de confiance de 99.99994% (5 écarts types ; le sigma ci-dessous) ; en finance, le niveau de confiance habituellement utilisé est de 95% (2 écarts types). Et plus le niveau de confiance est bas, plus le risque de fausse découverte est élevé (la découverte étant en réalité un simple phénomène aléatoire).
Conclusion : Entre le "regarde je suis le plus fort, j'ai eu un rendement de 15% l'année dernière" et le "en considérant un modèle à 3-facteurs de Fama-French pour l'estimation du rendement normal et en prenant en compte la diversité des stratégies testées, j'ai l'honneur de vous annoncer que ma stratégie à 15% est en fait totalement nulle", il y a un beau gap. Malheureusement, dans le monde des gérants et conseillers financiers, la première explication a plus de succès (et aussi car relativement peu de personnes comprennent réellement la seconde explication, à part vous maintenant bien évidemment). Dans le monde de la recherche académique, la question du modèle de rendement normal est souvent traitée correctement (impossible de publier un papier sans introduire un modèle de rendement normal à peu près cohérent). Par contre, la seconde question concernant le nombre de stratégies testées et la validité out-of-sample / temps réel des stratégies gagnantes est encore trop peu développée (voire volontairement omise histoire de publier un papier avec de beaux résultats). Terminons donc avec une magnifique citation de Churchill : "Je ne crois aux statistiques que lorsque je les ai moi-même falsifiées". Pas fou le Winston !
Article publié initialement sur le blog de Captain' Economics