N°8 La force des recommandations vaccinales : un critère sans véritable signification ?

Dans mes premières contributions au rapport Gradation* j'avais présenté des exemples indiscutables qui révèlent l'existence de très gros problèmes concernant les études cas-témoins, tout particulièrement quand elles sont appliquées aux vaccinations en raison du calendrier vaccinal qui organise celles-ci en classes d'âge se succédant au pas cadencé comme un défilé militaire (voir les contributions n°1 et n°2)*. Comme je l'ai montré, cela peut tuer l'aléatoire nécessaire pour maintenir une indépendance suffisante entre l'exposition des cas et de leurs témoins associés et neutraliser des signaux forts.

*Les précédentes contributions :

  N°1 : http://questionvaccins.canalblog.com/archives/2016/03/18/33532611.html

  N°2 et 3 : http://questionvaccins.canalblog.com/archives/2016/03/28/33580870.html

 N°4 : http://questionvaccins.canalblog.com/archives/2016/03/28/33582629.html

 N°5 :  N°5 La force des recommandations vaccinales : un critère sans véritable signification ? 

 N° 6 et 7  http://questionvaccins.canalblog.com/archives/2016/03/28/33582686.html

Contribution N° 8 (9 avril 2016).

Lire d'abord la contribution n°1 pour comprendre de quoi il s'agit ...

J'ai pu faire récemment une expérience très révélatrice du climat qui peut régner dans le monde de l'épidémiologie. Épidémiologiste à l'institut .......... * cette personne avait  publié un article dans un média très connu sur la pharmacovigilance. J'en ai profité pour lui faire parvenir le texte que j'avais envoyé à l'ANSM sur la problématique que l'on peut rencontrer quand on teste en cas-témoins sur des délais (mon premier envoi pour vous) (donc le n°1 ici).

* Comme il s'agit d'un échange privé j'ai occulté sur ce blog ce qui pourrait faire reconnaitre cette personne.

Cette personne m'a aussitôt répondu ceci :

« Merci, mais je pense que vous ne comprenez pas du tout le principe des enquêtes cas-témoins et de leur analyse. Le livre de référence est celui de Breslow et Day, qui est en anglais. Je vous conseille de l'étudier attentivement.

On part de la fin, c'est à dire du diagnostic chez les cas et d'une date dite date index chez les témoins, et on étudie les antécédents des cas et des témoins.

On peut aussi voir une enquête cas-témoins comme un raccourci d'enquête de cohorte. On prend toute une population qu'on suit, et on enregistre très peu de cas d'une maladie. On peut comparer les expositions de ces quelques cas et de tout le reste de la population, mais c'est tout aussi efficace de comparer les expositions des quelques cas à celles d'un échantillon du reste de la population, c'est une enquête cas-témoin nichée dans une cohorte.

On peut faire un test de permutation exact, l'aléatoire c'est le fait qu'un cas ait été exposé et pas un témoin.  Votre première phrase :

''Le test statistique pratiqué pour les études cas-témoins s'appuie implicitement sur des lois de probabilités qui, pour fonctionner à peu près correctement, demandent un minimum d'indépendance entre l'exposition des cas et des témoins.''

est fausse, je n'ai donc pas lu la suite. »

Après une réponse aussi définitive, j'ai alors tenté de donner des explications complémentaires qui l'ont conduite à lire quelques lignes de plus ... Pour me répondre  :

« Votre exemple "théorique" démontre votre incompréhension du sujet. On ne prendrait pas des témoins exposés pour étudier les risques lies à l'exposition. »

Là il y a de quoi être très surpris. Elle confond visiblement une étude cas-témoins avec une étude exposés/non exposés alors que cette personne fut membre du Conseil scientifique de l'Agence du médicament !!! Voilà qui ne rassure pas.

Je lui en fait la remarque et je lui envoie la publication intégrale ''Tardieu 2007'' [1] en l'invitant à regarder le tableau 2 où elle pourra constater que s'il y a 80 vaccinés hépatite B parmi les 143 cas retenus, il y a aussi 609 témoins vaccinés hépatite B parmi les 1122 et que le premier test porte sur l'exposition à cette vaccination. Pour ce test il y a donc 609 témoins exposés.

Pour les autres tests du même tableau, le facteur d'exposition devient un délai comme ''la maladie apparaît dans les 4 années qui suivent la vaccination hépatite B'' et que pour ce délai il y a 476 témoins exposés.

D'une manière générale, le test cas-témoins consiste à rechercher s'il existe significativement plus d'exposés chez les cas que chez les témoins. Pour fonctionner il est indispensable qu'il y ait des cas et des témoins exposés ainsi que des cas et des témoins non exposés comme vous le savez sans doute très bien. Mais là je vais de surprises en surprises et n'imaginais pas que ça pouvait être à ce point !

Je vais alors recevoir la réponse suivante :

« ma formation de base est en mathématiques, et il y a pas mal d'épidémiologistes qui sont de bons mathématiciens et/ou de bons statisticiens. Donc je répète que vous êtes dans l'erreur et voyez des erreurs là où il n'y en a pas.

Je considère cette discussion comme close. Il y a plus utile à faire »

Quand on lit ça on se pince pour savoir si on rêve ! Pour moi-même et pour me rassurer, je reprends alors toute ma démonstration pour vérifier une fois de plus qu'il n'y a aucune erreur. Elle repose sur 2 faits indiscutables :

1- Sur le délai de 4 ans les auteurs ne trouvent aucun signal après avoir testé avec un ajustement par régression logistique conditionnelle : OR=1,05 et IC [0,66 ; 1,68]

2- Sur la même ligne on lit qu'il y a 62 cas vaccinés apparus dans ce délai contre 18 sur le délai complémentaire. On trouve un peu plus loin qu'il y en a eu 6 au delà de 6 ans, soit 12 pour les années 5+6 (9 et 3). 62 cas sur 4 années (28 et 34 pour les durées 1+2 et 3+4) contre 12 sur 2 ans ça fait un signal très fort pratiquement évident. On peut faire des calculs en modélisant par une loi de Poisson si vous y tenez. Je tiens les calculs (simples) à votre disposition.

Question : se pose alors la question suivante : pourquoi un signal aussi facile à mettre en évidence disparaît-il en cas-témoins ?

Réponse : on peut la voir à 2 niveaux :

1- Au niveau numérique, il y a 476 témoins vaccinés HB sur les 4 premières années et 102 sur les 2 années suivantes, ce qui fait aussi un signal sur les témoins alors qu'il n'en faudrait pas pour tester correctement en cas-témoins. Comme les 2 signaux sur les cas et sur les témoins sont en phase ils se neutralisent quand on teste en comparant les cas aux témoins. C'est aussi simple que cela et on le confirme en linéarisant la répartition des 578 témoins vaccinés sur les 2 délais de 4 et 2 ans, soit 385 et 193. On trouve alors un test significatif qui permet de confirmer la raison du problème.

2- Au niveau pratique, les témoins étant du même âge que les cas à quelques mois près, ils auront été vaccinés à peu près en même temps, à quelques mois près. Sur un délai de 4 ans ces témoins ne pourront pas se répartir aléatoirement dans ce délai et au delà, sauf si le cas apparaît à peu près au terme des 4 premières années. Mais il s'agit d'un petit problème de frontière qui sera sans incidence sur le résultat final, comme on le constate.

On pourrait aussi faire apparaître en cas-témoins des signaux qui n'existent pas : je prends 25 cas pour les années 1+2 ainsi que pour les années 3+4 et 5+6 soit 50 cas sur les 4 premières années. Je conserve 476 témoins sur 4 ans et 102 sur les 2 années qui suivent. En testant sur le délai 5+6 on aura un test significatif d'un excédent de cas sur les années 5+6 alors que ce n'est pas du tout le cas. Ce résultat faux est logique puisque le nombre de témoins exposés (donc sur les années 5 et 6) est beaucoup plus faible que les témoins non exposés eu égard aux durées considérées. Les calculs sont faciles et réalisés bien sûr sans ajustements (il faudrait disposer du détail des données mais ça ne joue pas de façon essentielle comme déjà expliqué).

Les conditions mathématiques d'un test cas-témoins

La référence donnée par mon interlocuteur ou ce qu'il en dit confirmerait sans doute une fois de plus que seule la phase 1, la collecte des données, a été prise en compte. Aussi importante que cette phase puisse être, tout particulièrement quand il s'agit de données médicales, cela ne justifie pas d'ignorer les problématiques tout aussi importantes de la phase 2 pour confier sa réalisation à un logiciel. Du point de vue fondamental, le test cas-témoins n'est rien d'autres qu'un test de comparaison de 2 lois binomiales, ce qui implique 5 conditions :

1- L'échantillon de cas est issu d'un tirage binomial, ce qui suppose

• que chaque cas a une même probabilité p d'avoir été exposé ;

• que chaque cas a été exposé indépendamment des autres cas.

2- L'échantillon de témoins est issu d'un tirage binomial, ce qui suppose

• que chaque témoin a une probabilité p' d'avoir été exposé ;

• que chaque témoin a été exposé indépendamment des autres témoins.

3- Les témoins ont été exposés indépendamment des cas.

Il faudrait aussi ajouter une sixième condition : les échantillons doivent être de tailles suffisantes pour que l'approximation normale des lois binomiales soit acceptable. On peut alors tester valablement si on peut accepter l'hypothèse p=p'. Dès que l'une de ces conditions ne sera pas suffisamment satisfaite, le test pourra donner un résultat opposé à l'information contenu dans l'échantillon. Je pense l'avoir montré de façon indiscutable et claire.

Pour la condition n°6 on peut penser que le dernier test du tableau 3 ''Tardieu 2007'' est limite car il n'y a que 2 cas et 20 témoins exposés. Les conséquences n'en sont pas très importantes ici car il s'agit des ''autres vaccins avec délai > 3 ans'' mais c'est pour illustrer le principe auquel il faudrait aussi faire attention.

Après avoir retenu les échantillons de cas et de témoins il faudrait donc passer en revue ces 6 conditions pour tenter d'apprécier si on peut les considérer comme étant à peu près satisfaites. Il faudrait aussi utiliser d'autres moyens d'investigation comme tester directement sur les cas et comparer les résultats ou tester avec et sans ajustement pour là aussi comparer les résultats. Ces comparaisons ne peuvent être valablement effectuées qu'en calculant la probabilité associée au test. Les intervalles de confiance ne sont pas utilisables pour cela. On pourrait ne plus les utiliser en cas-témoins comme je l'ai expliqué. Des écarts trop importants entre ces différents tests doivent interpeller et conduire à en chercher les causes et à tenter de réduire les écarts en réalisant des partitions judicieuses qui conduiraient à une analyse plus rigoureuse et plus juste des données et donc à des résultats beaucoup plus intéressants et fiables.

Réaliser un ajustement par régression logistique ne dispense pas de s’interroger sur les 6 conditions que je viens de rappeler. Il s’agit d’un ajustement binomial qui, en tenant compte de la totalité des données, vise à réaliser une meilleure estimation des paramètres binomiaux qu’en prenant seulement  les moyennes et les variances observées. Si les données ne sont pas du tout binomiales, le meilleure ajustement possible n’aura pas le pouvoir de les transformer en données proches de tirages binomiaux.

Conclusion : je l'ai déjà dit dans mes textes précédents, le calendrier vaccinal ou une campagne spécifique de vaccinations peuvent rendre le test cas-témoins impraticable quand le facteur d'exposition est un délai. On peut aisément en être alerté en observant la répartition des témoins exposés selon les délais considérés.

En particulier, les tests (une vingtaine) portant sur des délais dans le tableau 2 de la publication Tardieu 2007 n'ont aucune valeur en raison de ce seul critère très facile à vérifier. Idem pour Langer Gould

Je comprends très bien qu'une telle constatation ne fasse pas plaisir mais elle est techniquement indiscutable. Les propos de mon interlocuteur n'y changeront rien. « Pourtant elle tourne » disait un autre il y a quelques siècles quand les flammes du bûcher commencèrent à crépiter. L'épidémiologie est-elle une science ou une Église ? Si oui, voudra-t-elle rester en l'état ? On va peut-être le savoir à partir des réactions (ou absence de …) à ce seul problème, sans parler des autres …

Additif non envoyé (je n'y avais pas pensé !)

On pourrait aussi présenter le problème ainsi :

L'absence de signal signifie seulement que les cas se comportent comme les témoins et non pas qu'il n'y aurait rien. Il faut alors se demander comment se comportent les témoins. Avec 476 témoins vaccinés sur les 4 premières années contre 102 les 2 années suivantes il y a un signal fort sur les témoins. Il doit donc y avoir le même signal sur les cas, ce qui est vrai.

Peut-être que cette présentation serait mieux acceptée par les épidémiologistes ? Il faut faire preuve de pédagogie. Pas facile cependant avec certains interlocuteurs qui ne veulent même pas lire ... alors leur demander de comprendre ... C'est ce que je disais parfois à mes étudiants : si on vous remplaçait par des singes, que vaudrait ma pédagogie ? Ils mangeraient des bananes et balanceraient les pluches à la tête des profs au lieu de chercher à comprendre !

Fin de l'additif

L’innumérisme dans les élites socio-économiques

Le mercredi 3 février 2016 l'Académie de Médecine organisait un colloque prestigieux avec une intervention de Madame la Ministre puis de François Bricaire, Daniel Lévy Bruhl etc. Il y eut aussi celle de Jocejyn Raude (EHESP) sur l'hésitation vaccinale [2] :

« … en dépit d’une amélioration considérable de l’accès à la connaissance, le niveau de culture scientifique n’augmente guère dans nos sociétés... On observe en particulier … le maintien d’un taux très élevé d’innumérisme, y compris dans les élites socio-économiques ».

L'innumérisme étant illettrisme pour les nombres c'est sans doute très juste comme le démontrent amplement mes observations sur le rapport Gradation. Pour reprendre le propos de Jocelyn Raude, même les élites socio-économiques seraient fâchées avec les nombres. Étant moi-même mathématicien je pensais ne pas être trop mal placé pour le constater. Cette fâcherie pourrait même se manifester à un niveau comme celui de mon interlocuteur à moins que, à l'en croire, ce soit moi qui serait atteint d'innumérisme. Comme Monsieur Jourdain, je dissertais ainsi sur l'innumérisme sans le savoir et sans m'en savoir atteint ! Mais je suis en bonne compagnie, mêmes les élites de notre société, même avec une culture qualifiée de ''scientifique'' les propulsant comme experts sont fâchées, non seulement avec les nombres et les calculs mais surtout avec les conditions de validité de ces calculs, ignorant même qu'elles pourraient exister ou qu'elles pourraient avoir une quelconque importance pratique ou pensant qu'elles seraient seulement là pour passer les examens.

Un exemple avec la règle de trois : 3 choux coûtent tant, combien coûtent 10 choux ? Il est essentiel que tous les choux soient au même prix sinon on peut obtenir n'importe quoi. Aussi incroyable que cela puisse paraître, beaucoup d'utilisateurs de la fameuse règle de trois ne se préoccupent jamais de cette condition aussi simple qu'essentielle. Y compris les épidémiologistes quand ils ont voulu estimer le nombre de cas de tuberculose évitées chez les enfants entre 1997 et 2002.

On peut raconter le calcul avec un lot de carottes : 80% ont été traitées avec un produit chimique ayant une efficacité supposée de 50% pour éviter la pourriture des carottes, soit 40% de protégées. On a trouvé N carottes pourries qui se trouvaient forcément parmi les 60% de non protégées. Une règle de trois donne aussitôt 2N/3 carottes pourries pour 40% qui est le nombre de carottes que le produit a protégé de la pourriture.

Facile, sauf que 80% des carottes avaient été stockées au sec dans un grenier et que les autres étaient à la cave en milieu humide. Que vaut la règle de trois dans ces conditions ? Rien du tout ! Or c'était exactement la situation de la tuberculose dans notre pays entre 1997 et 2002 avec une très grosse majorité d'enfants fortement vaccinés par le BCG avec un risque très faible d'exposition et une minorité d'enfants avec un risque élevé.

Un tel calcul avait été présenté pages 212 … dans une Expertise collective (10 experts) réalisée par l'Inserm et intitulée "Place de la vaccination dans la maîtrise de la tuberculose" - Novembre 2004

Il aurait fallu dissocier au moins entre la population faiblement exposée et celle fortement exposée pour lesquelles l'efficacité du BCG a toutes chances d'être très différente comme les nombreuses expérimentations animales l'avaient démontré autrefois.

De plus, le calcul exige l'indépendance entre la vaccination et l'exposition. Or cette condition n'était pas du tout réalisée puisque si l'enfant avait été contaminé avant d'avoir été vacciné, le test tuberculinique préalable devenant positif, la vaccination n'était pas pratiquée.

A l'école primaire dans les années 50 on ne faisait pas de mathématiques mais seulement des calculs. Les mathématiques débutaient en sixième. Aujourd'hui à six ans les enfants font des maths ! Quelle est la différence entre faire des calculs et faire des mathématiques ? Celles-ci commencent seulement quand on accorde de l'importance aux conditions de validité des calculs, pas avant ! Combien d'épidémiologistes font réellement des maths dans la pratique de leur activité ? Sur un problème purement technique mon interlocuteur révèle une attitude d'autorité cassante qui n'est pas vraiment la dominante de la Maison Maths.

Cette estimation du nombre de cas de tuberculose évités par le BCG a joué un rôle très important pour définir la nouvelle politique vaccinale par le BCG en 2007. Cette estimation avait été publiée partout, y compris sur des sites dont la santé n'était pas du tout la préoccupation. Le ministre en fera état au cours d'une réponse à une question écrite d'un sénateur.

Même sans lui avoir attribué une note, la force de la recommandation vaccinale du BCG en 2007 s'était fortement appuyée sur cette estimation afin de pouvoir soutenir une recommandation ''scientifiquement'' fondée alors que le calcul n'avait aucune valeur ...

Suite des contributions :

N° 9 http://questionvaccins.canalblog.com/archives/2016/04/13/33660052.html

N°10 http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html

[1] Publication Mikaeloff-Tardieu http://archpedi.jamanetwork.com/article.aspx?articleid=571612

 [2] Jocelyn Raude l'hésitation vaccinale http://pressentinelle2.blogspot.fr/2016/02/lhesitation-vaccinale-une-perspective.html?spref=bl