N°2 La force des recommandations vaccinales : un critère sans véritable signification ?

Contributions n°2 et 3 au rapport Gradation des études épidémiologiques sur les vaccinations

Cet article est la suite d'un premier article  [1] d'une série à suivre avec le même titre pour chacun.

« A la suite de mon précédent courrier du 18 février, j'ai poursuivi ma réflexion sur la gradation des études épidémiologiques en relation avec l'importance aussi capitale que négligée des conditions de validité mathématique des tests utilisés au cours de la phase 2. J'ai à ce sujet une suggestion à vous faire.

Une étude peut fort bien être pleinement satisfaisante du point de vue de la collecte des données (la phase 1) et être catastrophique sur la phase 2. Aussi il ne peut y avoir qu'une seule solution pour gérer de telles distorsions au sein d'une même publication : mettre une note à chacune des deux phases. Ces 2 notes seront totalement indépendantes comme le sont d'ailleurs les 2 phases en question qui demandent des approches très différentes tant d'un point de vue technique que par l'état d'esprit nécessaire. C'est sans doute pourquoi les problématiques de la phase 2 ont été totalement oubliées par l’épidémiologie.

Ainsi des publications comme celles de Tardieu [3] pourraient fort bien mériter la note 4 pour la qualité de la collecte des donnée mais mériteraient à coup sûr la note la plus basse pour la phase 2. Ainsi, le lecteur saurait qu'il peut avoir confiance dans les données publiées mais qu'il devra reprendre complètement l'analyse de celles-ci.

A titre d'exemple, voici ce qu'il est possible de faire sur les données des publications Tardieu 2007 et 2008 :

Premier signal : 154 ADC (atteintes démyélinisantes centrales) chez les vaccinés dont 80 (52%) sont devenues des SEP contre 195 ADC chez les non vaccinés dont 63 (32%) de SEP. A vue le taux de SEP parmi les ADC est significativement beaucoup plus élevé chez les vaccinés. Un calcul le confirme : moins d'une chance sur 10000 d'obtenir un écart aussi important que celui observé.

Interprétation : le vaccin aurait pu favoriser l'évolution en SEP d'une ADC qui soit serait apparue sans cette vaccination mais n'aurait pas évolué en SEP ; soit que l'ADC aurait été crée par cette vaccination pour évoluer en SEP dans la fenêtre d'observation.

Second signal : la moyenne d'âge des ADC non SEP est 7,8 ans contre 11,5 pour les SEP alors que la date retenue est celle de la première atteinte dans les 2 groupes, ce qui les rend comparables. L'écart est énorme (3,7 ans) comparé aux moyennes observées. Ce signal confirme le premier : des enfants qui auraient dû être parmi les ADC non SEP se sont retrouvés dans le groupe SEP, venant tout à la fois grossir ses effectifs et faire croître sa moyenne d'âge, ce qui oblige à supposer que leur âge était élevé (>12 ans assez souvent). De plus, en quittant le groupe des ADC non SEP ils contribuent, chemin faisant, à en abaisser la moyenne. Autre possibilité non exclusive : des ADC crées par la vaccination à un âge élevé et qui évoluent en SEP. Ces observations pointent tout particulièrement les classes d'âge vaccinées au collège en sixième.

On peut d'ailleurs constater qu'en cas-témoins le groupe des ADC non SEP est significatif côté "vaccin protecteur". Cela signifie que le déficit de cas dans ce groupe se retrouve soit dans la classification "non malade" (effet protecteur possible du vaccin) soit dans la classification "sclérose en plaques" (effet aggravant possible du vaccin).

On voit ainsi qu'un OR significatif inférieur à 1 peut très bien correspondre à un effet aggravant qui modifie la classification et non à un effet protecteur, ce qui ne semble pas avoir été vu par les commentateurs (Daniel Floret au congrès de Lille en 2011 avança, à la session vaccinations du CTV, que le vaccin hépatite B avait pu avoir un effet protecteur contre les ADC non SEP … )

Troisième signal : 62 SEP sont apparues dans les 4 ans qui suivent la vaccination contre 12 au cours des 2 années suivantes. C'est un signal fort avec plusieurs interprétations possibles et non exclusives :

1- Les 12 cas sur 2 ans sont supposés être la norme attendue. L'accroissement considérable des cas sur les 4 premières années indiquent alors que la vaccination aurait pu y contribuer.

2- Les 62 cas sur 4 ans sont supposés être la norme attendue. Les 12 cas sur 2 ans pourraient alors indiquer une sous-notification importante de cas sur les années 5 et 6. Cette hypothèse est très vraisemblable en raison de la barrière à 16 ans : un adolescent vacciné à 15 ans et qui débute sa première atteinte à 17 ans ne sera pas pris dans l'étude. D'où sans doute une importante sous-notification de cas, tout particulièrement chez ceux qui ont été vaccinés à l'adolescence. On peut noter à ce sujet qu'une des clauses définissant le groupe significatif publié en octobre 2008 était que la première atteinte était apparue "au delà de 3 ans après la vaccination" ce qui exclut pratiquement les adolescents qui pourraient être orientés "vaccin protecteur" en raison de cette sous notification. Le groupe complémentaire pourra ainsi avoir un OR plus élevé que le groupe complet.

En conclusion, vous voyez qu'il faut tout reprendre au niveau de la phase 2 de ces publications. Une note unique ne pourra jamais rendre compte d'une telle situation.

On constate ainsi, chemin faisant, que les logiciels d'épidémiologie (que je ne connais pas) sont sans doute incapables de trouver par eux-mêmes les trois signaux très forts ci-dessus. J'ai simplement travaillé avec mes yeux pour l'essentiel. Puis une bonne calculatrice pour effectuer les calculs relatifs aux tests dont les résultats sont tellement évidents ici qu'ils sont à peine utiles.

L'épidémiologie s'affirme être une science*. Elle a encore beaucoup de chemin à faire pour cela mais elle pourrait au moins montrer la volonté d'avancer à partir des problèmes soulevés par la validité mathématique des tests statistiques. Ce n'est pas que symbolique et l'évolution ou non du document sur la gradation des publications devrait permettre d'en juger. »

Fin du texte envoyé au HCSP dans le cadre du suvi du rapport Gradation.

Pour le lecteur voici un complément :

* Je peux ajouter ici que les épidémiologistes s'affirment être des scientifiques et déclarent sans complexes que leur discipline est une science. J'ai pu lire cela page 10 de ce document [2] trouvé sur le site de l'Adelf (Association des épidémiologistes de langue française). On n'est jamais si bien servi que par soi-même...

On peut aussi se demander si une note pour la phase 1 et une autre pour la phase 2 seraient suffisantes. Très certainement pas car, comme on va le voir dans les articles à suivre, il peut y avoir un test valable et un autre pas du tout. Il sera donc impossible d'exprimer valablement de tels différences avec une seule note pour la phase 2, comme l'élève qui a 20 en maths et 0 en français.

Comme on peut le constater par la lecture de ce document définissant les recommandations et bonnes pratiques en épidémiologie, aucune allusion n'est faite sur les problématiques considérables de  la phase 2 des études épidémiologiques, cette phase semblant être confiée les yeux fermés aux logiciels d'épidémiologie. Un tel oubli a des conséquences catastrophiques pour les populations, ce qui est autrement plus important que de chercher à ménager la susceptibilité des épidémiologistes.

Contribution n°3 au rapport Gradation des études épidémiologiques sur les vaccinations

Je voudrais vous apporter de nouvelles remarques sur le document relatif à la gradation des études épidémiologiques sur les vaccination. Voici les passages auxquels je pense pouvoir apporter une contribution. D'abord je suis  en totale harmonie avec la conclusion de ce rapport ( page 28) :

« La démarche de gradation des recommandations … est un processus relativement long et complexe.

Sur le plan pratique, (elle) nécessite un apprentissage et donc l’investissement dans des actions de formation pour les experts du CTV, une évaluation de l’impact de coût de cette démarche avec la nécessité de mutualisation des moyens humains ... »

C'est bien d'avoir compris la nécessité de mutualiser les moyens humains et qu'il faudra accepter un apprentissage pour former les experts du CTV. Pour ce qui est du coût, je suis bénévole...

Page 16

«Selon le processus GRADE, les cinq facteurs qui sont susceptibles d’entacher le niveau de preuve sont le risque de biais d’une étude, l’hétérogénéité, le caractère indirect, l’imprécision des résultats et les biais de publication »

Cette énumération et les détails de celle-ci confirment pleinement l'absence totale de référence aux conditions de validité des tests utilisés (phase 2). Néanmoins on trouve mentionnés des éléments relatifs à cette phase 2. A savoir (soulignés) :

Page 17 :

Quatre critères permettent d’évaluer l’hétérogénéité :

• les résultats sont très variables selon les études ou au sein d’une étude ;

• les résultats sont discordants selon les sous-groupes ;

• les intervalles de confiance des études ne se chevauchent pas ;

• l’écart entre les différents résultats obtenus est important

Page 18

« Lorsque l’intervalle de confiance (à 95 %) qui encadre le résultat est large, la qualité de la preuve est dégradée d’un point (de deux points si très large). »

Page 20

« La force de l’association

Un risque relatif (RR)=2 à 5 (ou =0,5 à 0,2) ou une efficacité vaccinale à 50 % avec un intervalle de confiance étroit, … permettent d’augmenter la confiance dans les résultats de l’étude de un point. »

Donc, pour résumer, je voudrais commenter les critères qui semblent être en vigueur : « des intervalles de confiance qui se chevauchent » ; «un intervalle de confiance large, très large ou étroit ». Voilà des notions pour le moins approximatives ...On peut faire beaucoup mieux !

Voici d'abord ce que Dominique Costagliola affirma sur ces questions d'intervalles de confiance au cours de son exposé à la Conférence de consensus des 10-11 septembre 2003 :

«Le résultat d'une étude d'association s'exprime par un risque relatif ou un odds ratio associé d'un intervalle de confiance (IC). Ces éléments sont plus importants à considérer que la simple interprétation du test d'association en significatif/non significatif. »

« Ainsi un risque de 3 avec un intervalle [1,1 ; 600] nous dit que l'étude manque grossièrement de puissance puisque le risque peut être à peu près n'importe quoi. »

Je commente d'abord la seconde partie. On sait que OR²=(inf)x(sup) où inf et sup sont les bornes inférieure et supérieure de l'IC. On devrait donc avoir 3²=660 ! Si on fixe la borne inférieure inf=1,1 et OR=3 on en déduit aussitôt sup=9/1,1=8,18 et non pas 600 ! Comme elle est considérée, je crois, comme une de nos meilleures épidémiologistes, cela pose la question de la formation. Voilà ce qui arrive quand on apprend les tests statistiques sur logiciels sans aucun support théorique réellement assimilé comme les explications de mes précédents courriels le révèlent aussi. Un étudiant m'a dit un jour :  « Pas besoin d'apprendre la statistique, y'a des logiciels pour ça ! » Oui, bien sûr … mais les conséquences peuvent en être très graves...

Remarque : la formule est simplement la version multiplicative, après avoir pris l'exponentielle des nombres considérés, de l'IC centré de la forme [m-a m+a] dont la somme des bornes vaut 2m.

La première citation renvoie au fondement du test statistique qui consiste à calculer une probabilité. Par exemple si on a obtenu 55 piles en lançant 100 fois une pièce supposée équilibrée, on teste cette hypothèse en calculant la probabilité d'obtenir au moins 55 piles. Si elle paraît trop faible on pourra refuser l'hypothèse. Nul besoin de calculer un IC. Cela n'est utile que lorsqu'il n'y a pas d'hypothèse particulière concernant le paramètre étudié comme par exemple si on s'intéresse à la moyenne des tailles d'une population.

Dans le cas du test d'un odds ratio, sa valeur théorique supposée est 1. Il est donc inutile de calculer un IC. Il vaut beaucoup mieux calculer la probabilité d'obtenir un OR au moins aussi grand que celui observé.

Exemple : le ''fameux'' résultat significatif de la publication Tardieu 2008 était OR=2,77 avec IC [1,23 6,24]. Pour calculer cette probabilité il faut disposer de la variance non publiée mais récupérable à partir de l'IC et de OR. On trouve alors 0,7% qui apporte une indication beaucoup plus précise que l'IC qui indique seulement que cette probabilité est inférieure à 2,5% (la borne inférieure 1,23 est supérieure à 1).

Pendant longtemps, faute d'outils de calcul, on a en effet remplacé le calcul de cette probabilité par un petit calcul permettant de la classer entre les barreaux d'une échelle. Cela est possible quand la loi de probabilité sous-jacente est une loi normale.

On apprécie alors selon l'importance de cette probabilité, ce qui est quand même une nette amélioration, vous en conviendrez, par rapport à des appréciations du genre « l'IC est large, très large ou étroit » pour lesquelles on se demande sur quels critères elles s'appuient.

Aujourd'hui il n'y a plus d'excuses à maintenir de telles habitudes aussi archaïques. Pour les tests sur l'odds ratio on peut, il faut, renoncer à l'intervalle de confiance. Une transition pourrait cependant consister à calculer et publier les deux.

Remarque : vous noterez que 2,77²=7,6729 et que 1,23x6,24=7,6752 qui illustre l'égalité déjà signalée.

Des intervalles de confiance qui se chevauchent...

Il y a quelques jours j'ai pu voir un processus de calcul d'une épidémiologiste qui n'est pas dépourvu d'intérêt en relation avec mon propos. Voici les données :

Année	Nb de cas	Nb de doses	Nb de cas/100 000 doses	IC 95%
2005	10	404181	2,47	0,94 - 4,01
2006	32	874894	3,65	2,39 - 4,92

Avec le commentaire :

«Les  intervalles de confiance (IC 95%)  pour chaque taux de notification permettent de visualiser rapidement qu'il n'y a pas de différence significative (lorsque les IC95% se chevauchent, il n'y a pas de différence significative entre les taux) . »

Voilà un critère que je ne connaissais pas ! Comment traiter plus sérieusement le problème ? Reprenons d'abord les fondamentaux :

Je considère 2 variables aléatoires X et X' donnant les nombres x et x' de cas observés parmi n et n' personnes vaccinées (nombre de doses ici). On suppose que X et X' sont indépendantes et suivent des lois binomiales B(n , p) et B(n' , p') qu'on approxime par des lois normales de mêmes moyennes et de mêmes variances. Y=X/n et Y'=X'/n' seront alors 2 variables aléatoires indépendantes de moyennes p et p'. La variable aléatoire Y-Y' va alors suivre une loi normale de moyenne p-p' et dont la variance sera la somme des variances de Y et Y'. On peut alors tester l'hypothèse p=p' en estimant la variance avec les valeurs observées pour X et X'.

C'est le principe du test très classique de comparaison de deux binomiales. Avec un estimateur sans biais de la variance je trouve 12,18% pour la probabilité d'obtenir un écart au moins aussi important que celui observé. Valeur trop élevée pour être significative d'une différence entre les valeurs théoriques p et p', ce qui confirme  l'affirmation de l'épidémiologiste.

Mais, la raison évoquée n'est pas pour autant acceptable ! Ici c'est l'intersection des deux IC qui contient les 2 valeurs observées : l'intersection est [2,39 4,01] qui contient effectivement 2,47 et 3,65, ce qui est beaucoup plus fort qu'une intersection non vide tout à fait compatible avec un test significatif.

Exemple : si on remplace 32 par 40  pour l'année 2006, le test devient significatif avec la probabilité 2,45%<2,5%. Pourtant l'IC vaut [3,31 6,29]* qui chevauche l'intervalle [0,94 4,01] leur intersection étant [3,31 4,01]. Vous noterez que la valeur observée 2,47 pour 100000 n'appartient plus à cette intersection de même que la nouvelle valeur pour 100000 qui est 4,57.

En conclusion, cette histoire de chevauchement est vraiment à proscrire !

Remarque : j'ai utilisé une formule plus élaborée que celle utilisée par l'épidémiologiste pour calculer les IC 2005 et 2006, celle que j'avais moi-même programmée depuis longtemps. En utilisant la même formule simplifiée que celle de l'auteure et avec laquelle je retrouve les valeurs de ses IC pour 2005 et 2006, j'obtiens l'IC [3,16   5,99] au lieu de [3,31  6,29]. L'intersection avec l'IC 2005 est alors [3,16  4,01] qui ne contient ni la valeur 2,47 ni 4,57.

Sous forme numérique, la formule utilisée par l'auteure donne pour 2005 :

10 ± 1,96xracinecarrée [10x(1-10/404181)]

qui donne [3,80  16,20]. En divisant les bornes obtenues par 4,04181 on obtient [0,94  4,01] comme l'auteure. De même pour 2006, ce qui confirme que l'auteure a utilisé cette formule très simplifiée.

Puis-je me permettre de conseiller mon article sur les bases du test statistique. Il est le fruit de 20 ans d'enseignement de ces tests à des milliers d'étudiants :

« l'intervalle de confiance, cet inconnu ! » http://questionvaccins.canalblog.com/archives/2014/01/22/29012325.html

L'estimation de la variance dans le test de comparaison de 2 binomiales pose des problèmes car l'estimateur généralement proposé comporte un biais qui peut être important quand les valeurs réelles de p et p' sont éloignées. La moyenne attendue (l'espérance mathématique) pour cet estimateur multiplie la variance à estimer par 1+(p-p')² qui est sans biais uniquement pour p=p'.

On peut proposer un estimateur sans biais dont la formule est plus compliquée mais une fois programmée ce n'est plus un problème. Il faudrait regarder ce que vos logiciels proposent à ce sujet. J'ai aussi un article sur cette question :

« Comparaison de deux proportions : un test doublement biaisé ! »

http://questionvaccins.canalblog.com/archives/2014/02/09/29163341.html

Suite de mes contributions au rapport Gradation :

N°4 : http://questionvaccins.canalblog.com/archives/2016/03/28/33582629.html

 N°5 :  N°5 La force des recommandations vaccinales : un critère sans véritable signification ? 

 N° 6 et 7  http://questionvaccins.canalblog.com/archives/2016/03/28/33582686.html

N° 8  http://questionvaccins.canalblog.com/archives/2016/04/09/33643161.html

N°9  http://questionvaccins.canalblog.com/archives/2016/04/13/33660052.html

N°10  http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html

[1]  http://questionvaccins.canalblog.com/archives/2016/03/18/33532611.html

[2] http://adelf.isped.u-bordeaux2.fr/LinkClick.aspx?fileticket=BHPxc8buLII%3d&tabid=534

[3]  Publication Mikaeloff-Tardieu http://archpedi.jamanetwork.com/article.aspx?articleid=571612