Vaccin hépatite B et sclérose en plaques : il n'y a pas que les enfants !
Derniers articles sur l'affaire de la vaccination hépatite B :
Voir aussi sur ce blog d'autres articles portant sur la SEP et la vaccination hépatite B chez les enfants :
18 mars 2011 : Sclérose en plaques chez les enfants : des données très démonstratives. avec un test significatif inattendu.
10 avril 2011 : Vaccin hépatite B et sclérose en plaques chez les enfants : une étude aussi contestable que révélatrice
Et aussi 18 avril 2011 : Le péché originel des études cas-témoins sur une population
J'ai présenté un résumé de ces réflexions sous forme de communication affichée (poster) au congrès de la Sfsp, Société française de santé publique, à Lille, les 2-4 novembre 2011.
8 février 2009 :Hépatite B : 50% des nourrissons vaccinés ne seraient pas protégés 15 ans après ?
15 octobre 2008 : Hépatite B : défense de l'étude du professeur Tardieu
10 octobre 2008 : L'affaire de l'Engerix B : un non-événement pour notre Haut conseil de santé publique
2octobre 2008 :
Vaccin Engerix B : le quart de la commission de pharmacovigilance ne soutient pas ses conclusions
26 septembre 2008 Vaccin hépatite B et sclérose en plaques : il n'y a pas que les enfants
Avertissement :
L'Afssaps ayant totalement refait son site il y a peu, certaines adresses ne sont plus valables.
Tout particulièrement celles qui renvoient aux 2 documents essentiels relatifs à l'étude Fourrier-Costagliola étudiée ici.
Pour les trouver, faire
http://www.afssaps.fr/Dossiers-thematiques/Vaccins/Vaccination-Hepatite-B/(offset)/2
Puis aller sur Rapports pour cliquer sur celui du 06/03/2000, rapport de la commission internationale de février 2000 qui expose l'étude Fourrier-Costagliola en la reconnaissant significative. En cliquant sur celui du 21/09/2004 on accède au compte-rendu de la Commission nationale de pharmacovigilance de septembre 2004.
Lien spécifique vers le document de 2004 (vérifié le 23/04/2012) [4] :
http://www.afssaps.fr/content/download/10351/121225/version/3/file/040905.pdf
A l'heure où la Direction générale de la santé s'interroge sur une relation possible entre un vaccin hépatite B et l'apparition de scléroses en plaques chez l'enfant, où le Président du Comité technique des vaccinations réagit déjà négativement à cette annonce et où il est affirmé qu'une seule étude publiée en 2004 après une dizaine d'autres chez l'adulte, avait évoquée la possibilité de ce risque pour lui, il est utile de rappeler fermement qu'une étude de l'Afssaps portant sur les données françaises de pharmacovigilance entre 1994 et 1996 avait été jugée significative puis transformée, quelques années plus tard, en...deux études non significatives !!!
Ces 2 études, qui ne font qu'une en réalité extrêmement significative, font partie de la dizaine évoquée. C'est la description de cette singulière affaire qui va être maintenant exposée.
L'ensemble des articles de ce blog sur la vaccination hépatite B sont dans la catégorie hépatite B.
De 1994 à 1996 la campagne vaccinale contre l'hépatite B se développait en France avec une extraordinaire intensité pendant que la pharmacovigilance française enregistrait depuis fin 1993 une augmentation anormale des notifications de cas de scléroses en plaques peu de temps après une injection du vaccin hépatite B. A un point tel que l'Afssaps* lancera 2 alertes sanitaires aux états de l'Union européenne les 15 et 27 mars 1995 et enverra une lettre aux prescripteurs en novembre 2005.
Une étude portant sur les cas déclarés par les médecins ainsi qu'une estimation de la sous-notification des cas réels sera réalisée en 1998. Les résultats obtenus et rapportés par l'Afssaps en février 2000 conduisent à une différence extrêmement significative entre les cas observés chez les vaccinés et les cas attendus en l'absence de vaccination. Cette étude a par la suite été transformée en... 2 études non significatives !
Voici cette singulière affaire
* Afssaps : Agence française de sécurité sanitaire des produits de santé.
Février 2000 : l'Afssaps commente une étude de pharmacovigilance extrêmement significative
D'abord, la pharmacovigilance c'est quoi ?
Définition (voir le site http://www.pharmacovigilance.org/ ) :
" La pharmacovigilance a pour objet la surveillance du risque d'effets indésirables résultant de l'utilisation des médicaments et produits à usage humain mentionnés à l'article L. 511-1, des produits mentionnés à l'article L. 658-11 et des médicaments et produits contraceptifs mentionnés à l'article 2 du décret 69-104 du 3 février 1969."
" Elle comporte :
-
le signalement des effets indésirables mentionnés à l'article R. 5144-1 et le recueil des informations les concernant ,
-
l 'enregistrement, l 'évaluation et l 'exploitation de ces informations dans un but de prévention,
-
la réalisation de toutes études et travaux concernant la sécurité d 'emploi des médicaments et produits mentionnés à l'article R. 5144-1".
En France, la pharmacovigilance est organisée par l'Afssaps qui dispose en particulier d'un site et de centres régionaux auxquels les médecins sont invités à déclarer les cas qu'ils observent dans leur pratique. En 2000, elle précisait que :
« 636 cas d'affections démyélinisantes centrales, (donc pas uniquement des SEP,) rapportées entre le début de la commercialisation du vaccin et le 31 décembre 1999 avaient été retenues après expertise par des neurologues ».
Face à ce constat inhabituel l'Afssaps avait organisé en février 2000 une réunion de très haut niveau qui rassemblait des cliniciens, des épidémiologistes français et étrangers ainsi que des représentants de l’Afssaps, de la Direction Générale de la Santé et de l’Institut de Veille Sanitaire. Cela a donné lieu à un compte-rendu intitulé [1] (vérifié le 23/04/2012)
«Bilan des données nationales de pharmacovigilance sur les notifications spontanées d’effets indésirables après une vaccination contre l’hépatite B»
Il s'agissait de comparer les cas attendus en l'absence supposée d'action du vaccin avec non seulement les cas notifiés mais aussi ceux qui auraient pu être observés à défaut d'avoir tous été notifiés.
Parmi les cas notifiés ont été retenus seulement ceux
1- qui avaient été vaccinés en 1994, ou 1995 ou 1996
2- qui étaient âgés de 20 à 44 ans
3- qui avaient eu un épisode de démyélinisation centrale dans les 60 jours après injection* de vaccin hépatite B.
4- qui étaient sans antécédents d'une telle atteinte.
* Une précisions pour le 3 : il ne s'agit pas seulement de la première injection mais d'une injection parmi toutes celles qui ont pu être faites. A l'époque, la primo-vaccination était réalisée en 4 injections en France et des rappels obligatoires à 5 ans étaient prescrits pour des personnels exposés.
Ces cas notifiés ont été évalués à 111 alors que les cas attendus ont été évalués à 102,73 sous l’hypothèse d’une prévalence de 60 pour 100 000 habitants. Cette première partie de l'étude des données de pharmacovigilance a été réalisée par Fourrier (pharmacologie de Bordeaux).
Il s'agissait donc de comparer 111 à 102,73, différence jugée non significative comme le mentionne l'étude qui reconnaît cependant qu'une légère augmentation de 10% des cas notifiés suffirait à rendre significative. Si on ajoute 10% à 111 on obtient 122, la différence entre 102,73 et 122 est supérieure à 19. Mais que veut dire significatif, non significatif ? Pourquoi une différence de 8 est-elle jugée non significative alors qu'une différence de 19 est considérée significative ? Il s'agit en fait d'apprécier si cette différence pourrait s'expliquer par de simples variations aléatoires ou, si cette explication paraîssait peu plausible, qu'il est indiqué de rechercher une cause agissante particulière. L'encadré "Comment pratiquer un test statistique" donne des indications qui seront suffisantes ici en présentant un calcul simplifié que chacun peut faire ainsi que la règle de décision qui lui est associée.
|
Comment pratiquer un test statistique ?
Le principe
En toute rigueur pour décider si la différence entre les cas observés et attendus est ou non significative on commence par calculer la probabilité d'obtenir un écart au moins aussi grand. Pour notre problème on le fait avec une loi de Poisson de moyenne 102,73.
Calculs simplifiés
(pour une loi de Poisson)
A défaut, on forme la différence entre les cas observés et attendus puis on la divise par la racine carrée des cas attendus, soit :
(Observés-Attendus)/√attendus=T Sur les exemples ce sera :
(122-102,73)/√102,73=1,90 et (111-102,73)/√102,73=0,82.
On a ainsi un petit calcul à la porté de presque tout le monde. Il résulte d'une approximation. La racine carrée des cas attendus se nomme l'écart-type qui est la bonne unité de mesure en probabilités et statistiques. Par la division on exprime ainsi la différence entre les cas observés et attendus en nombres d'écarts-type. C'est ce changement d'unité qui permet d'obtenir une règle de décision indépendante de la moyenne :
Règle de décision
La différence est dite :
Cette règle de décision est indépendante de la valeur de la moyenne, on exige seulement qu'elle soit assez grande, par exemple au moins 50.
Bien entendu ce ne sont pas les calculs qui prennent la décision, ils sont seulement un guide pour celle-ci.
|
* On peut consulter cette étude de A.Fourrier en accès libre sur PubMed où les 111 cas notifiés sont 108.
La sous-notification rend l'étude extrêmement significative
Après ce petit cours sur le test statistique revenons à nos 111 cas notifiés à la pharmacovigilance. La sous-notification des cas réels est avérée et parfaitement reconnue par l'Afssaps qui déclarait avec fermeté :
« Toutefois, comme pour tout système de notification volontaire, les cas notifiés ne représentent qu’une fraction de l’ensemble total des cas survenus. Il existe un phénomène de sous-notification qu’il est nécessaire de prendre en compte pour interpréter valablement les résultats de cette étude. C’est l’objectif de l’approche capture-recapture. »
Cette méthode repose sur la comparaison entre elles de 3 sources de notification reconnues :
« Au 30 juin 1999, 449 cas survenus entre le 4 octobre 1984 et le 31 décembre 1998 étaient connus dont 128 déclarés aux laboratoires, 314 à l'Afssaps et 112 au Revahb. »
Le Revahb (réseau vaccin hépatite B) est l'association bien connue regroupant des personnes qui pensent avoir été victimes de la vaccination hépatite B. Avec un total de 554 déclarations nous constatons ainsi que certains cas ont été notifiés auprès de 2 voire 3 sources. Ce sont ces données et leurs notifications multiples qui ont été utilisées par Costagliola pour estimer le facteur de sous-notification en utilisant des modèles statistiques :
« L’approche capture-recapture utilise l’information connue de manière exclusive par plusieurs sources, ainsi que l’information commune de ces sources pour produire une estimation du nombre total de cas existants. »
-
La méthode de capture-recapture doit son nom au fait qu'elle a d'abord été utilisée pour estimer le nombre de poissons dans un étang. On commence par capturer N1 poissons qui sont bagués puis on les remet à l'eau en attendant un certain temps pour qu'ils se répartissent à nouveau parmi les autres. On procède alors à une nouvelle pêche qui donne N2 poissons avec, parmi eux, n poissons bagués, donc re-capturés. On estime alors le nombre total de poissons dans l'étang par la formule N1xN2/n. Cette formule donne le résultat exact si les 2 captures de poissons sont rigoureusement indépendantes. C'est évidemment là que le bât blesse.
-
Appliquée à un problème de pharmacovigilance il faut s'assurer le plus possible de 2 sources indépendantes de notifications. C'est sur ce point que le Revahb a joué un rôle très important car cette association pouvait apporter des données qui avaient toutes chances d'être indépendantes de celles des laboratoires et de l'Afssaps.
« Des analyses de sensibilité (selon le délai entre vaccination et survenue de l’événement, la nature de l’événement, le sexe et l’année de vaccination) conduisent à des résultats semblables. Quel que soit le modèle retenu, le facteur de sous notification est compris entre 2 et 2,5. Ce facteur est faible par rapport à ce que l’on observe habituellement, ce qui s’explique sans doute par la notoriété du problème étudié. »
En conclusion :
« L'estimation du taux de sous-notification par l’approche capture-recapture montre que le nombre de cas notifiés doit être multiplié par un facteur d’au moins 1,66 (valeur la plus faible des bornes inférieures des intervalles de confiance) pour obtenir une estimation du nombre réel de cas. Ainsi, la combinaison de ces deux études suggère un nombre réel de cas significativement supérieur au nombre de cas attendus. »
Le communiqué de l'Afssaps n'ose même pas expliciter ce nombre minimum 111x1,66=184. C'est pas trop dur pourtant ! Mais ça pourrait faire peur car en testant comme indiqué on voit que la différence entre la moyenne 102,73 et 184 est de 8 écarts-type :
(184-102,73)/√102,73=8,02
ce qui est énorme en probabilité. Grâce à ce petit calcul tout simple et à la règle de décision chacun peut vérifier lui-même l'énormité de l'écart : un écart de 3 est déjà jugé hautement significatif et correspond à peu près à une chance sur 1000 alors que 2,5 correspond à 1%. Un écart de 8 va correspondre à une probabilité très faible. Le tableau montre la décroissance de la probabilité cherchée quand on s'éloigne de la moyenne 102,73.
|
Probabilité d'avoir au moins 128, 149...169 quand la moyenne est 102,73 |
|
128 0,9% |
|
149 1/100 000 |
|
155 1 sur 1 million |
|
169 1 sur 1 milliard |
Quand on calcule directement la probabilité d'avoir au moins 184 cas on la trouve nettement inférieure à une chance sur 10 milliards. L'affaire est donc des plus claires : il est impossible d'expliquer la différence observée par de simples variations aléatoires. En pareil cas on a donc le devoir de rechercher une ou plusieurs causes agissantes particulières.
D'autant plus que le facteur correctif 1,66 est la valeur la plus faible reconnue, les valeurs moyennes estimées étant de l'ordre de 2 à 2,5, ce qui remplace 184 par 222 ou 287, soit une différence entre 11,8 et 18 écarts-type alors qu'une différence de 3 écarts-type est jugée hautement significative. Juger cette étude comme étant seulement significative alors qu'elle l'est extrêmement est déjà une forme de manipulation : en effet, significatif correspond traditionnellement à 5% ce qui ne permet pas d'exclure l'action de simples variations aléatoires. A 5% on ne peut conclure mais on considère généralement qu'il faut poursuivre les investigations et augmenter la taille de l'échantillon, mais ici nous ne sommes pas dans cette situation.
|
Pour illustrer un peu les probabilités ...
A l'orée d'un bois, à 5 heures du matin, on s'attend à voir passer des lapins. Mais dans la pénombre nos observateurs aperçoivent une forme énorme avec une sorte de trompe à 3 mètres de haut et ils nous disent aimablement que ce qu'ils ont vu suggère significativement que ça pourrait ne pas être un lapin mais qu'on ne peut totalement exclure que ça puisse en être un !!! Plus tard, on nous dira qu'en réalité ils avaient bien vu un lapin !!! Un lapin avec une trompe de 3 mètres ? Depuis Tchernobyl tout est possible... |
Bien entendu, les calculs de probabilités à eux seuls ne diront jamais que c'est le vaccin qui est responsable, il faut aussi être très clair sur ce point.
C'est l'analyse de la situation, l'inventaire des causes plausibles, les résultats obtenus par d'autres moyens d'investigation qui pourront créer un faisceau convergent pointant la responsabilité du vaccin. Le fait que ces cas apparaissent dans les 2 mois qui suivent la vaccination est évidemment un élément très fort pour soupçonner le vaccin. Une autre cause agissante aurait bien peu de chances de se manifester avec une telle coïncidence.
Autre élément important dans cette étude de pharmacovigilance, elle n'a retenu que les cas vaccinés sur une période de 3 ans alors que l'étude de Hernan par exemple, classée significative, comptabilisait les cas apparus entre 1993 et 2000, soit 8 années. Ainsi, une cause agissante nouvelle, liée à une modification de l'environnement par exemple, aura moins de temps pour se mettre en place et manifester ses effets sur 3 ans que sur 8 ans. On peut cependant admettre qu'elle agirait aussi sur les non-vaccinés pris en compte par Hernan alors qu'ici l'évaluation des cas attendus pouvait se faire à partir de données plus anciennes.
Une chose est absolument certaine : il est impossible d'exclure la responsabilité du vaccin, c'est le moins qu'on puisse dire et c'est bien ce point très important que la réunion de haut niveau de février 2000 avait malgré tout souligné dans ses conclusions, tout en en minimisant la portée, après examen des 9 études qui avaient été réalisées à ce jour sur le sujet :
« L’ensemble de ces résultats maintient inchangée l’évaluation réalisée en 1998, les études présentées ne permettent pas de conclure à l’existence d’un risque, ni de l’exclure. En effet, l’observation d’odds-ratios supérieurs à 1, bien que non significatifs, dans les 3 premières études peut être le résultat d’une élévation faible du risque, l’effet du hasard ou encore l’action de biais agissant dans le même sens pour les 3 études. Cependant, l’ensemble des résultats convergent pour indiquer que si un risque existe, il est nécessairement faible. »
« Actuellement :
Le réexamen des données tant épidémiologiques qu’issues de la notification de pharmacovigilance ne permet pas de conclure sur l’existence d’une association entre la vaccination contre l’hépatite B et la survenue d’atteintes démyélinisantes ou de maladies auto-immunes.
Les résultats permettent d’exclure l’existence d’un risque élevé d’atteintes démyélinisantes ou d’affections auto-immunes associés à la vaccination contre l’hépatite B »
On notera donc que cette réunion considère que ces études permettent d'exclure un risque élevé, l'argument avancé pour cela étant que si ce risque élevé existait ces études étaient suffisantes pour le mettre en évidence. Je ne sais pas ce qu'ils entendent par risque élevé mais un écart de 12 ou même 18 écarts-type entre le nombre 102,73 de cas attendus et 222, voire 287 cas réels n'est pas, loin s'en faut, l'expression d'un risque faible dans cette affaire. Pour que ce soit plus parlant pour le lecteur cela multiplie le risque par un facteur entre 2,16 et 2,8 et que quand on vaccine 30 millions de personne cela peut chiffrer très vite. De plus, il existe quelques raisons de penser que le nombre de cas attendus a été largement surévalué et que le taux de sous-notification a été vraisemblablement sous évalué, sans parler du nombre de cas notifiés qui a sans doute été bridé par des conditions drastiques. Ce n'est pas un lapin qu'ils ont vu passer, ni même un éléphant mais bien plutôt un dinosaure de Patagonie long de 40 mètres ! Pas facile à cacher, même en jetant une couverture dessus !!!
2002 : quand significatif devient non significatif !!!
Moins de 2 ans plus tard, l'Afssaps publie un communiqué de presse [3] daté du 14 novembre 2002 :
« A l'heure actuelle, près de 10 études épidémiologiques ont été réalisées, dont plusieurs à l'instigation de l'Afssaps. AUCUNE n'a montré un résultat statistiquement significatif en faveur d'une responsabilité de la vaccination contre l'hépatite B dans la survenue d'affections démyélinisantes. »
L'Afssaps paraît alors avoir oublié les conclusions de l'étude de Fourrier-Costagliola qu'elle avait commandée et financée à partir de ses propres données.
Quelques années plus tard, le 29 septembre 2004, nouveau communiqué de l'Afssaps de quatre pages [4] où elle fait le point sur les données de la pharmacovigilance suite à sa réunion du 21 septembre, formule ses réserves et critiques sur la fameuse étude de Hernan qui vient de sortir et fait grand bruit, puis termine par un tableau récapitulatif des études sur le problème.
Page 4 donc, dans un tableau récapitulatif, elle présente 11 études sur le lien entre sclérose en plaques et vaccination hépatite B dont celle de Fourrier et Costagliola qu'elle jugeait significative en 2000 ( en réalité extrêmement significative comme on l'a vu). Mais surprise, cette étude est dédoublée en 2 études, d'une part celle de Fourrier qui s'arrête aux 111 cas notifiés et est donc classée non significative, d'autre part l'étude de capture-recapture -étrangement non publiée- mise en oeuvre par Costagliola et qui conduisait à une conclusion des plus significative.
Extraits du tableau :
|
Auteurs
|
Type d'étude Définition Cas étudiés |
Résultats |
|
Fourrier et al. (1998)
(Br J Clin Pharm 2001; 51:489-90) |
Comparaison cas observés: cas attendus *
1ères poussées d'atteintes démyélinisantes centrales |
Excès faible non statistiquement significatif du nbre de cas observés (n=111)/ aux cas attendus (n=102,7) |
|
Costagliola (1998)
(non publiée) |
Approche capture-recapture *
Atteintes démyélinisantes centrales |
Facteur de sous-notification compris entre 2 et 2,5 compatible avec un excès statistiquement significatif de cas |
* Etudes réalisées à la demande de l'Afssaps ou financées par elle.
Pourtant, ces 2 travaux complémentaires portent sur les mêmes données et ne constituent donc qu'une seule et même étude, la nécessité de tenir compte de la sous-notification pour une interprétation valable ayant été très fermement soulignée en 2000 dans le compte-rendu d'une réunion de très haut niveau regroupant non seulement l'Afssaps mais aussi la Direction générale de la santé, l'Institut de veille sanitaire ainsi que des cliniciens et épidémiologistes français et étrangers.
Il y a donc en réalité seulement 10 études dans ce tableau dont 2 significatives, l'une extrêmement. C'est donc une anomalie flagrante qui a permis de créer très artificiellement une étude non significative supplémentaire, il n'y a pas de petits profits ! Le plus étonnant dans cette affaire est que l'Afssaps, à la page précédente, écrit qu'il y a bien eu seulement 10 études :
« Enfin, parmi les 10 études épidémiologiques réalisées concernant ce problème, ... » 10 études qui se font 11 par un étrange dédoublement quand on tourne la page !!!
Il faut réaliser que classer la partie de l'étude réalisée par A.Fourrier comme étant non significative est conditionnel : cela suppose en effet que SI le nombre de cas réels est égal au nombre de cas notifiés, alors la différence entre les cas attendus et réels sera non significative. Mais on ne peut se contenter d'une appréciation conditionnelle. Toute la question est de savoir ce que vaut cette condition, ce qui fut l'objet de la seconde partie de l'étude réalisée par D.Costagliola.
Mais les surprises ne s'arrêtent pas là : quelques lignes plus haut, page 3, on peut lire ceci faisant suite aux critiques sur l'étude de Hernan :
|
Communiqué Afssaps du 29 septembre 2004 (extraits)
« La mise en évidence d'une association statistiquement significative dans une unique étude après plusieurs autres études non significatives de plus grande taille (parmi lesquelles il faut signaler 5 études réalisées à la demande de l’Afssaps ou financées par elle), doit aussi faire considérer la possibilité que le caractère statistiquement significatif du résultat puisse n'être que la conséquence du hasard et de l'augmentation du risque de première espèce consécutive à la multiplication des études » |
Et là ça devient assez énorme et incroyable : l'unique étude significative est celle d'Hernan, il n'y a aucun doute possible. Quand aux 5 études réalisées pour l'Afssaps elles incluent les 2 études précitées sans aucun doute non plus car elles sont cochées. Nous devons ainsi constater que l'étude rappelée dans le tableau et qui y est déclarée significative comme en 2000 était classée non significative dans le texte quelques lignes plus haut !!!
Nous assistons donc à ce spectacle pour le moins stupéfiant d'une étude de bonne qualité technique, reconnue significative (en réalité extrêmement), qui se dédouble par génération spontanée en 2 études qui seront finalement classées toutes deux ... non significatives !!!
Aujourd'hui tous, y compris les opposants les plus affirmés à cette vaccination, ont accepté que parmi les 12 études publiées à ce jour (avec la cohorte Kidmus en 2007) une seule était significative, celle d'Hernan ! On a pu le vérifier à l'émission télévisée " C dans l'air " animée par Yves Calvi sur la Cinq, le 8 février 2008, où le défenseur de la vaccination hépatite B ayant affirmé cela, son opposant ne contesta pas ce point, se contentant de soutenir que l'étude de Hernan était de très loin la meilleure et la plus crédible de toutes les études.
« La présence de nombreux problèmes méthodologiques doit faire considérer les résultats de cette étude avec beaucoup de circonspection (absence de discussion sur la comparabilité des groupes, pas de prise en compte de facteurs de confusion, pas de validation des diagnostics, puissance très limitée, discordances majeures entre l’article publié dans Nature Medicine et le rapport préliminaire …). Ces défauts rendent cette étude très critiquable et ont fait rejeter la prise en compte de ses résultats dans l’évaluation. »
En conséquence, il reste en réalité seulement 8 études portant sur des adultes dont 2 significatives, l'une extrêmement. Si l'hypothèse testée est vraie, c'est à dire l'absence de lien entre la vaccination et les affections démyélinisantes, on peut avoir en moyenne une étude sur 20 qui sera significative à 5%. Or on en a ici une sur 4 ce qui pourrait être un indice que l'hypothèse soit fausse ! Plus encore, si l'hypothèse testée est vraie on a pratiquement aucune chance d'obtenir parmi 8 études et même 100 000, une étude qui serait significative au niveau trouvé de 1 sur 1 milliard, or c'est pourtant ce qu'on a obtenu, et même plus encore. L'argument avancé par l'Afssaps dans son rapport est donc ce qu'on appelle un boomerang.
Une troisième étude significative ?
Oui, il est tout à fait envisageable qu'il ait pu exister une troisième étude ayant le potentiel pour être au moins significative. Il s'agit du projet de regroupement de trois études françaises répertoriées par exemple page 6 du compte-rendu de février 2000 et qui devaient être regroupées :
C'est ce qu'atteste le compte-rendu de février 2000, page 6 :
« Projet de méta-analyse : Le Pr B. Bégaud a présenté des résultats montrant la faible puissance des études réalisées pour mettre en évidence des odds-ratio (risques relatifs ndlr) inférieurs à 2. C'est pourquoi il serait nécessaire de réaliser une méta-analyse qui combinerait l'ensemble des résultats. Cette méta-analyse disposerait d'une puissance supérieure aux études prises une à une, cependant sa puissance pour mettre en évidence un odd-ratio (risque relatif) inférieur à 2 restera modérée. »
Ne nous laissons pas impressionner par les mots : odd-ratio se traduit par estimation du risque relatif et méta-analyse consiste à regrouper plusieurs études en une seule. Même si un tel regroupement peut poser quelques problèmes avec une question aussi complexe sur le plan médical, il consiste, dans son principe, à cumuler les données dispersées dans plusieurs études pour en faire une seule.
Par analogie, après avoir réalisé 3 séries de 10 jets d'une pièce on décide de considérer qu'on a lancé 30 fois la pièce. Supposons qu'à chaque série de 10 on ait obtenu 7 piles. Pour chaque expérience on pourrait dire que le résultat n'est pas significatif que la pièce soit déséquilibrée et se vanter d'avoir 3 expériences non significatives. Mais si on les regroupe on a alors 21 piles en 30 jets et le résultat devient significatif (probabilité de 2,13% d'avoir au moins 21 piles sur 30 quand la pièce est équilibrée).
C'est pourquoi brandir la multiplicité des études comme argument pour disculper le vaccin est un argument sans valeur comme le suggère l'histoire du scandale au casino (voir encadré).
|
Scandale au Casino !
Dans un casino on utilise une pièce pour un jeu d'argent : pile c'est le casino qui gagne, face c'est le joueur. La pièce est testée par une série de 100 jets qui donne 70 piles, ce qui atteste que la pièce est très fortement déséquilibrée au profit du casino (probabilité de 1/25000). Le scandale éclate, les médias s'en emparent, les joueurs se regroupent en associations, d'autant plus que certains, ruinés, se sont suicidés...
Mais le casino va s'en sortir ! Comment ?
Il fait réaliser devant différents huissiers, journalistes et témoins, 10 séries de 10 jets chacune. Chaque série donnera 7 piles et à chaque fois le statisticien de service déclarera que le résultat n'est pas significatif (probabilité supérieure à 17%). Dans la presse le casino affirmera haut et fort que pas moins de 10 études ont été réalisées et qu'aucune n'a mis la moindre anomalie en évidence.
Dix études non significatives contre une seule, c'est probant ? |
Mais ce projet de méta-analyse n'a jamais été réalisé...Il faut savoir que les 3 études françaises donnaient toutes un risque relatif supérieur à 1 et auraient donc pu donner, en les regroupant, une étude significative, ce qui aurait fait 6 études concernant les adultes, dont 3 significatives, voire très et extrêmement significatives...
. Ceci explique-t-il cela, c'est à dire le fait que cette méta-analyse n'ait jamais vu le jour ?
A titre purement indicatif disons que les cas cumulés chez les vaccinés et les non-vaccinés retenus par ces 3 études sont 121+242+520=883 et que les risques relatifs moyens avaient été évalués à 1,7, 1,8 et 1,4 comme on peut le lire dans le compte-rendu de la réunion de février 2000.
La sous-notification est généralement très importante et reconnue comme on l'a vu. Cela s'explique d'une part par la surcharge de travail pour les médecins mais aussi par le fait qu'ils seront tentés de ne déclarer que ceux pour lesquels ils pensent que le vaccin est responsable. Si 200 cas apparaissent chez les vaccinés dont la moitié sont des coïncidences et que les médecins, très intuitifs, ne déclarent que la centaine de cas liés au vaccin, on pourrait dire que les médecins ont été excellents en ne déclarant que les vrais cas. Oui, mais l'alerte est statistique et elle va fonctionner ainsi : le nombre de cas attendus était 100 et il y a eu 100 cas notifiés, donc tout va bien. C'est pourquoi il est absolument indispensable de tenir compte de la sous-notification comme le soulignait l'Afssaps en 2000.
Il est intéressant de consulter la thèse de pharmacie soutenue à Lyon le 30 mai 2008, à l'Université Claude Bernard par Elsa Ficquet et intitulée : Le vaccin contre l'hépatite B en France : polémique autour des aspects médicaux-scientifiques, juridiques et médiatiques.
Son manuscrit : http://jchampavere.free.fr/hepatite_b/manuscrit.pdf
On peut aussi aller sur la page de présentation avec 8 vidéos de journaux télévisés pour rafraichir la mémoire, aller sur le manuscrit ou sur le diaporama utilisé pour la soutenance : http://jchampavere.free.fr/hepatite_b
Une analogie pour évacuer les passions !
On veut comparer le nombre de coups de téléphone reçus la semaine du quinze août par un chef d'entreprise avec ceux reçus la semaine suivante. Pendant la semaine du 15 août il a reçu 103 appels et 111 la semaine suivante. Mais cette semaine là il a dû s'absenter souvent pour visiter les chantiers en cours, aussi il a pu rater de nombreux appels. Une étude tenant compte des durées et des moments d'absence du chef d'entreprise a permis d'estimer le nombre moyen réel d'appels entre 222 et 287, avec un minimum à 184. Y a-t-il eu significativement moins d'appels la semaine du 15 août que pendant la semaine de rentrée ?
Première remarque: il ne viendrait à l'idée de personne d'aller chercher des médecins, même épidémiologistes, pour régler la question. Alors, à quoi servent les médecins dans le problème correspondant des scléroses en plaques ? Une SEP est beaucoup plus difficile à définir qu'un appel téléphonique, aussi la participation de médecins pour valider les cas retenus en éliminant les faux cas est indispensable. Mais, une fois les nombres validés le médecin n'est plus indispensable en tant que tel pour traiter les nombres retenus : que ces nombres représentent des scléroses en plaques ou des appels téléphoniques, le traitement statistique en sera indépendant.
Seconde remarque : est qu'avec les coups de téléphone il n'y aura plus aucune passion particulière. L'esprit retrouvant ainsi son calme, tout le monde sera d'accord pour reconnaître qu'il ne peut pas y avoir 2 études, l'une qui serait significative et pas l'autre : en plaçant la barrière de signification à par exemple 125 par rapport à 103, dire que la différence entre le nombre d'appels la semaine du 15 août et le nombre réel d'appels la semaine suivante est non significative voudra dire qu'on est pratiquement certain que ce nombre ne dépasse pas 125; dire qu'elle est significative voudra dire qu'on est pratiquement certain qu'elle dépasse 125. On ne peut soutenir l'un et l'autre. Et si on estime ne pas pouvoir décider entre l'un et l'autre il faut alors avoir le courage de renoncer à conclure en déclarant la situation indécidable, il faut être très ferme sur ce point.
Avec les coups de téléphone personne n'y trouverait à redire, bien au contraire, mais avec les scléroses en plaques...
Passionné par le rôle du nombre dans la société, Jean-René Brunetière a crée l'association Pénombre où il donne certains détails sur cette étude Fourrier-Costagliola qui laissent supposer qu'il a côtoyé de près certains participants à la réunion de février 2000 car il paraît vraiment très bien informé. Il en arrive même à contester l'évaluation de la sous-notification par Castogliola en avançant l'argument suivant :
« on considère qu’un médecin moyen qui a déclaré un incident à un réseau s’estime dès lors quitte de ses devoirs, et prend rarement la peine de le déclarer à un second réseau (pensant par exemple que les divers réseaux se sont organisés pour échanger leurs informations, ce qui est vrai). Cela conduirait, si vous me suivez, à une réduction du nombre des cas connus de plusieurs réseaux, et par là à une surestimation du taux de sous-notification et in fine, à une surestimation de l’incidence de l’affection chez les vaccinés. Il suffirait d’admettre que le fait d’être déclaré à un réseau divise par deux la probabilité d’être déclaré à l’autre pour conclure que la vaccination n’augmente pas le risque… »
A cela on peut opposer plusieurs remarques :
Si c'est le même médecin qui doit déclarer à la fois au laboratoire et à L'Afssaps, l'indépendance sera très difficile à réaliser car il faut qu'il y ait des doublons mais pas trop : si un cas a une chance sur 7 d'être déclaré aux labos (selon les estimations, c'est à peu près cela : 128 cas déclarés aux labos pour 864 cas estimés) il faudrait que le médecin qui déclare un cas à l'Afssaps ne confirme qu'une fois sur 7 à un laboratoire. Aussi, la première réserve formulée par l'auteur est déjà contestable avec une telle formulation et elle ne peut s'appliquer au Revahb car c'étaient les malades eux-mêmes qui s'y déclaraient et non pas les médecins. Annie Fourrier écrivait que les déclarations aux laboratoires et à l'Afssaps n'étaient pas indépendantes, on veut bien le croire. Par contre, il est plus difficile de soutenir que cela ne l'était pas pour le Revahb par rapport aux 2 autres.
De plus, le Revahb avait été contacté par l'Afssaps moins d'une année après sa création, au tout début de l'année 1998, aussi, le nombre de déclarations faites à cette association pouvait être largement inférieur à ce qu'il aurait pu être si elle avait été plus ancienne. Autrement dit, le nombre N2 au numérateur aurait pu être plus grand. Cela aurait aussi pu entraîner un dénominateur n plus élevé mais le rapport N2/n pouvait rester le même ou aller dans un sens ou dans l'autre.
La dernière affirmation de l'auteur est à peine compatible avec les calculs menés par Dominique Costagliola puisque le traitement des données par capture-recapture entre les laboratoires et l'Assaps a donné une estimation moyenne de 864 cas pour 396 cas connus soit un facteur de sous-notification de 2,18 et qu'en divisant par 2 on obtient 1,09 soit 111x1,09=121 cas alors que la limite de signification au seuil habituel de 5% est à...121 (probabilité de 4,25% d'avoir au moins 121 cas, inférieure à 5 %).
Quand on sait de plus qu'il existe des arguments donnant à penser que l'estimation du nombre de cas attendus a été majorée au maximum* et que les conditions de validations des cas retenus après notifications étaient drastiques...
Cet auteur conclut alors «qu'en l’absence de toute donnée sérieuse sur le sujet, chacun peut en penser ce qu’il veut. » Non, on ne peut pas tout à fait penser ce qu'on veut car affirmer que la différence entre cas réels et attendus n'est pas significative signifie qu'on est pratiquement certain que le nombre de cas réels ne dépasse pas une certaine valeur, disons 121. Affirmer que cette différence est significative implique qu'on est pratiquement certain qu'elle dépasse 121. Il manque 10 cas pour atteindre cette valeur, ce qui est très peu compte tenu des observations habituelles sur le niveau de déclaration des cas pour d'autres produits. En réalité, il suffit d'accepter un facteur de sous-notification de 1,1 pour atteindre le seuil habituel de signification. Aussi, il paraît pratiquement impossible de soutenir que la différence serait non significative. On pourrait tout au plus admettre que le problème serait indécidable.
Il existe d'ailleurs un autre facteur de sous estimation de la sous notification : l'évaluation de celle-ci a été faite sur les données recueillies jusqu'au 31/12/1998 alors qu'il s'agissait d'évaluer la sous notification pour les cas vaccinés entre 1994 et 1996 et apparus 2 mois après. Avec la médiatisation du sujet il est certain que la sous notification a pu considérablement diminuer, un facteur de 2-2,5 étant jugé faible par l'Afssaps. Bien entendu, les déclarations pouvaient être réalisées rétro-activement mais il est pratiquement certain qu'un cas qui se serait manifesté en 1995 avait moins de chances d'être déclaré en 1997 par exemple qu'un cas apparus cette année là.
-
La publication d'un résumé provisoire de l'étude menée par A.Fourrier nous apprend que
« Les résultats mènent à comparer l’effectif observé de 23 cas chez les hommes à un effectif attendu supérieur mais proche compris entre 23.46 et 31.06 selon les hypothèses d’incidence, tandis que chez la femme l’effectif observé égal à 60 est à comparer à un effectif attendu compris entre 55.47 et 72.93. »
ce qui donnerait entre 79 et 104 cas attendus alors qu'il en a été retenu 102,73. En choisissant une valeur moyenne 92 pour le nombre de cas attendus la différence avec les 111 cas notifiés deviendrait significative sans qu'il soit nécessaire de tenir compte de la sous-notification. Les valeurs notifiées 23 et 60 ont été réévaluées à la hausse par la suite pour atteindre 111 au final mais cela n'affectait pas l'estimation des cas attendus.
Liens
[1] Compte-rendu de la réunion internationale de février 2000 ( lien vérifié le 23/04/2012)
[3] http://www.hosmat.eu/pharmacovigilance/communique141102.pdf
[4] Compte-rendu de la réunion de pharmacovigilance du 21 septembre 2004 :
http://www.afssaps.fr/content/download/10351/121225/version/3/file/040905.pdf
[5] http://www.invs.sante.fr/publications/2007/jvs_2007/vaccination/4.pdf
[6] Le Livre Blanc de la SEP :
http://www.sante-aquitaine.net/cpm/aquisep/sections/public/infos-sep/livre-blanc-sclerose-en_1/downloadFile/attachedFile/LivreblancDEF.pdf?nocache=1193486194.48
/https%3A%2F%2Fassets.over-blog.com%2Ft%2Fcedistic%2Fcamera.png)
/https%3A%2F%2Fprofilepics.canalblog.com%2Fprofilepics%2F2%2F6%2F267566.jpg)