Beaucoup de bruit pour un signal qui n'existait pas !

Chacun se souvient du fameux résultat significatif trouvé  par l’équipe de Marc Tardieu il y a 9 ans sur les enfants dits “observants au calendrier vaccinal” et qui étaient plus à risque de sclérose en plaques s’ils étaient vaccinés hépatite B plus tard. Ce fut une affaire énorme qui mis le président du CTV Daniel Floret en ébullition avec réunion au ministère le mercredi 24 sept 2008, la publication étant annoncée pour le 8 octobre*. Le lendemain à 9h45 le journal Le Monde annonce qu’il s’est procuré l’étude et parle d’un résultat significatif pour les observants. Daniel Floret, constatant que la presse s’était  déjà emparée du sujet (informée par qui ?), annonce aussitôt  une conférence de presse pour l’après midi... Réunion en urgence du CTV (le dimanche qui suivait avait même dit son président ...) et de la Commission de pharmacovigilance le lundi avec publication de son compte-rendu le lendemain (généralement le délai est d'au moins 8 jours).

La conférence de presse de Marc Tardieu, annoncée pour le 8 octobre, jour de la publication de l'étude, est INTERDITE par le ministère une heure avant au motif qu’il ne pouvait parler le jour de la publication de l’avis du HCSP ...  Elle n’aura JAMAIS lieu ...Le 18 octobre, dans un communiqué, l’Académie de Médecine s’inquiète de cette précipitation désordonnée ...Fin octobre le journal Le Monde s'inquiète de la conférence de presse de Marc Tardieu qui n'a toujours pas eu lieu. Le 4 mars 2009, à un colloque sur les vaccinations organisé par des parlementaires à la Maison de la Chimie, le sénateur Paul Blanc annoncera que Marc Tardieu devait venir mais ''il n'est pas venu'' se contentera-t-il de dire...

* Pour l'anecdote, c'est la revue britannique qui allait publier l'article qui avait lancé l'affaire en annonçant que la publication, prévue pour le mois de décembre, était avancée de 2 mois en raison d'un résultat important pour la France. Notons que la Grande Bretagne ne vaccine pas les enfants contre l'hépatite B, (de même d'ailleurs que la Suède ainsi que d'autres pays européens). Cette initiative a sans doute surpris les auteurs qui avaient prévu d'annoncer le résultat par une conférence de presse le 8 octobre ...

.
 

 

Aussi incroyable que cela puisse paraitre, il n’y avait en réalité AUCUN signal !!!
OUI, C’EST VRAI !!!

 

 

Le groupe des "observants au calendrier vaccinal"

 

Le 8 octobre 2008 les auteurs publiaient [3] un résultat significatif relatif au sous-groupe qualifié ''d'observants au calendrier vaccinal", c'est à dire les enfants, cas et témoins, ayant reçu 4 DTP, 1 ROR et 1 BCG avant l'âge de 2 ans. Bien que publié près d'un an plus tard, ce résultat complète les données et tests de la publication de décembre 2007 sur l'apparition de la sclérose en plaques. Les auteurs y ont trouvé un facteur d'exposition donnant un signal statistique avec OR=2,77 et IC 95% [1,23 6,24]. Voici les données :

« Observants au calendrier vaccinal »

Vaccinés hépatite B

72 cas dont 30 vaccinés

Engerix B

347 témoins dont 91 vaccinés Engerix B

Engerix B < 3 ans

11

43

Engerix B > 3 ans

19

48

Non Vaccinés

Engerix B

42

256

 

Pour que ce soit clair, les 72 cas et leurs 347 témoins étaient tous observants au calendrier vaccinal. Le groupe significatif est caractérisé par (ligne 3) :

1- les cas avaient été vaccinés par Engerix B ;

2- la première atteinte démyélinisante est apparue plus de 3 ans après cette vaccination.

Il s'agit donc d'un test sur un délai. En conséquence, la bonne méthode consiste à comparer directement les nombres de cas apparus au cours des 3 premières années et du délai complémentaire, soit 11 cas d'une part et 19 d'autre part. Il faut tester avec la seule modélisation disponible dans cette situation, une loi de Poisson. Cela demande des délais précis, aussi je vais supposer que les 19 cas apparus au delà des 3 premières années le furent au cours des années 4, 5 et 6 cumulées. Comme le résultat ne sera pas significatif, il le serait encore moins s'il y avait moins de cas sur cette période. On compare donc 11 et 19 sur une même durée en supposant que les nombres de cas apparus suivent une même loi de Poisson. Le test donne une probabilité de 7,1% pour observer un tel écart, ce qui n'est pas significatif (il faudrait <2,5% au niveau usuel du test en épidémiologie).

La question se pose alors : pourquoi le test cas-témoins est-il significatif alors que celui qui porte directement sur les cas ne l'est pas ? La réponse est double :

1- Le test cas-témoins compare les cas aux témoins. Un résultat significatif signifie seulement que les cas et les témoins se comportent de la même façon par rapport au délai testé et à son délai complémentaire. Il ne dit pas comment se comportent les cas, ce que fait le test sur les cas.

Les auteurs (mais c’est général) utilisent le cas-témoins pour tester sur des délais, ce qui est une aberration mathématique car les délais constituent par eux-mêmes un système de référence : il faut statistiquement le même nombre de cas sur des durées égales, par exemple chaque année. En utilisant des témoins on introduit un deuxième système de référence qui n'a rien à faire dans l'étude de la répartition des cas selon les délais. J'ai déjà étudié cette question sur ce blog

http://questionvaccins.canalblog.com/archives/2015/10/31/32861683.html

2- Le test cas-témoins pratiqué par les auteurs comporte une erreur technique monumentale : ils ont conservé dans les calculs les cas et témoins non vaccinés Engerix B pour lesquels le délai entre la vaccination par Engerix et la date index n'est pas défini. Cela revient, analogiquement, à introduire dans les calculs des souris non fécondées pour étudier une durée de gestation !

Voir à ce sujet le diaporama de ma communication au congrès Adelf-Sfsp des 4-6 octobre 2017 à Amiens  (association des épidémiologistes de langue française et société française de santé publique)

www.adelf-sfsp.fr/?p=15493

 

Si on  supprime ces cas et témoins en conservant les 30 cas et 91 témoins vaccinés Engerix, le test cas-témoins n'est plus significatif avec une probabilité associée de 15,7%. Cependant, il faudrait aussi retirer des 91 témoins ceux qui sont associés à d'autres cas que les 30 cas vaccinés Engerix. Un cas non vacciné hépatite B peut fort bien avoir des témoins vaccinés Engerix. Les données publiées ne permettent pas de savoir ce qu'il en est. Quoiqu'il en soit, ce type de test n'a pas d'intérêt réel ici.

 

Conclusions 

1- Les auteurs ne savent pas tester correctement sur des délais.

2- Les commentateurs ''autorisés'' ne savent pas mieux faire. Dans l'incapacité d'appliquer une méthode valable, ils ont cherché à casser la portée médiatique du signal en invoquant le risque de première espèce, ce qui est pour le moins inadapté car il demande un renouvellement des données. Ils ont confondu la multiplicité des tests obtenue en explorant les données (on fait varier l'objet du test) avec une multiplicité obtenue en renouvelant les données, ce qui  pratiquement est certainement très rare avec des données médicales.

3- Cette carence dans l'application des tests statistiques n'est pas de la seule responsabilité des auteurs et commentateurs. Elle est d'abord celle de la discipline qui les a formé et de ses maitres.

4- Auteurs et commentateurs n'ont pas montré qu'il n'existait pas de signal sur un autre délai que celui choisi, par exemple pour les années 3+4 cumulées.

Voici une simulation compatible avec les données publiées et qui en montre la possibilité avec 16 cas sur les années 3+4 cumulées, 7 pour chacune des années 1+2 et 5+6 cumulées. La probabilité significative associée au test est 2,1%.

 

 

Années

Cas

1

14

2

14

3

18

4

16

5

9

6

3

>6

6

CAS

Engerix B

11 cas

19 cas > 3 ans

Simulation Répartition par année

3

4

4

12

4

3

0

Répartition 2 années cumulées

7

16

7

0

 

 Comment le signal absent sur les cas a-t-il été crée par les témoins ?

On peut le comprendre facilement : il y a 2,5 témoins exposés pour un cas exposés (48/19). Mais pour ceux qui ne devraient pas figurer dans les calculs car non vaccinés par Engerix B, il y a 6 témoins pour un cas (256/42). C’est cela qui crée le signal qui n’existe que parce que les auteurs ne savent pas utiliser correctement les tests statistiques, mais ils ne sont pas les seuls. Ils ne sont pas  individuellement responsables, d’ailleurs personne ne s'en était aperçu.

 

 Tout cet affolement parce que les experts trouvent normal, comme allant de soi, que l’on peut introduire dans les calculs des cas non vaccinés pour étudier une durée d’incubation (analogiquement des souris non fécondées  pour étudier la durée de gestation).

A peine croyable !!!

Avec ce système qui poursuit imperturbablement sa route et qu'on appelle la santé publique, la santé du public est entre de bonnes mains !!!

 

Un biais de sélection caractérisé

 

En réalité il existe aussi, pour couronner le tout, un biais de sélection vers lequel j'ai été conduit en me faisant la remarque suivante : si le fait d'être ''observant au calendrier vaccinal'' favorisait l'apparition d'atteintes démyélinisantes et de scléroses en plaques après vaccination hépatite B, cela devrait réduire la durée entre cette vaccination et l'apparition de la maladie. Le signal devrait donc se manifester de préférence sur les premières années plutôt qu'au delà.

 

Années

1, 2 et 3

>3

Cas Engerix B

25

25

Cas Engerix B et ''observants''

11

19

 

On constate que le critère ''observants'' élimine beaucoup plus de cas (14) parmi les 3 premières années que les suivantes (6) alors que les nombres de vaccinés Engerix B sont initialement les mêmes (25). Il y a au moins une raison bien spécifique à cela. En effet, ceux qui ont été vaccinés dans les 3 années qui précèdent la barrière à 16 ans ne pourront pas figurer parmi ceux dont la première atteinte est apparue au delà des 3 premières années : n'étaient retenus dans l'étude que ceux dont la première atteinte apparaissait avant la limite de 16 ans. Ceux vaccinés par exemple en 1996 à l'âge de 14 ans  étaient nés en 1982. Il y avait donc très peu de chance pour qu'ils recoivent le vaccin ROR avant l'âge de 2 ans. Aussi, ce critère les élimine automatiquement. Par contre, ceux qui figurent parmi les 25 cas vaccinés Engerix B et apparus au delà de la troisième année avaient obligatoirement été vaccinés plus jeunes (en particulier en classe de sixième au collège entre 1994 et 1998) et pouvaient donc être nés plus tard, ce qui offrait plus d'opportunités pour qu'ils aient aussi reçu le ROR avant l'âge de 2 ans.

 

Il s'agit donc là d'un biais de sélection caractérisé qui ne permet pas d'étudier la question posée par les moyens utilisés. Il faudrait procéder ainsi : les auteurs connaissent les dates des vaccinations hépatite B ainsi que les dates d'apparition de la première atteinte ainsi que de la sclérose en plaques. Ils disposent aussi du carnet de santé. Il devrait donc être possible d'étudier si on observe des différences significatives entre ces délais selon le statut vaccinal de l'enfant en évitant de mélanger des enfants ayant des suivis très différents comme des enfants vaccinés à 11 ans et d'autres à 15 ans par exemple avec la même  barrière à 16 ans. Il devrait paraitre indispensable d'étudier tout particulièrement ceux qui ont été vaccinés au collège en classe de sixième et qui ont tous le même suivi. Il est invraisemblable que cela n'ait pas été fait.

Par exemple, avec les données disponibles on peut dire que l'âge moyen de la première atteinte démyélinisante pour ceux qui convertiront  en sclérose en plaques est 11,5 ans contre 7,8 pour les premières atteintes  démyélinisantes non SEP. Comme la date retenue est la date de la première atteinte et non du début de la SEP proprement dite (la seconde atteinte) les âges des 2 groupes peuvent être comparés. Cet écart de 3,7 années est énorme comparé aux âges absolus. Que deviendraient ces âges moyens si on en disposait pour les vaccinés hépatite B seuls et non pas regroupés avec les non vaccinés ?

 

Une fois de plus, force est de constater que les auteurs et les experts ne savent pas travailler, les uns pour ne pas avoir fait ce que je viens d'expliquer, les autres pour ne pas avoir vu que c'était ainsi qu'il fallait étudier la question posée et tous pour s'enferrer avec des tests statistiques réalisés n'importe comment et dans n'importe quelles conditions.

 

Je ne voudrais pas paraître méchant mais si je dis que les Shadocks sont dépassés,

est-ce que j'exagère ?

 

Force est de constater que les politiques de santé publique comme les conditions de reconnaissance des victimes de ces politiques s'appuient sur des ''études'' présentées comme scientifiques alors que leurs conclusions s'appuient sur des erreurs monumentales qui pourraient rendre ridicule s'il n'était pas dangereux, le "système d'expertise'' qui les a produites.

 

 

ANNEXE

 

J'avais montré dans d'autres articles qu'il existait un signal statistique très fort sur la répartition dans le temps des cas de sclérose en plaques chez les enfants (publication Y.MIkaeloff; M.Tardieu de décembre 2007 [2]) : avec 62 cas apparus au cours des 4 premières années contre 12 pour les 2 années suivantes, on a 1,5 chances sur 10000 d'observer un tel écart par le seul fait du hasard.

 

La répartition par année des 80 cas de sclérose en plaques vaccinés hépatite B dans cette publication se distribue ainsi successivement :

 

14;  14 ; 18 ; 16 ; 9 ; 3 ; 6

 

On peut alors tout à fait envisager que ce signal se maintienne sur des sous groupes même si la probabilité associée au test pourra être plus faible en raison de la baisse des effectifs. Comme dans la simulation précédente, supposons qu'il y ait 12 cas vaccinés Engerix B apparus au cours de la quatrième années qui suivait la vaccination. Il en reste au plus 30-12=18 cas répartis sur les années 1, 2, 3, 5 et 6 cumulées s'il n'y en a aucun au delà de la sixième année. En modélisant par Poisson, la seule modélisation possible, on obtient alors un signal indiquant un excès significatif de cas sur l'année 4 par rapport aux 5 autres regroupées avec une probabilité de 0,93% d'obtenir un tel écart par la seule action du hasard.

 

CALCULS : je les montre ici pour qu'ils puissent être vérifiés. La modélisation consiste à admettre que la variable aléatoire Xi donnant le nombre de cas apparus au cours de l'année i suit une loi de POISSON dont la variance théorique est égale à la moyenne théorique comme pour toutes lois de POISSON. On fait l'hypothèse que les 6 variables aléatoires Xi ont toutes la même moyenne théorique. On les approximent par la  loi normale de même moyenne et ayant une variance égale à cette moyenne.

 

La variable aléatoire Y=X4-[(X1+X2+X3+X5+X6)/5] aura une moyenne théorique nulle et sa variance théorique sera la somme des variances soit VarY=VarX4+[Var(X1+X2+X3+X5+X6)/5². VarXi est inconnue mais on estime par les valeurs observées, soit VarX4 estimée par la moyenne observée 12 puisque la moyenne théorique est égale à la variance. De même on estime la somme des variances des X1, X2, X3, X5, X6 par 18/25. Aussi, on estimera Var X4 par 12+18/25.

 

Sur l'observation, la variable aléatoire Y prend la valeur 12-18/5. Il devient alors possible d'effectuer les calculs. qui donnent la probabilité 0,93%.

 

Autres possibilités :

 

1- Au sein des "observants au calendrier vaccinal" on peut aussi rechercher une simulation, à défaut de connaitre les données non communiquées par les auteurs, sur les 4 premières années qui suivent la vaccination hépatite B sans se limiter au seul vaccin Engerix B. Il y a 45 cas vaccinés hépatite B et on peut vérifier qu'avec 36 cas sur les 4 premières années un signal apparait (probabilité associée au test 1,7%). Il y en a déjà 20 sur les 3 premières années.  Sur la quatrième année on peut obtenir les 16 cas manquants avec 12 cas vaccinés Engerix, 3 vaccinés Genhevac et 1 avec un autre vaccin.

 

Compte tenu de la répartition générale des cas selon les années, ces simulations ne sont nullement invraisemblables. On y constate en effet une chute du nombre de cas sur les années 5 et 6. C'est pourquoi il n'est nullement invraisemblable qu'il y ait beaucoup de cas concentrés sur la quatrième année, bien au contraire.

 

2- Sur l'ensemble des cas il existe aussi un signal en regroupant les années 3 et 4 qui donnent 34 cas par rapport aux années 1, 2, 5 et 6 qui regroupent 40 cas sur une durée double de 4 ans :   probabilité 1,74% .

Pour un autre type d'erreur dans le traitement de ces données, voir mes commentaires sur le blog  d'Alexis "Si on commence à critiquer les avis de l'EMA ..."

http://www.etudes-et-biais.com/etat-des-lieux-de-mes-relations-avec-lagence-europeenne-des-medicaments/

 

[1] https://academic.oup.com/brain/article/130/4/1105/275673 Texte complet en accès libre.

[2] http://archpedi.ama-assn.org/cgi/content/full/161/12/1176 Texte complet en accès libre.

[3] http://www.ncbi.nlm.nih.gov/pubmed/18843097 Résumé seulement.

[4] INSERM Institut National de la Santé et de la Recherche Médicale https://www.inserm.fr/sites/default/files/media/entity_documents/Inserm_MiseAuPoint_Vaccins_2017.pdf

[5] http://www.txrating.org/spc/polycop/odds%20ratio.htm