N°5 La force des recommandations vaccinales : un critère sans véritable signification ?

 Contribution n° 5 au rapport Gradation

Dans mes premières contributions au rapport Gradation* j'avais présenté des exemples indiscutables qui révèlent l'existence de très gros problèmes concernant les études cas-témoins, tout particulièrement quand elles sont appliquées aux vaccinations en raison du calendrier vaccinal qui organise celles-ci en classes d'âge se succédant au pas cadencé comme un défilé militaire (voir les contributions n°1 et n°2)*. Comme je l'ai montré, cela peut tuer l'aléatoire nécessaire pour maintenir une indépendance suffisante entre l'exposition des cas et de leurs témoins associés et neutraliser des signaux forts.

*Les précédentes contributions :

 N°1 : http://questionvaccins.canalblog.com/archives/2016/03/18/33532611.html

N°2 et 3 : http://questionvaccins.canalblog.com/archives/2016/03/28/33580870.html

N°4 : http://questionvaccins.canalblog.com/archives/2016/03/28/33582629.html

Pour les raisons de ces contributions et les  liens voir le N°1

Voici ma contribution n° 5 au rapport Gradation envoyée au HCSP  :

"Oui, j'ai encore des choses à dire sur ce rapport Gradation. Je propose ici :

1- Peut-on tester la qualité d'un ajustement en cas-témoins ?

2- Exercice d'application : apprécier les résultats de Langer Gould sur la vaccination hépatite B

 Tester la qualité d'un ajustement en cas-témoins

Chacun sait qu'après avoir procédé à une régression linéaire, on cherche systématiquement à apprécier la qualité de cet ajustement par le coefficient de corrélation linéaire. Chacun sait aussi que si la note est trop mauvaise il faudra chercher autre chose. Il serait tout aussi essentiel de pouvoir apprécier la qualité d'un ajustement de données cas-témoins par régression logistique. Cela ne se fait semble-t-il jamais. Faute sans doute d'un indicateur analogue au coefficient de corrélation.

Je pense qu'il est possible de proposer un indicateur simple et très facile à mettre en œuvre. Disposant des nombres a et b de cas exposés et non exposés ainsi que des nombres a' et b' de témoins exposés et non exposés on calcule l'odds ratio directement par le rapport des odds a/b et a'/b' ainsi que la variance 1/a+1/b+1/a'+1/b' permettant de calculer la probabilité P associée à la valeur observée OR, à savoir la probabilité d'obtenir une valeur au moins aussi grande que la valeur obtenue pour l'odds ratio.

Disposant de la variance fournie par l'ajustement (si on est auteur) ou de l'OR et de l'IC résultant de l'ajustement si on est seulement lecteur, on peut calculer aussi la probabilité p associée.

On pourra alors apprécier l'écart relatif P/p (ou p/P) entre les 2 probabilités. S'il est trop important il indiquera que les données sont très éloignées d'une distribution binomiale, donc que le résultat du test pourrait être litigieux et qu'il vaudrait mieux chercher une partition judicieuse pour tenter de réduire cet écart.

D'abord un exemple de cette situation :

Dans la publication Langer Gould, je traite ainsi le tableau des résultats sur les délais entre l'apparition d'une ADSN et la dernière vaccination pratiquée chez les moins de 50 ans. Il a été retenu 588 cas pour 2927 témoins pour ce groupe des moins de 50 ans. J'ai mis en bleu les nombres calculés par moi-même.

Durée	OR	IC	Proba p	Cas	Témoins	OR	Proba P
14j	2,32	1,18 ; 4,57	0,73%	14	29	2,44	0,34%
30j	1,57	0,96 ; 2,58	3,61%	24	74	1,64	1,93%
42j	1,11	0,72 ; 1,71	31,83%	30	116	1,3	10,39%
90j	1,09	0,8 ; 1,5	29,25%	65	257	1,29	4,09%
180 j	1,03	0,79 ; 1,33	41,36%	113	467	1,25	2,61%
1 an	1,05	0,85 ; 1,30	32,50%	195	854	1,2	2,70%
3 ans	1,07	0,87 ; 1,30	26,00%	301	1362	1,21	1,96%

Si les écarts sont acceptables à 14 et 30 jours, on constate que non seulement l'écart relatif mais aussi l'écart absolu deviennent très importants dès le délai de 42 jours. Ils deviennent maximum pour 180 jours (p=41,36% ; P=2,61%) tout en restant encore très élevés à 3 ans.

La probabilité P correspond en fait, en version multiplicative odds ratio, à un test classique de comparaison de 2 binomiales* où on suppose donc que chaque cas a une même probabilité p1 d'avoir été exposé et de même pour chaque témoin avec une probabilité p'1. On teste p1=p'1.

• A titre indicatif le test de comparaison de 2 binomiales donne pour 180 jours la probabilité 3,2% (avec un estimateur sans biais de la variance) contre 2,61% avec l'odds ratio direct ( 2,59% avec un estimateur biaisé, le plus souvent utilisé).

Entre 42 jours et 3 ans on a donc une très forte indication que les cas et témoins ne se répartissent pas selon des lois binomiales. Cela devrait signifier que la probabilité qu'un cas (ou un témoin) ait été vacciné dans les 180 jours (par exemple) qui précède la date index est très variable selon le cas ou le témoin. Très vraisemblablement ces écarts sont liés tout particulièrement aux âges. On conçoit que cette probabilité ne sera pas du tout la même selon qu'il s'agit d'un enfant ou d'un adulte de 45 ans. L'ajustement sur l'âge pourra alors mettre en évidence ces différences en accentuant les écarts entre les 2 tests. On doit alors se poser la question : est-il légitime de s'en tenir à un test global, même après ajustement ? Pour avoir une réponse plus sûre il faudrait tester sur des sous-groupes pour voir si on obtient des résultats très différents du résultat global.

En conclusion, quand cet indicateur s'allume cela doit inciter à poursuivre les investigations et non à s'arrêter au groupe total. C'est d'abord un indicateur de recherche, non de jugement.

Cependant,si l'indicateur ne se déclenche pas cela ne signifie pas pour autant que les distributions des cas et témoins seraient binomiales. On peut en donner un exemple avec les données Tardieu 2007 : 143 cas dont 80 vaccinés avec 1122 témoins dont 609 vaccinés. Les auteurs donnent OR=1,10 IC [0,71 1,69] soit une probabilité p=33,48% contre OR=1,07 et P=35,32%. On constate que les 2 probabilités sont très proches alors que les données ne sont pas du tout binomiales. Mais les probabilités d'avoir été vaccinés sont d'environ 25-27% chez les plus jeunes, de 75-80% chez les collégiens en sixième et de 45-50% chez les ados. Or les binomiales B(n ; p) et B(n ; 1-p) ont la même variance np(1-p), ce qui est le cas avec 25% et 75% ou 26% et 78%. De plus 50% est la moyenne entre 25% et 75%. Cette situation numérique particulière à pu neutraliser l'indicateur qui n'est donc qu'un semi-indicateur.

Exercice d'application

Je propose d'appliquer aux résultats obtenus par Langer Gould sur la vaccination hépatite B les méthodes de travail que j'ai progressivement dégagées.

Il a été retenu 780 cas pour 3885 témoins, tous âges confondus (il avait été demandé 5 témoins par cas soit 3900).

Le premier tableau des auteurs concernent l'apparition d'atteintes démyélinisantes du système nerveux (ADSN) dans les 3 ans qui suivent une vaccination hépatite B. Plusieurs délais ont été retenus, de 42 jours à 3 ans. J'ai complété les résultats par les probabilités associées aux tests, à savoir la probabilité d'obtenir une valeur au moins aussi grande que celle observée. Mes propres calculs seront en bleu.

Délai	42 jours	90	180	1 an	3 ans
Odds ratio	0,4	0,5	0,4	0,47	1,12
Probabilité associée	80,61%	81,52%	91,79%	94,89%	30,76%
IC 95%	[0,05 ; 3,24]	[0,11 ;  2,30]	[0,11 ; 1,40]	[0,19 ; 1,13]	[0,72 ; 1,73]

L'observateur est immédiatement frappé par le fait que OR, au plus égal à 0,5 jusqu'à 1 an, devient supérieur à 1 pour le délai de 3 ans, soit 2 ans plus tard alors que ce résultat inclut la période jusqu'à 1 an. La variation des probabilités associées est encore plus spectaculaire : on passe de 94,89% à 1 an à 30,76% à 3 ans.

C'est beaucoup plus lisible que sur les IC, il faut le reconnaître ! On voit ainsi le premier point positif de la méthode proposée.

On pense alors aussitôt à regarder le nombre de cas apparus au cours des années 2 et 3 cumulées, soit 25 cas apparus au cours des seconde et troisième année qui suivaient la vaccination contre 6 au cours de la première.  6 cas sur 1 an  pouvant donner 12 cas sur 2 ans contre 25 observés, un tel écart devrait être considéré comme une première alerte sans s'occuper de son caractère possiblement non significatif. Voici les résultats que j'ai obtenu en cas-témoins direct :

Délai	Cas exposés	Témoins exposés	OR direct Test	OR ajusté Test
1 an	6	56	OR= 0,53 92,94%	OR=0,47 94,89%
3 ans	31	127	OR=1,22 16,06%	OR=1,12 30,76%
Années 2+3	31-6=25	127-56=71	OR=1,78 0,73%	Calcul Impossible

On voit que le résultat est significatif (0,73% < 2,5%) et devrait donc interpeller.

Le premier intérêt de ce résultat est qu'ils montre, contrairement à ce qu'affirment les auteurs et les commentateurs, que l'étude ne met pas seulement en évidence un risque à très court terme (moins de 30 jours, interprété comme signifiant que la démyélinisation avait déjà commencé et que la dernière vaccination pratiquée l'aurait seulement accélérée) mais que l'étude aurait pu aussi montrer un risque à plus long terme, au delà d'un an.

On peut constater un phénomène analogue pour la sclérose en plaques (SEP) après vaccination hépatite B (second tableau des auteurs) : jusqu'à 1 an les odds ratio relatifs aux différents délais sont très largement inférieurs à 1 (0,41 ; 0,26 ; 0,69) pour passer à 1,36 à 3 ans.

Là aussi, la période des années 2+3 donne 14 cas exposés pour 35 témoins avec un odds ratio direct (non ajusté) OR=2,01 et la probabilité associée 1,42% significative.

Délai	Cas exposés	Témoins exposés	OR direct Test	OR ajusté Test
1 an	4	31	OR=0,64 79,82%	OR=0,69 74,60%
3 ans	18	66	OR=1,37 12,25%	OR=1,36 14,47%
De 1 an à 3 ans	14	35	OR=2,01 1,42%	Calcul impossible

Pour ceux qui se demanderaient si le test ajusté pourrait donner un résultat très différent, à défaut d'être plus fiable, observons que pour 1 an et pour 3 ans les résultats ''directs'' et ''ajustés'' sont très proches. C'est une indication en faveur d'un écart minime entre les 2 tests pour le délai intermédiaire.

Validité des tests cas-témoins sur ces exemples

Conformément à ce que j'ai exposé, il faut évidemment regarder si les témoins vaccinés hépatite B se répartissent à peu près linéairement selon les délais de 1 an et de 2 ans. Dans le premier cas il y en a 56 sur la première année contre 71 pour les 2 années suivantes soit nettement moins que le double. Pour apprécier l'impact de cette distribution insuffisamment aléatoire des témoins exposés, on peut prendre les 2/3 des 127 témoins sur 3 ans pour les attribuer aux années 2+3, soit 84 témoins au lieu de 71 (et donc 43 témoins pour la première année). Le test direct avec cette nouvelle valeur donne la probabilité 3,98% non significative car >2,5%*. Elle serait cependant significative avec un test bilatéral à 10% (IC à 90%).

* Je lis page 17 du rapport :

« L’hétérogénéité peut être évaluée de manière statistique en fonction de la valeur de p (p≥0,05 : test non significatif) »

Comme les IC utilisés sont généralement bilatéraux, les 5% qui complètent les 95% se répartissent de part et d'autres de l'IC, soit 2,5% et non pas 5%.

Tests sur les cas

On peut alors vouloir comparer les résultats obtenus avec ceux des tests sur les cas, sans utiliser les témoins. Je décris la méthode en détails. On considère les variables aléatoires X et Y donnant les nombres de cas apparaissant la première année et les 2 années suivantes et qui donnent les valeurs observées 6 et 25. On modélise les lois de probabilités de X et Y par des lois de Poisson P(a) et P(b) dont leurs paramètres a et b seront à la fois les moyennes et les variances de X et Y. Les variances de X et Y seront estimées ici par 6 et 25.

Pour poursuivre on est obligé de les approximer par les lois normales ayant les mêmes moyennes et variances, soit les lois N(a ; a) et N(b ; b) pour X et Y. Cette approximation permet de considérer que la variable aléatoire Y/2-X suivra une loi normale N(b/2-a ; b/2²+a). On teste l'hypothèse ''nulle'' se traduisant par a=b/2 qui exprime que le nombre de cas apparaissant au cours de chacune des 3 années considérées suit la même loi de Poisson. On estime alors la variance par les valeurs observées soit 6+25/4. On peut alors tester avec la valeur observée 25/2-6 pour Y/2-X. La probabilité associée au test vaut 3,16%>2,5% donc non significative par un test bilatéral au seuil 5% (ou par un IC à 95%). Elle est cependant tout à la fois proche de 2,5% et de 3,98%. Les résultats des 2 méthodes paraissent donc équivalents.

On peut toutefois noter qu'une loi de Poisson de moyenne 6 n'est pas très bien approximée par une loi normale. Le test cas-témoins s'appuyant aussi sur des lois normales il subit les mêmes limitations. Ici les résultats sont comparables.

Il faut aussi faire les calculs analogues avec le second tableau relatif à la SEP. On a 66 témoins sur 3 ans, soit 44 sur 2 ans quand on les répartit à la proportionnelle. En cas-témoins on obtient la probabilité 6,56% contre 13,67% en testant sur les cas par Poisson.

Une simulation significative compatible avec les données

Les auteurs n'ont communiqué aucune donnée intermédiaire entre 1 et 3 ans, par exemple à 2 ans. On peut le regretter. Cependant, il est possible de proposer des simulations compatibles avec les données publiées donnant un écart largement significatif en faveur de la responsabilité du vaccin hépatite B dans l'apparition d'ADSN sur la période 3-4 ans après la vaccination.

On a observé 6 cas la première année (3+3 chaque 6 mois) et 25 au cours des 2 années suivantes. Faute de données intermédiaires on peut proposer par exemple 9 cas sur les 18 premiers mois et 22 sur les 18 mois suivants qui est significative (probabilité < 1% en testant par Poisson).

D'autant plus que le résultat significatif obtenu sur 14 jours ayant confirmé qu'une vaccination quelconque pouvait précipiter l'évolution d'une ADSN, il est possible qu'une vaccination ayant suivi la vaccination hépatite B aurait réduit la durée d'incubation de la maladie et donc modifié la répartition des cas selon les délais. Il faudrait donc rechercher parmi les cas vaccinés hépatite B si cette vaccination aurait pu être suivie d'une autre avant l'apparition de la maladie.

On peut proposer d'autres simulations comme 6, 19, 6 pour les 3 années successives qui donnerait un pic sur la seconde année. Peut-être non significatif mais qui devrait quand même interpeller. Ou encore 6, 6, 19. On ne pourrait alors exclure d'avoir 19, 6, 6 pour les années 4, 5 et 6, ce qui donnerait 12, 38, 12 par intervalles de 2 années, soit un beau pic significatif sur les années 3+4.

On peut dire qu'avec des si ... Mais justement, si les auteurs voulaient démontrer leurs affirmations il fallait qu'ils publient suffisamment de données pour invalider ce type de simulation. Faute de cela il n'est pas sérieux de soutenir comme le font Daniel Floret et les auteurs :

« cette étude montre qu'à échéance de trois ans après la vaccination il n'existe pas de lien statistique avec la vaccination contre l'hépatite B (OR 1,12 [0,72- 1,73]). »

Ce doit être très clair, cette publication ne permet absolument pas de démontrer cela ! Elle démontre par contre clairement la faible capacité d'investigation des auteurs et des commentateurs qui ont simplement oublié, entre-autres, de s'intéresser aux cas apparaissant par exemple au bout de 2 ans, donc au cours de la seconde année, sautant un peu vite de 1 à 3 ans. Il était pourtant essentiel de contrer par avance toute possibilité de simulation significative afin d'asseoir la conclusion principale sur des bases plus consistantes.

C'est une faute grossière qui obligerait à baisser encore la note si c'était possible

A propos du vaccin HPV Daniel Floret commente ainsi  :

« Concernant la vaccination HPV, dans les 3 mois suivant la vaccination, on observe une tendance non significative à l'augmentation des cas de SEP (OR 2,25 [0,76- 6,65]) mais pas des autres manifestations inaugurales, ce qui ne va pas dans le sens d'un effet réel. »

Mais pourquoi donc ? Et s'il y avait au contraire aggravation, comme on l'a déjà rencontré avec la vaccination hépatite B chez les enfants (données Tardieu ; voir mon second mèl). Pourquoi ne pas concevoir que certaines manifestations inaugurales qui seraient restées sous cette forme sans cette vaccination, auraient évolué en sclérose en plaques par l'action de celle-ci ?

Conclusion

Il faut certainement plus de 2 heures pour faire l'analyse que je viens de développer sur seulement une partie de la publication Langer Gould et sur un aspect (je ne m'occupe pas de la phase 1, la collecte des données). Certes il s'agit seulement de mettre une note à la publication, non pas de faire l'étude à la place des auteurs qui, il faut le reconnaître objectivement, n'ont pas vraiment étudié les données qu'ils avaient rassemblées. Le même constat navrant s'applique aussi aux publications Tardieu et ce ne sont sans doute pas les seules.

Une expérience à faire ?

Proposer à des épidémiologistes de plancher sur cette partie de la publication Langer Gould concernant la vaccination hépatite B pour voir ce qu'ils trouveraient à en dire et ensuite leur montrer ce que je propose ici. Ce pourrait être très intéressant pour tout le monde. Qu'en pensez-vous ?

Daniel Floret a déjà remis sa copie sur mesvaccins.net. C'est une copie conforme mais il n'est pas épidémiologiste. Que produiraient les professeurs de statistiques de l'EHESP ? Et que penseraient-ils des réponses que je propose ? J'aimerais avoir un jour les réponses...

Daniel Floret sur mesvaccins.net

https://www.mesvaccins.net/web/news/6111-vaccinations-et-affections-demyelinisantes-du-systeme-nerveux-une-nouvelle-etude

La suite de mes contributions :

  N° 6 et 7  http://questionvaccins.canalblog.com/archives/2016/03/28/33582686.html

 N° 8  http://questionvaccins.canalblog.com/archives/2016/04/09/33643161.html

 N°9  http://questionvaccins.canalblog.com/archives/2016/04/13/33660052.html

 N°10 http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html