On a vu dans les articles précédents [1], [2] et [3] que le test associé aux études cas-témoins consistait à comparer 2 proportions, celles des cas exposés (vaccinés par exemple) avec celle des témoins exposés au même facteur (vaccinés ).

Pour que les tests puissent être pratiqués dans les meilleures conditions, on a vu qu'il fallait que les cas vaccinés et les témoins vaccinés suivent des lois binomiales B(n ; p) et B(n' ; p'). On teste alors l'égalité entre p et p'. On a vu que des difficultés apparaissent dès que cette situation n'est plus réalisée car les tests s'appuient sur l'expression binomiale des variances, à savoir np(1-p) et n'p'(1-p') y compris la variance pour l'odds ratio qui est en relation avec l'expression :

1/np(1-p) +1/n'p'(1-p')

On a vu aussi que quand les cas et les témoins se partagent entre 2 groupes où les taux d'exposition (de vaccination) sont assez différents pour ne pas pouvoir être assimilables à des variations aléatoires, il est essentiel que les nombres moyens de témoins par cas soient les mêmes dans les 2 groupes.

Cependant, l'odds ratio utilisé dans les études épidémiologiques est l'objet de corrections sous la forme d'ajustements par régression logistique sur certains facteurs comme l'âge, le sexe ou la région. Il faudra donc se demander si ces ajustements pourraient corriger les biais qui apparaissent quand les conditions ne sont pas les plus favorables. Pour un glossaire de vocabulaire et de définitions on peut consulter ce glossaire médical [4] ou encore l'épidémiologie pour les nuls [4bis].

 

Nous verrons que ces ajustements semblent avoir pour effet de dispenser les auteurs des études de dissocier les données quand cela s'imposerait pourtant. Une conséquence sera que des signaux significatifs intéressants peuvent se trouver neutralisés alors qu'ils seraient apparus par une dissociation adéquate. La conclusion sera que la dissociation, quand elle est justifiée, prime l'ajustement qui peut bien entendu se faire ensuite sur chacune des parties issues de la dissociation.

Additif du 17/10/2016

Depuis la rédaction de cet article, j'ai complété ma réflexion dans 2 contributions au rapport Gradation du HCSP envoyées début 2016. Voir mes articles

N° 9  http://questionvaccins.canalblog.com/archives/2016/04/13/33660052.html

N° 10  http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html

Fin additif

EXEMPLE 1

On pourrait régler assez simplement et rapidement la question que je viens de poser. Supposons 50 cas dont 40 sont vaccinés avec 4 témoins par cas soient 200 témoins dont 100 vaccinés. L'odds ratio vaut 4 avec une variance estimée

1/40+1/10+1/100+1/100=0,145.

Le test par l'odds ratio donne 1,36/10000 qui est très, très significatif.

Supposons maintenant 50 autres cas dont 10 vaccinés avec 200 témoins dont 100 vaccinés. L'odds ratio relatif à la vaccination vaut 1/4 avec la même variance 0,145. Côté opposé, le test donnera la même probabilité car on compare le logarithme de l'odds ratio avec 0 et on sait que

ln(1/4)= - ln(4)

Le premier groupe était constitué de personnes âgées et le second d'enfants. Ayant regroupé les données pour former un groupe de 100 cas avec 400 témoins associés, le nombre de vaccinés sera 50 chez les cas et 200 chez les témoins Aussi l'odds ratio associé vaudra 1 : (50/50)/(200/200)

Il paraît clair que pour décrire une situation aussi contrastée il n'y aura pas d'autre alternative que de dissocier les 100 cas et 400 témoins en 2 groupes, les personnes âgées et les enfants. Il devrait donc paraître clair qu'il ne suffira pas de pratiquer un ajustement logistique conditionnelle associé à l'âge qui ne fournira qu'un seul odds ratio et un seul test par l'intervalle de confiance selon la coutume. Ce test n'a évidement aucune chance de produire un résultat significatif : pourquoi le serait-il d'un côté plutôt que de l'autre ?

 

Si le lecteur accepte cela comme démonstration convaincante du fait que les ajustements ne peuvent en aucun cas se substituer à une dissociation adéquate des données, il peut penser que les auteurs d'études veillent soigneusement à les réaliser quand ils s'imposent.

Que nenni comme diraient les servantes de Molière, on est très loin du compte ! C'est ce que je vais faire constater ci-après.

Si l'expérience aléatoire consiste à lancer des pièces de monnaies, la première question à se poser est "les pièces ont-elles toutes, à chaque jet, la même probabilité de tomber sur pile ?" Le lanceur pourrait se contenter, parfois, de lancer la pièce à plat sans la faire tournoyer en l'air.

Ces questions sont fondamentales. Il devrait en aller de même pour une étude cas-témoins où on veut étudier la relation entre une exposition à un vaccin par exemple et l'apparition d'une maladie comme une sclérose en plaques par exemple. Qu'en est-il ?

EXEMPLE 2

Les 2 publications Mikaeloff-Tardieu de décembre 2007 et du 8 octobre 2008 sur le lien entre la vaccination hépatite B et la sclérose en plaques (SEP) ou les atteintes démyélinisantes centrales (ADC) incluant les SEP. Rappelons que les enfants étaient indemnes d'atteintes démyélinisantes centrales au moment de la vaccination.

J'ai déjà publié sur ce blog 2 longs articles sur ces études [6] et [7] où le lecteur trouvera les liens vers ces études et de nombreuses indications.

Dans la publication 2007, les auteurs avaient retenu 143 cas de SEP dont 80 étaient vaccinés. Ils furent associés à 1122 témoins dont 609 vaccinés. En cherchant bien dans la publication j'ai pu trouver 4 nombres dispersés en 3 endroits différents : ils donnent les nombres de cas et de témoins ainsi que les nombres de vaccinés chez les enfants pour lesquels la première ADC n'était pas apparue avant l'âge de 10 ans. Il y en a 101 dont 70 vaccinés ainsi que 765 témoins dont 512 vaccinés. On obtient aussitôt les valeurs correspondantes pour les enfants de moins de 10 ans, soit 42 cas dont 10 vaccinés, 357 témoins dont 97 vaccinés. Voici les pourcentages de vaccinés parmi les cas et les témoins :

 

Pourcentages vaccinés

< 10 ans

> 10 ans

Total

CAS

23,81%

69,31%

55,94%

TEMOINS

27,17%

66,93%

54,28%

Témoins / Cas

8,50

7,57

7,85



CONSTATS

Quatre remarques importantes s'imposent :

1- Le principe du test est de comparer les proportions de vaccinés parmi les cas et les témoins. Nous constatons que les écarts sont énormes entre les moins de 10 ans et les plus de 10 ans : moins de 24% contre plus de 69% chez les cas entre les moins de 10 ans et les autres ; 27% chez les témoins de moins de 10 ans contre près de 67% chez les plus de 10 ans.

2- De plus, le taux de vaccinés chez les témoins de moins de 10 ans est supérieur aux taux chez les cas correspondants alors que c'est l'inverse pour les plus de 10 ans. Les 2 groupes allant en sens inverse, les cumuler ne pourra que contribuer à neutraliser tout signal éventuel.

3- De plus encore, la moyenne des témoins par cas est 8,5 chez les moins de 10 ans contre 7,57 chez les autres. J'ai montré dans [3] que pour cumuler 2 groupes il était très important que les moyennes des témoins par cas soient égales. Dans le cas contraire, le cumul accordera un poids plus important au groupe ayant la moyenne de témoins par cas la plus élevée. Ici c'est le groupe des moins de 10 ans dont la tendance est côté vaccin "protecteur". Le cumul favorisera donc cette tendance.

4- La durée d'observation n'est pas du tout la même selon les classes d'âge des enfants. J'étudierai ce problème plus loin.

Ce constat, facile et immédiat, imposait de créer au moins 2 groupes : les moins de 10 ans et les autres. Les auteurs ne l'ont pas fait !

Il FAUT comprendre que vouloir comparer les 55,94% de vaccinés

parmi les 143 cas aux 54,28% de vaccinés parmi les 1122 témoins est une question

pratiquement dépourvue de tout intérêt dans ces conditions !



C'est d'abord mon histoire de choux bio et pas bio racontée dans Comparaison de deux proportions, un fort risque d'occulter un signal ! [1]. Le problème est aggravé ici par les remarques 2, 3 et 4 ci-dessus.

Et ce n'est pas tout !

En effet, le groupe des plus de 10 ans n'est certainement pas homogène non plus : il contient les enfants vaccinés au collège en sixième entre octobre 1994 et juin 1998 soit 4 classes d'âge auxquels s'ajoutent les enfants vaccinés plus âgés*. Pour les premier, le taux de vaccination pourrait être de l'ordre de 80% et de l'ordre de 45-50% pour les plus âgés**. C'est donc au moins 3 groupes qu'il aurait fallu constituer : les classes d'âge vaccinées en sixième flanquées des plus jeunes et des plus âgés.

* Il pourrait inclure aussi des enfants vaccinés à l'âge de 7 ans, par exemple, puis ayant fait leur première ADC à 12 ans car c'est l'âge de la première ADC qui a été retenu et non celui de la vaccination. Pour leurs témoins associés, c'est cette date qui a été utilisée pour définir leur statut vaccinal. Les vaccinés sont donc ceux qui avaient reçu au moins une dose au moment de la première ADC du cas associé. Un tel cas pourrait donc avoir beaucoup de témoins vaccinés alors qu'au moment de sa propre vaccination ils étaient sans doute très peu nombreux (en gros, 80% contre 25%). Si de tels cas existent, cela constituerait une anomalie flagrante qui ne peut que favoriser un ods ratio faible en augmentant le nombre de témoins vaccinés.

** Une étude [5] sur la couverture vaccinale contre l'hépatite B réalisée par François Denis parle, page 120, des taux de vaccination "signalés après les campagnes de vaccination en milieu scolaire en 1994-95 de l'ordre de 75-82%".

De plus, il existe plusieurs indications en faveur du fait que le groupe des plus âgés pourrait, comme les plus jeunes, être orienté côté vaccin "protecteur'' en raison d'un défaut de notification. Ce défaut pouvant s'expliquer par l'arrêt de la prise en compte des cas après 16 ans (ou au 31 décembre 2003). Aussi, un adolescent vacciné tardivement disposait de moins de temps que d'autres enfants pour que sa première ADC apparaisse dans les limites définies par l'étude, la date retenue étant celle de la première atteinte.



Il serait donc essentiel de disposer des données concernant

le groupe des classes d'âge vaccinées en sixième



Un test très significatif

Grâce à la publication du 8 octobre 2008 on peut disposer de données sur l'ensemble des ADC regroupant les ADC simples et multiples (SEP) : 154 vaccinés parmi 349 cas associés à 2941 témoins dont 1398 vaccinés. Par soustractions avec les données pour la SEP on obtient les données pour les ADC simples : 349-143=206 ADC simples dont 154-80 =74 vaccinés ; 2941-1122 =1819 témoins associés dont 1398- 609=789 vaccinés.

Voici les résultats de différents tests qu'on peut pratiquer sur ces données (tableau ci-dessous). J'ai exposé dans l'article précédent [3] (voir aussi [1] et [2]) trois tests que j'ai nommé V, W et Z. Tous sont des tests binomiaux mais ce qui les distingue est une estimation différente de la variance. Pour la SEP j'ai appliqué le test Z à la partition "moins de 10 ans'' et "au moins 10 ans''. Pour le test global par Z j'ai ajouté les ADC simples. Pour la SEP on peut observer que le test Z est très proche du test par l'odds ratio ajusté proposé par les auteurs de l'étude. Notons cependant :

Aucun de ces tests n'a pu être appliqué dans des conditions pleinement satisfaisantes



Lorsque l'odds ratio OR est inférieur à 1, deux probabilités sont données, celle qui correspond à "au moins aussi grand que la valeur observée"'et son complémentaire à 1 qui correspond à "au plus aussi grand que la valeur observée" :

Comme les bornes de l'intervalle de confiance IC ont été calculées à partir de l'OR et de la variance, on peut retrouver la variance à partir de l'IC et de l'OR, ce qui m'a permis de calculer la probabilité d'obtenir au moins 0,81 qui vaut 93,88%. 



Dans la publication de 2008 les auteurs en sont resté là sur ce point. Fort heureusement la publication de décembre 2007 va permettre d'aller plus loin. On peut comparer les probabilités qui ont été calculées de la même façon. Pour ADC+SEP elle vaut 88,6% qui est une sorte de "moyenne" entre 35,32% pour les SEP et 98% pour le groupe complémentaire des ADC simples.

 

 

ADC simples

SEP

ADC simples + SEP

OR ajusté

Non publié

1,10 ; 33,48%

0,81 ; 93,88% ; 6,12%

OR direct

0,73 ; 98,00% ; 2,00%

1,07 ; 35,32%

0,87 ; 88,60% ; 11,4%

Test V

97,98% ; 2,02%

35,32%

88,6% ; 11,4%

Test W

97,11% ; 2,89%

35,32%

88,69% ; 11,31%

Test Z

Non applicable*

33,90%

89,91% ; 10,09%



* Non applicable faute de données permettant de réaliser une partition pourtant sûrement nécessaire.

Pour les ADC simples on peut constater que 2 tests donnent un résultat significatif côté "vaccin protecteur" : le test avec OR=0,73 calculé directement (sans ajustement) et le test V qui donnent 2,00% et 2,02%.

Ce résultat significatif exprime un déficit d'ADC simples chez les vaccinés. Où sont-ils passé ? Soit vers la case "rien" (effet protecteur), soit vers la case "SEP" (effet aggravant).

 

En fait on obtient ce résultat beaucoup plus simplement, sans faire appel aux témoins et avec un test beaucoup plus significatif :

EXEMPLE 3

Chez les enfants vaccinés il y a donc eu 154 ADC dont 80 se sont transformées en sclérose en plaques (SEP) contre 63 SEP parmi 195 ADC chez les non vaccinés. Les probabilités d'évolution d'une ADC simple en SEP peuvent ainsi être estimées par 80/154=51,95% chez les vaccinés et par 63/195=32,31% chez les non vaccinés. A vue, l'écart parait très important alors que les nombres absolus sont assez élevés, ce qui est favorable à un résultat significatif. Voilà une observation facile à faire et qui aurait pu au moins alerter (elle le peut toujours !)

On peut préciser par les tests de comparaison de 2 lois binomiales :

Test W : 9,2/100000 Test V : 11/100000 Tous les 2 sont proches de 1/10000

C'est donc très, très significatif, ce qui permet de formuler l'hypothèse :

 

Hypothèse

La vaccination hépatite B aurait fait évoluer en sclérose en plaques un certain nombre de cas qui sans cela n'auraient été que des ADC simples, (non SEP) dans la fenêtre d'observation.

Rappelons que les enfants ne souffraient d'aucune ADC au moment de leur vaccination.

 

Si on se contentait de traiter le groupe complet comme l'ont fait les auteurs, on passerait à côté d'une hypothèse très intéressante : l'effet "protecteur" de la vaccination contre les ADC simples pouvant être en réalité un effet aggravant les ayant fait évoluer vers une SEP.

 

 Notons que ce test ne fait pas appel aux témoins mais seulement aux cas observés, ce qui est beaucoup plus fiable. On peut cependant formuler une réserve : les lois sont supposées binomiales alors qu'elles ne le sont pas en réalité. Il faudrait pouvoir disposer d'autres données pour réaliser les partitions nécessaires. On ne peut cependant exclure qu'en se restreignant aux classes d'âge vaccinées en sixième le résultat soit encore plus significatif malgré la réduction des effectifs qui pourrait être largement compensée par l'élimination des plus jeunes et des plus âgés pour lesquels la tendance est opposée (avec les conditions de l'étude).

 

Hypothèse contredite par les moins de 10 ans ?

Cette hypothèse et le test sur lequel elle s'appuie pourraient paraître en opposition avec le fait que le taux de vaccinés chez les témoins est plus élevé (27,17% ) que parmi les cas (23,81%). Cette contradiction apparente a une explication : les enfants jeunes ont été nombreux à faire leur première ADC AVANT d'avoir pu être vaccinés. S'ils avaient été vaccinés plus tôt ils auraient fait leur ADC tout pareil. Mais ils auraient été classés "vaccinés" et ça changerait tout.

Chacun de se dire : "Mais ils auraient été des coïncidences, donc ainsi on a éliminé des coïncidences parmi les vaccinés,  c'est plutôt une bonne chose !"

Cela pourrait paraître pertinent, cependant le problème est que le signal apparaît par l'addition des coïncidences et des non coïncidences ! Si on supprime les premières, on a toute chance de tuer le signal puisque la comparaison se fait, d'une façon ou d'une autre, avec ce qui se serait produit en l'absence de vaccination.

Dans une étude cas-témoins, cette comparaison ce fait par le truchement de la proportion de vaccinés parmi les témoins, comparée à celle des cas. C'est une étude rétrospective où les enfants ne sont pas tous vaccinés au même âge ni dans les mêmes conditions. C'est le péché originel des études rétrospectives par rapport à des expérimentations animales classiques où les souris sont toutes vaccinées le même jour pour être suivies parallèlement à d'autres souris du même âge et de santé comparable au début de l'observation, c'est à dire le jour de la vaccination.

Comme il n'est pas raisonnable d'attribuer un effet protecteur réel au vaccin et qu'on peut au contraire tout à fait envisager un effet aggravant de la vaccination en faveur de la SEP, le fait que le taux de vaccinés parmi les cas n'atteigne pas 24% contre plus de 27% chez les témoins pourrait être perçu comme indicateur d'un réel déficit de notification de SEP chez les vaccinés, déficit pouvant être attribué, pour une part, à ce péché originel.

Il y a aussi une autre possibilité : un enfant vacciné à l'âge de 8 ans a pu faire sa première ADC à 10 ans ou plus. Il n'aura alors pas été classé parmi les "<10ans". D'où un déficit possible de cas chez les vaccinés de ce groupe. On a alors le même problème qu'avec la limite au delà de 16 ans qui génère sans doute un déficit de cas parmi les plus âgés comme on va le voir maintenant.

 

Un déficit de SEP chez les plus âgés ?

Chez les plus âgés, le déficit probable de SEP serait dû au fait que les adolescents vaccinés à 14-15 ans avaient peu de temps devant eux pour faire une ADC avant la limite fixée à 16 ans. Il existe plusieurs indications allant en ce sens. En voici une :

 Le fameux résultat significatif publié le 8 octobre 2008 mais qui avait défrayé la chronique dès le 26 septembre, concernait le groupe des enfants vaccinés Engerix, dont la première ADC était apparue au moins 3 ans après la vaccination et qui avaient reçus avant l'âge de 2 ans 4 DTP, 1 BCG et 1 ROR (observants au calendrier). L'OR ajusté par régression logistique conditionnelle valait 2,77. Par l'intervalle de confiance j'ai pu récupérer la variance utilisée et calculer la probabilité associée qui vaut 0,7% proche du très significatif (<0,5%).

 Trois considérations :

 1-La condition "au delà de 3 ans après la vaccination" écarte tous ceux qui avaient été vaccinés moins de 3 ans avant l'âge butoir de 16 ans. Ce seul critère écarte donc la plupart des adolescents du groupe des "plus âgés". Si ce groupe a un OR inférieur à 1, voire largement inférieur à 1, voire significatif côté "vaccin protecteur", le seul fait de les retirer fera croître l'OR du groupe restant.

 

2- La condition "vaccinés Engerix" retient tout particulièrement les enfants vaccinés en sixième par le fait que le ministre avait accordé en 1994 le marché des collèges au laboratoire SKB devenu GSK, le producteur d'Engerix.

 

3- À ces enfants s'ajoutent, certains enfants pris dans le groupe "< 10 ans". Or ce groupe a un OR inférieur à 1, ce qui ne favorise pas, a priori, l'obtention d'un OR élevé .

 

Ces 3 considérations conduisent à penser que le groupe significatif retenu par ces critères a une très forte ossature "vaccinés en sixième" qui devrait donc avoir un OR assez grand, même s'il n'est pas significatif. Cela paraît indispensable pour permettre au groupe "Engerix--Observant-calendrier--Plus-de-3ans" d'être largement significatif.

De plus, quand on adjoint aux "vaccinés en sixième" le groupe des " plus âgés" on constate que l'OR devient faible même s'il est légèrement supérieur à 1 (OR=1,12 avec la probabilité 31,62% ; voir plus loin). Pour obtenir cela il paraît pratiquement vraisemblable que l'OR du groupe "plus âgés" soit inférieur à 1. D'où l'indication d'un déficit de cas chez les plus âgés.

On peut aussi observer que parmi les 80 cas de SEP chez les vaccinés, 50 avaient reçu Engerix. Pour  25 d'entre-eux la première ADC était apparue dans un délai ne dépassant pas 3 ans (50%) contre 15 pour Genhevac (68,18%). La répartition parait donc déséquilibrée pour Genhevac par rapport à Engerix. Cela pourrait être dû au fait que des adolescents vaccinés avec Genhevac et ayant fait leur ADC plus de 3 ans après, avaient dépassé l'âge de 16 ans. Bien sûr, le même phénomène a certainement joué aussi pour Engerix. Mais la vaccination quasi exclusive par Engerix des enfants en classe de sixième a pu permettre d'alimenter la catégorie ">3ans" pour Engerix, ce qui n'était pas possible avec Genhevac. 

 

 

Ajuster ou dissocier ?

QUESTION : puisque sur l'exemple c'est l'âge qui contraint à dissocier pour pratiquer les tests binomiaux, peut-on envisager qu'un ajustement sur l'âge puisse compenser les écarts et éviter la dissociation susceptible de faire perdre de la puissance statistique ?

Je vais tenter de répondre à cette interrogation en poursuivant avec le même exemple.

On sait que les 4 classes d'âge vaccinées en classe de sixième au collège entre octobre 1994 et juin 1998 l'ont été pratiquement à 80% alors que les plus âgées l'ont été beaucoup moins. Aussi, les taux de vaccinés 69,31% et 66,93% chez les 101 cas et les 765 témoins ne correspondent pas davantage à une loi binomiale. Il faudrait aussi dissocier ces 101 cas pour créer 2 groupes plus homogènes du point de vue du taux de vaccination avec le groupe des "sixième" et celui des "plus âgés".

Voici une simulation purement pédagogique où seuls les nombres en noir sont réels (valeurs publiées). Lorsque l'OR est inférieur à 1, deux probabilités sont données, celle qui correspond à "au moins aussi grand que la valeur observée"'et son complémentaire à 1 qui correspond à "au plus aussi grand que la valeur observée" :

 

 

"< 10 ans"

"sixième"

"Plus âgés"

" > 10 ans"

totaux

Cas

42

68

33

101

143

vaccinés

10

61

9

70

80

Témoins

357

476

289

765

1122

vaccinés

97

375

137

512

609

OR direct

Probabilités

0,84 

67,89% ;32,11%

2,347

1,98%

0,416

98,41% ;1,59%

1,12

31,62%

1,07

35,32%

Test V

67,91% ;32,09%

1,73%

98,61; 1,39%

31,61%

35,32%

Test W

68,53% ; 31,47%

0,43%

99,17% ; 0,83%

31,42%

35,32%

 

Cette simulation, qui n'est pas incompatible avec les données publiées, montre clairement qu'on pourrait avoir un groupe significatif côté "vaccin dangereux" chez les vaccinés en classe de sixième, un groupe significatif côté "vaccin protecteur" chez les adolescents "plus âgés" et qu'en cumulant ces 2 groupes, les 2 signaux significatifs se neutralisent chez les " >10 ans".

L'objectif ici est seulement pédagogique. Il s'agit de faire réaliser qu'en pareil situation, un ajustement sur les données globales, aussi sophistiqué soit-il, sera incapable de mettre en évidence une telle situation.

 

Pour les tests appliqués aux données publiées, on peut constater que ceux réalisés en dissociant les moins de 10 ans des plus de 10 ans et sans ajustement donnent des résultats qui peuvent s'éloigner beaucoup des valeurs obtenues globalement par les auteurs avec ajustement logistique conditionnel sur l'âge, la région et le sexe mais sans dissocier : 68,53% et 31,42% contre 33,48%.

Remarque :

Il faut bien sûr comparer des probabilités obtenues dans les mêmes conditions, soit ici la probabilité d'obtenir une valeur au moins aussi grande que celle observée, d'où le 68,53%.

 

Cela suggère qu'une dissociation, qui s'impose quand les taux de vaccination sont très différents comme ici, pourrait avoir plus d'importance qu'un ajustement sans dissociation. Autrement dit, cela montre assez bien qu'un ajustement sur l'âge (ou autres critères) ne devrait pas pouvoir compenser des écarts trop importants entre les taux de vaccination (plus généralement d'exposition).

 

La grande crainte en dissociant est sans doute de perdre de la puissance statistique. Mais cela n'a d'intérêt que si les différents groupes vont dans le même sens. Si une pièce de 1€ est déséquilibrée du côté des piles et celle de 2€ du côté des faces il n'y a aucun intérêt à cumuler les résultats.

 

 

Conclusion

L'ajustement ne saurait se substituer à la dissociation

 

 Je n'ai initialement aucune expérience pour traiter des données de cette nature. Si j'étais confronté à ces données, je procéderai ainsi :

Je chercherai si je peux accepter que chaque cas ait eu la même probabilité d'avoir été vacciné. De même pour chaque témoin. Comment ? D'abord en comparant les nombres de vaccinés parmi les témoins associés on doit pouvoir obtenir facilement une première indication.

Par exemple, Pierre a 10 témoins dont 2 sont vaccinés alors que Jacques en a 8 sur 10 et Paul 5 sur 10. Un regard sur l'âge de la vaccination indique que Pierre avait 5 ans au moment de celle-ci alors que Jacques était en sixième en 1996 et que Paul avait 14 ans.

De plus, compte tenu de ce que l'on sait du déroulement de la campagne de vaccination et des études réalisées sur la couverture vaccinale, on pouvait être mis en alerte quant à la nécessité de créer plusieurs groupes afin de respecter au mieux le caractère binomiale des variables donnant les nombres de cas et de témoins vaccinés.

La nécessité de créer 3 groupes devrait ainsi apparaître très facilement et très rapidement.

Au lieu de procéder ainsi, les auteurs paraissent s'empresser de globaliser les données en aveugle pour lancer ensuite un logiciel réalisant une analyse multivariée selon plusieurs paramètres comme l'âge au moment de la première ADC (et non pas l'âge de la vaccination, ce qui pose aussi un problème), la région du cas et son sexe.

On voit le résultat !!!

 

Les auteurs passent en particulier à côté d'un signal très fort

qui pourtant ne demande même pas de faire appel aux témoins

et qui apparaît en formant seulement 2 proportions !!!

 

 

Durée d'observation variable

 


Obtenant un résultat significatif avec Engerix et pas avec Genhevac, les auteurs et les Comités d'experts s'interrogent longuement sur les mérites comparés de la culture sur levure (Engerix) et de la culture sur ovaire de hamster chinois (Genhevac). Ils oublient de se demander si cela ne serait pas dû à tout autre chose, à savoir : le fait que le ministre de la santé avait accordé en 1994 le marché des collèges au fabricant d'Engerix, que l'essentiel des vaccinations chez les enfants avait été réalisé au collège en classe de sixième et que ces derniers avaient tous été suivis pendant la même durée d'au moins 4 ans jusqu'à 16 ans.

Sans voir que, pour les enfants plus jeunes, beaucoup moins vaccinés, la tendance "vaccin protecteur" (même légère) est sans doute dû au fait que beaucoup ont fait leur première ADC avant d'avoir pu être vaccinés. Que la même tendance chez les plus âgés (vraisemblable mais que les auteurs pouvaient aisément constater si elle est réelle) est sans doute liée au fait que ceux-ci disposaient de trop peu de temps pour qu'une ADC se manifeste avant la limite des 16 ans.

  Plus précisément, l'observation était limitée à l'âge de 16 ans et à 2003 pour la première ADC. Ceux qui en avaient fait une dans ces limites étaient alors suivis jusqu'au 30 juin 2006 pour voir si elle évoluait en SEP.

 Aussi, ceux qui ont été vaccinés 3 mois avant la limite de 16 ans ne disposaient que de cette durée pour faire leur première ADC.

 Extraits de la revue Mal Respir sur la régression logistique [9], page 159 :

 « La méthode de régression logistique est donc la méthode multivariable de choix pour rechercher des facteurs de risque ou de des facteurs protecteurs de maladie. Toutefois, il ne faut pas oublier qu’elle reste une simplification mathématique de phénomènes complexes,

 

qu’elle repose théoriquement sur des conditions,

dont le respect est trop peu souvent vérifié par les chercheurs qui l’appliquent.

  La régression logistique est différente du modèle de Cox car elle ne permet pas la prise en compte de données censurées (c’est-à-dire en tenant compte des temps d’observation individuels).

Elle impose des données pour lesquelles les patients

ont été observés pendant la même période. »


C'est la seule condition que j'ai trouvée mentionnée... Il y en a bien sûr d'autres très importantes.

 

 Un intervalle de confiance inutile

 Dans la publication Mikaeloff-Tardieu 2007 sur la SEP, pour les données globales, les auteurs donnent un odds ratio OR= 1,10 et un intervalle de confiance [0,71 1,69]. J'ai donné auparavant la probabilité associée à ce test : 33,48%*. Elle donne évidemment une information beaucoup plus précise que l'IC sur le degré d'éloignement de la valeur observée 1,10 par rapport à la valeur théorique 1.

 

* Il faut cependant noter que la plage de variation de la probabilité associée au test se situe entre 0 et 50%. Au delà de 50%, cela signifie que l'odds ratio est inférieur à 1. On prend alors son complémentaire à 1.

 

Quand on connait la valeur théorique d'un paramètre, non seulement l'intervalle de confiance associé à ce paramètre est inutile mais il donne une information moins précise que la probabilité associée au test d'hypothèse.

 

Malgré cela, les auteurs préfèrent l'intervalle de confiance pourtant inutile en pareil cas et ne calculent pas la probabilité associée au test d'hypothèse. On ne peut que le regretter.

 Pourquoi  cela ? Les "raisons" ont été exposées le 11 septembre 2003 par Dominique Costagliola, considérée comme une de nos meilleures épidémiologistes, lors de la réunion dite de consensus sur la vaccination hépatite B (le lien vers son exposé a été cassé en 2011  mais on peut vérifier sur ce lien [10] qu'elle avait été auditionnée comme expert).

 

« Le résultat d'une étude d'association s'exprime par un risque relatif ou un odds ratio assorti d'un intervalle de confiance. Ces éléments sont plus importants à considérer que la simple interprétation du test d'association en significatif/non significatif … un risque de 3 avec un intervalle (de confiance) [1,1 ; 600] nous dit que l'étude manque grossièrement de puissance puisque le risque peut être à peu près n'importe quoi »

 

Mais peut-on avoir un intervalle de confiance entre 1,1 et 600  avec un odds ratio de 3  ?  On peut aisément démontrer qu'un tel écart est très largement impossible : on sait en effet que le carré de l'odds ratio est le produit des bornes de l'intervalle de confiance.

 

On peut vérifier cette règle sur l'exemple cité pour lequel OR=1,10 avec IC=[0,71 1,69]. On a en effet 1,1²=1,21 et 0,71x1,69=1,1999.

 Un autre exemple avec le fameux résultat significatif de l'étude publiée en 2008 sur le même thème et qui avait fait beaucoup de bruit : on a OR=2,77 et IC=[1,23 6,24]. On vérifie que 2,77²=7,6729 et que 1,23x6,24=7,6752.

 

Avec les valeurs à but "pédagogique" inventées par l'auteure de ce propos, il faudrait donc que 3²=9 soit égal à 600x1,1=660 !!!  En fait, avec OR=3 et la borne inférieure égale à 1,1 la borne supérieure vaudra 8,18... 

 Un peu navrant quand même !

 

Analogie avec la règle de trois

 La fameuse règle de trois, "3 choux coutent 10€ combien coutent 10 choux ?" qui a jalonné notre parcours à l'école primaire, les plus jeunes l'ayant appliquée sous la forme d'un tableau de proportionnalité, n'est pas aussi éloignée des problèmes soulevés ici qu'on pourrait le croire.

 En effet, la règle de trois consiste à comparer 2 proportions où il est indispensable que tous les choux soient au même prix :

Pour la règle de trois on forme 10/3=p qui donne le prix moyen des 3 choux considérés. Si on désigne pas X le prix des 10 choux, X/10=p' sera le prix moyen des 10 choux. En écrivant p=p' on pourra calculer X. Si le prix des choux n'était pas le même pour tous, il n'y aurait aucune raison pour que p=p' qui ici ne peut être une hypothèse. Il est donc indispensable que p soit le prix de chacun des choux considérés. L'égalité p=p' est une conséquence de l'hypothèse fondamentale mais malheureusement trop souvent laissée implicite dans l'enseignement, que les choux sont tous au même prix.

 

Quand on a deux proportions observées 40/50 et 360/500 pour 50 cas et leurs 500 témoins, la différence 0,08 de ces 2 proportions est la valeur observée de la variable aléatoire U= X/50-X'/500 supposée suivre une loi normale caractérisée par 2 nombres, son espérance (la valeur attendue) et sa variance. On teste l'hypothèse que l'espérance E(U) de U est nulle. Cette hypothèse s'écrit E(X)/50=E(X')/500 qui correspond à l'égalité des 2 proportions avec la règle de trois mais qui ici est une hypothèse que l'on veut tester.

Si X est une variable aléatoire binomiale B(50 ; p) et X' binomiale B(500 ; p'), l'hypothèse E(U)=0 s'écrit p=p'. Mais X binomiale signifie que chacun des 50 cas avait la même probabilité p d'avoir été vacciné. De même, chacun des 500 témoins avait la même probabilité p' d'avoir été vacciné. On retrouve la condition pour les choux de la règle de trois.

 

Même s'il est possible de sortir de cette situation très stricte, on a vu qu'il fallait être très prudent dès que X et X' n'étaient plus binomiales, ce qui ne semble pas être la caractéristique dominante des auteurs d'études cas-témoins ni des comités d'experts qui les commentent parfois. Ils ne sont pas les seuls responsables, les enseignements sur ces questions sont très laxistes sur les conditions d'applications des tests avec l'odds ratio même si, parfois, ils signalent qu'il en existe mais sans pour autant les expliciter pour montrer ce qui peut arriver quand on ne les respecte pas.

 

[1] Comparaison de deux proportions : un fort risque d'occulter un signal !

http://questionvaccins.canalblog.com/archives/2014/02/06/29133753.html


[2] Comparaison de 2 proportions : un test doublement biaisé !

http://questionvaccins.canalblog.com/archives/2014/02/09/29163341.html

 

[3] Comparaison de 2 proportions par l'odds ratio

L'odds ratio est-il meilleur que les tests binomiaux ?

http://questionvaccins.canalblog.com/archives/2014/02/18/29247121.html

[4]Glossaire 

http://www-sante.ujf-grenoble.fr/SANTE/cms/sites/medatice/externat/externatgre/docs/20121112164003/Glossaire_LCA.pdf

[4bis] épidémiologie pour les nuls

https://www.chu-brest.fr/documents/10156/108763/Epidemiologie+pour+les+nuls.pdf

[5] François Denis : étude sur la couverture vaccinale

http://www.academie-medecine.fr/wp-content/uploads/2013/03/2004.1.pdf#page=113

[6] 18 mars 2011

Sclérose en plaques chez les enfants : des données très démonstratives...

[7] 10 avril 2011

Vaccin hépatite B et sclérose en plaques chez les enfants : une étude aussi contestable que révélatrice

[8] Cours sur la régression logistique (peu accessible)

http://eric.univ-lyon2.fr/~ricco/cours/cours/pratique_regression_logistique.pdf

[9] http://www.ifmt.auf.org/IMG/pdf/Qu_est-ce_qu_une_regression_logistisque_-_Rev_Mal_Respir_2005_22_159-162.pdf

[10] http://www.has-sante.fr/portail/upload/docs/application/pdf/VHB_recos.pdf