L'odds ratio est-il meilleur que les tests binomiaux ?

Le test par l'odds ratio est un test de comparaison de 2 proportions utilisé dans le cadre des études dites cas-témoins. Il prend une forme multiplicative qui introduit un nouveaux biais sans supprimer des biais déjà décrits dans l'article précédent [1]. Son principal avantage, sans doute à l'origine du succès de cette forme, est que l'odds ratio peut s'assimiler au risque relatif, du moins quand le risque est faible. Mais à quel prix ?

Additif du 8 septembre 2016

J'ajoute 2 liens vers 2 de mes 10 contributions au rapport Gradation du HCSP et qui parlent des ajustements logistiques conditionnels dans les tests cas-témoins.

 N° 9 :  http://questionvaccins.canalblog.com/archives/2016/04/13/33660052.html

10 :  http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html

Elles complètent les analyses de cet article.
Fin de l'additif

Le test de l'odds ratio dans les études cas-témoins

Je vais d'abord décrire sur un exemple le principe du test utilisant l'odds ratio pour comparer 2 proportions.

EXEMPLE 1

Parmi 50 malades, 40 avaient été vaccinés avant l'apparition de la maladie. Il a été associé à chacun d'eux 10 témoins non malades (même âge, même sexe, même région ...), soit 500 en tout, dont 360 étaient vaccinés. Peut-on penser que la vaccination aurait pu favoriser la maladie ?

Principe

On va admettre que chaque malade avait la même probabilité p d'avoir été vacciné et de même pour chaque témoin avec la probabilité p'. Aussi, les variables aléatoires X et X' donnant les nombres de vaccinés parmi les 50 cas et les 500 témoins vont suivre les lois binomiales B(50 ; p) et B(500 ; p') dont les moyennes théoriques seront 50p et 500p', les variances étant 50p(1-p) et 500p'(1-p').

L'objectif du test sera de comparer les proportions théoriques inconnues p et p' en utilisant les valeurs observées 40/50 et 360/500. Si p est significativement supérieur à p' on aura un signal pouvant faire penser que la vaccination aurait pu favoriser l'apparition de la maladie.

Voici d'abord les résultats des 2 tests déjà présentés dans l'article précédent avec les notations de celui-ci [1]:

 

Test par W : En utilisant une estimation sans biais de la variance la probabilité associée au test* vaut 9,33% ( estimateur W de [1]).

Rappel : ici, W prend la valeur (40/50)(1-40/50)/49 + (360/500)(1-360/500)/499

* Il s'agit de la probabilité d'obtenir un écart au moins aussi grand que celui qui a été observé.

 

Test par V : En utilisant une estimation doublement biaisée on trouve 11,29% (estimateur V de [1])

Rappel : ici V prend la valeur (40+360)/[1- (40+360)/(50+500)][1/50 + 1/500]

 

Test par OR : On va leur ajouter le test par l'odds ratio OR :

Le test par l'odds ratio sera fondamentalement très proche des précédents mais en prenant une forme multiplicative obtenue en transformant les sommes en produits et les différences en divisions comme le ferait une fonction exponentielle.

Pour les cas on forme l'odd 40/10 qui est le rapport entre les 40 cas vaccinés et les 10 non vaccinés. De même pour les témoins avec l'odd 360/140. On forme alors l'odds ratio, noté OR, qui sera le quotient de ces 2 odds, soit ici OR=1,56.

Sous l'hypothèse que les cas et les témoins aient la même probabilité théorique d'avoir été vaccinés ("hypothèse nulle "), la valeur moyenne théorique de cet odds ratio vaudra 1 (le rapport théorique entre vaccinés et non vaccinés sera le même pour les cas et les témoins). En pratique, ce rapport pourra s'éloigner de 1, l'objectif du test étant de chercher à savoir si la différence observée avec 1 peut être attribuée à de simples variations aléatoires ou à une cause particulière.

On admet que le logarithme de OR suit une loi normale centrée (moyenne zéro) dont on sait estimer la variance à partir des résultats observés (voir mon article [2]). Il devient alors possible de calculer la probabilité d'obtenir un écart avec 1 qui soit au moins aussi grand que celui observé, c'est à dire d'obtenir au moins 1,56.

 

Valeur de OR : avec OR=1,56 la probabilité associée au test sera 11,45% .

Constat : On a vu que le test avec W était plus fiable que le test avec V. Sur cet exemple le test par l'odds ratio donne donc une valeur un peu moins bonne qu'avec le test V, ce qui permet de dire, au moins sur cet exemple, qu'il est le moins bon des 3 tests.

On pourrait donc penser que le test par l'odds ratio aurait au moins les mêmes défauts que le test par l'estimateur doublement biaisé noté V, voire un autre en plus.

On peut au moins dire que la variance utilisée pour l'odds ratio combine les cas et les témoins sous la forme 1/a+1/b+1/a'+1/b' a et a' sont les cas et les témoins vaccinés, b et b' les cas et les témoins non vaccinés.  Elle sera d'autant plus faible que les témoins associés au cas seront plus nombreux.

Les moyennes théoriques des valeurs observées a et b sont np et n(1-p) aussi, en écrivant :

1/np+1/n(1-p)=[(1-p)+p]/np(1-p)=1/np(1-p)

 on met en évidence que la variance liée à l'odds ratio (en fait à son logarithme) sera en relation avec* :

 1/np(1-p) +1/n'p'(1-p')

Au lieu de tester la différence a/(a+b)-a'/(a'+b') comme dans les tests binomiaux, on teste en réalité la différence des logarithmes ln(a/b)-ln(a'/b') dont la valeur théorique attendue est 0 (l'espérance). On mesure l'écart en modélisant par une loi normale de moyenne 0 et en estimant la variance à partir des valeurs observées.

* J'ai écrit "en relation avec..." car l'espérance de 1/a n'est pas l'inverse de l'espérance de a.

 

Il peut être intéressant d'étudier les variations de la probabilité liée au test en fonction du nombre de témoins tout en conservant la même proportion de vaccinés.

Avec 5 témoins par cas, soit 250 témoins dont 180 vaccinés  puis avec 100 témoins par cas, soit 5000 témoins dont 3600 vaccinés :

Témoins par cas

Test par W

Test par V

Test par OR

5

10,51%

12,15%

12,28%

10

9,33%

11,29%

11,45%

100

8,20%

10,48%

10,66%



CONSTATS : les probabilités associées aux tests diminuent sensiblement quand le nombre de témoins augmente*. Le test par V est nettement moins bon que le test par W et le test par OR reste proche du test par V tout en étant un peu moins bon.

* Cependant, cette règle est mise en défaut dans certains cas comme on le verra plus loin. C'est surtout une amélioration de la fiabilité qui pourrait aussi, a priori, se traduire par un accroissement de la probabilité selon la réalité des données.

Reprenons les valeurs des exemples 1 et 5 de l'article précédent [1] :

 

 

Test par W

Test par V

Test par OR

n=100  x=85  n'=1000, x'=770

1,83%

3,34%

OR=1,69 ;  3,48%

n=100  x=95  n'=1000, x'=880

 0,19%

1,77%

OR=2,59  ;  2,12%



CONSTATS : Le test par W servant de référence, on constate là aussi que le test par OR est un peu moins bon que le test par V. Pour le premier exemple, le test par W est significatif au seuil 5% bilatéral (<2,5%) alors que les tests par V et par OR ne le sont pas. Pour le second exemple, le test par W est très significatif au seuil bilatéral de 1% (<0,5%) mais pas les tests par V et OR qui le sont seulement au seuil  5%.



Addition de 2 binomiales (ou plus)

X1 et X2 seront 2 variables aléatoires binomiales B(ni ; pi), X'1 et X'2 les variables aléatoires B(n'i ; p'i) correspondant aux témoins associés. On considère les variables aléatoires Y=X1+X2 et Y'=X'1+X'2 qui ne seront pas binomiales lorsque p1 sera différent de p2 et p'1 différent de p'2. Pour comparer les moyennes de Y/(n1+n2) et Y'/(n'1+n'2) on forme leur différence Z. Les ni et n'i étant supposés suffisamment grands et les variables aléatoires Xi et X'i étant supposées indépendantes, Z suivra à peu près une loi normale centrée (moyenne nulle) dont il faudra estimer la variance. On aura :

var Z=var(Y)/(n1+n2)² + var(Y')/(n'1+n'2

avec var(Y)=var(X1+X2)=var(X1) + var (X2)

On a vu dans [1] que n1X1(1-X1)/(n1-1) était un estimateur sans biais de var(X1) et de même pour les autres variables aléatoires X2, X'1 et X'2.

On obtiendra ainsi une expression de cet estimateur que j'ai numériquement explicité dans l'exemple qui suit.

EXEMPLE 1

n1=n2=100 ; x1=65 x2=75 n'1=n'2=1000 ; x'1=590 x'2=675 en notant par le caractère minuscule correspondant les valeurs prises par les variables aléatoires Xi et X'i sur l'expérience.

 

Test par Z : La variance sera estimée sans biais par Z. La probabilité associée au test sera 2,01% .

Le calcul de la valeur estimée de la variance de Z se fait ainsi :

[100x65(1-65/100)/99+100x75(1-75/100)/99]/200² +

[1000x590(1-590/1000)/999+1000x675(1-675/1000)/999]/2000²

 

Test par W : L'estimateur de la variance est W avec les notations de [1]. Probabilité associée au test : 2,76% avec un seul biais.

Le biais vient du fait que Y=X1+X2 et Y'=X'1+X'2 sont considérées comme étant binomiales alors qu'elles ne le sont pas. Les valeurs prises par Y et Y' sont y=140 et y'=1265.

 

Test par V : V a été défini dans [1]. Probabilité associée au test : 2,91% avec 3 biais.

L'un est le biais du test W. De plus, en prenant V comme estimateur de la variance on considère que Y+Y' est binomiale alors que ce n'est pas le cas, ce qui introduit 2 biais.

 

Test par OR : test par l'odds ratio : OR=1,356 avec la probabilité associée au test : 2,945%

 

RÉCAPITULATIF :

 

n1=n2=100 

Test par Z

0 biais

Test par W

1 biais

Test par V

3 biais

Test par OR

x1=65 x2=75 n'1=n'2=1000 ; x'1=590 x'2=675

2,01%

2,76%

2,91%

OR=1,356   2,945%

x1=85 x2=95  n'1=n'2=1000 ; x'1=770 x'2=880

4,62/10000

5,285/10000

3,43/1000

OR=1,95   3,8/1000



CONSTATS

Le test Z est certainement le meilleur possible et peut donc servir de référence pour apprécier les 3 autres, c'est à dire, au moins sur cet exemple, l'importance que pourrait pendre ces biais.

Au moins sur cet exemple numérique on constate que les résultats vont en se dégradant du test Z au test OR, celui avec l'odds ratio qui donne le moins bon résultat comme dans les exemples précédents.

Ici le test Z donne un résultat significatif au seuil bilatéral de 5%, ce qui n'est pas le cas pour les 3 autres. Le rapport entre la probabilité du test OR et la probabilité référence du test Z est 1,37.

Le test OR est moins bon que les précédents. Une partie du biais est sans doute liée au passage à la forme multiplicative et aux approximations par la loi normale.Mais une autre est de même nature que pour le test W par rapport au test Z.

 

EXEMPLE 2

Prenons les données des exemples 1 et 5 de mon article [1], soit n1=n2=100, x1=85, x2=95 ; n'1=n'2=1000, x'1=770, x'2=880. Les résultats sont dans le tableau ci-dessus (dernière ligne).

Là encore on observe la même dégradation des résultats à partir du test référence, le test Z. Sur cet exemple, le test de l'odds ratio est encore le moins bon. Nettement moins bon d'aileurs que le test référence puisque la probabilité par ce test Z est 8,4 fois plus petite que par le test OR.



Effets d'une répartition non uniforme des témoins

Dans les exemples précédents, chaque cas recevait le même nombre de témoins, 10 en l’occurrence. Que peut-il se produire lorsque chaque cas n'a plus le même nombre de témoins ? Il n'y aura pas de conséquences particulières quand le nombre de cas et le nombre de témoins associés suivent des lois binomiales. Par contre, cela peut avoir beaucoup d'importance lorsque ce n'est plus le cas. On va étudier le problème sur des exemples quand le nombre de cas sera une somme de 2 lois binomiales et de même pour le nombre de témoins.

Je prendrai toujours n1=n2=100 ; x1=65 et x2=75. Les résultats sont rassemblés dans le tableau ci-dessous.



n1=n2=100  ; x1=65 x2=75

ESSAIS

Test Z

0 biais

Test W

1 biais

Test V

3 biais

Test OR

n'1=500  ; n'2=1000 ;

x'1=295 ; x'2=675

 6,17%

 6,24%

6,83%

OR =1,275

6,87%

n'1=n'2=500

x'1=295 x'2=337,5

 2,96%

 3,00%

3,44%

OR=1,36

3,47%

n'1=1000 ; n'2=500

x'1=590  ; x'2=337,5

0,93%

0,95%

1,24%

OR=1,44

1,27%

n'1=n'2=750

x'1=442,5 ; x'2=506,25

2,58%

 

2,62%

3,08%

OR= 1,356

3,12%



Essai 1 : j'associe 500 témoins aux 100 cas de X1 et 1000 pour ceux correspondants à X2. Je conserve les mêmes proportions de témoins vaccinés, soit x'1=590/2=295 et x'2=675. Les 4 probabilités tests dépassent toutes 6%, très nettement supérieures à celles obtenues auparavant avec 1000 témoins pour chacun des 100 cas.

 

Essai 2 : je prends 500 témoins pour chacun des 2 groupes. x'1=295 et x'2=675/2=337,5. Les probabilités ne dépassent pas 3,47% alors qu'il n'y a en tout que 1000 témoins au lieu de 1500. On avait vu que, quand le nombre de témoins diminue les probabilités tests devraient s'éloigner de la meilleure valeur (ici plus grandes) or c'est l'inverse ici, pourquoi ?

Dans l'essai 1, en accordant 2 fois plus de témoins au second groupe qu'au premier pour le même nombre de cas, on donne plus de poids au second groupe. Ce dernier ayant davantage de témoins vaccinés, le taux de témoins vaccinés va s'accroitre : il était de (590+675)/2000=0,6325 pour devenir (395+675)/1500=0,7133.

Dans l'essai 2, en "sacrifiant" 500 témoins on rétablit l'équilibre, le taux de témoins vaccinés revient à 0,6325.

 

Essai 3 : conservons 1000 témoins dans le premier groupe et prenons seulement 500 témoins dans le second. On va ainsi donner plus de poids au premier groupe dont les témoins sont moins vaccinés que ceux du second. Le taux de témoins vaccinés va ainsi se réduire, provoquant une réduction de la probabilité test. Effectivement, elle oscille entre 0,93% et 1,27% selon les tests, valeurs plus faibles que pour le test initial avec 1000 témoins pour chaque groupe. Pourtant, il y a seulement 1500 témoins contre 2000.

 

CONCLUSION

Pour que le test ait une chance d'être fiable il sera impératif que le nombre moyen de témoins

par cas soient le même dans les 2 groupes



Tout déséquilibre de ces moyennes donnera plus de poids au groupe

ayant le nombre moyen de témoins par cas le plus élevé.



Ces variations peuvent être suffisantes pour changer la conclusion du test


En effet, Les valeurs extrêmes sont 0,93% et 6,87% alors que les données ne sont pas  excentriques. On constate que 0,93% ferait conclure à un test largement significatif alors que 6,87% ferait conclure qu’il ne l’est pas du tout ...

Parmi celles obtenues, la valeur la plus fiable  est celle avec :

     10 témoins par cas pour chacun des 2 groupes

   le test Z qui donne 2,01%.

Avec seulement 5 témoins par cas au lieu de 10 le test Z donne 2,96%



[1] http://questionvaccins.canalblog.com/archives/2014/02/09/29163341.html

[2] http://questionvaccins.canalblog.com/archives/2009/07/09/14342043.html (aller sur l'oddds ratio OR)

Articles déjà publiés sur la comparaison de 2 proportions :

 

06 février 2014

Comparaison de deux proportions : un fort risque d'occulter un signal !

09 février 2014

Comparaison de 2 proportions : un test doublement biaisé !

22 janvier 2014

L'intervalle de confiance, cet inconnu !

 

 

A suivre : applications de ces résultats à des études cas-témoins publiées utilisant un ajustement logistique conditionnel pour l'odds ratio.

Il  y a aussi cet article [3] qui décrit l'usage de l'odds ratio en sociologie. Il est utilisé comme simple indicateur sans aucun test statistique et qui plus est, sur des pourcentages sans tenir compte des tailles des échantillons alors que ce sont des nombres absolus qui devraient être utilisés ... C'est encore un autre problème !
[3]  http://quanti.hypotheses.org/603/ 

Extraits :

"pour certains, si les odds ratio se sont imposés depuis les années 1990, en particulier parmi les sociologues de l’éducation, qui en font une grande consommation, ce ne serait pas parce qu’ils mesureraient plus correctement les variations des inégalités, mais parce qu’ils les mesureraient… de façon plus optimiste !

C’est tout le sens de la « controverse » sur la mesure des inégalités, qui traverse la sociologie française depuis le milieu des années 1980."

"Imaginez que 50% des enfants de cadres obtiennent le bac (comme c’était le cas dans les années 1960). Dans ce cas, 50% d’entre eux ne l’obtiennent pas : on dira qu’il y a autant d’enfants de cadres qui obtiennent le bac que d’enfants de cadres qui ne l’obtiennent pas. Maintenant, si 90% des enfants de cadres obtiennent le bac (comme c’est donc le cas désormais), alors 10% des enfants de cadres ne l’obtiennent pas, et dans ce cas, il y a 90 divisé par 10 = 9 fois plus d’enfants de cadres qui obtiennent le bac que d’enfants de cadres qui n’obtiennent pas le bac. Ce chiffre, c’est « l’odds », ou « chance relative », ici d’obtenir le bac plutôt que de ne pas l’obtenir, qui s’obtient donc très simplement en divisant la probabilité d’être ou de faire, ou de réussir quelque chose, par la probabilité contraire de ne pas l’être, ne pas le faire ou y échouer.

Pour les enfants de cadres, la chance relative d’obtenir le bac est de 9 (contre 1). Et pour les enfants d’ouvriers ? Désormais, 45% des enfants d’ouvriers obtiennent le bac, et donc 55% d’entre eux ne l’obtiennent pas. Donc leur chance relative d’avoir le bac est de 45 divisé par (100-45), soit 45 divisé par 55, ce qui donne 0,81. Ca veut dire que les enfants d’ouvriers avaient 0,81 fois plus de chances d’obtenir le bac que de ne pas l’obtenir.

Eh bien « l’odds ratio », c’est le « rapport » (ratio) entre les chances relatives (odds) des uns et celles des autres, donc ici le rapport entre les chances relatives des enfants de cadres d’avoir le bac et celles des enfants d’ouvriers : ici, ça donne 9 divisé par 0,81 = 11. Autrement dit, les enfants de cadres ont 11 fois plus de chances que les enfants d’ouvriers d’obtenir le bac plutôt que de ne pas l’obtenir. Et il y 50 ans ? Même calcul, cette fois simplifié : 45 / (100 – 45) divisé par 5 / (100 – 5) = 15,5. Donc, il y a 50 ans, les enfants de cadres avaient 15,5 fois plus de chances que les enfants d’ouvriers d’obtenir le baccalauréat que de ne pas l’obtenir.

Conclusion: les inégalités d’obtention du baccalauréat, telles que mesurées par les odds ratio, ont diminué en 50 ans."

La Sociologie ... J'adore !!!

Ils n'ont pas l'air de savoir que s'il y a 10 fois plus d'enfants d'ouvriers que de cadres, ce n'est pas la même chose de comparer 90 et 45 parmi 100 ou 90 parmi 100 et 45 parmi 1000.