En santé publique, l'évaluation n'est pas scientifique
Voici le document qui a été remis (entre-autres) au ministère de la santé par une délégation le matin du 9 septembre 2011 en lien avec la manifestation qui s'est tenue ensuite devant le ministère de 14 heures à 17 heures et où les manifestants ont pu voir de leurs yeux ce qu'était une grave victime de vaccinations comme Salomé qui n'a reçu qu'une seule injection vaccinale, l'infanrix penta, à l'âge de 3 mois. Elle a failli en mourir, ne parle pas et demande une présence permanente à vie. Si Salomé marche, une autre était là, encadrée par ses parents, clouée à vie dans un fauteuil roulant ...
Il y eut aussi plusieurs délégués étrangers qui étaient venus à Paris et ont pu s'exprimer à la tribune : Allemagne, Roumanie, Italie, Belgique et même les Etats Unis avec le témoignage d'une américaine ayant travaillé chez Merck.
Additif du 16 septembre 2017
Fin de l'additif
Sur des fautes méthodologiques
et leurs conséquences
dans l'évaluation
d'actions de santé publique
Août 2017
Par Bernard Guennebaud
mathématicien
Sommaire
Introduction
Fautes méthodologiques : conflits d'intérêts ou incompétence ?
Partie I
Sur le lien entre vaccination hépatite B et sclérose en plaques
Un signal ''protecteur'' ou ''aggravant'' ?
Partie II
La problématique spécifique du test cas-témoins sur des délais
Partie III
Signal significatif en cas-témoins sur des délais
Partie IV
Confusion entre risque de première espèce et exploration des données
Partie V
Sur l'importance des conditions de validité des tests cas-témoins
Partie VI
Autres problèmes révélateurs
Conclusions
Par ses erreurs, l'expertise actuelle est dangereuse
Additf
J'ai pu exposer l'essentiel au cours du congrès de santé publique organisé par la Sfsp et l'Adelf (4-6 octobre 2017 à Amiens)
http://www.sfsp.fr/images/docs/suivre_l_actualite/les_actualites_de_la_sfsp/les_evenements_de_la_sfsp/pr_congsfspadelf10-17.pdf
Le résumé de ma communication ainsi que le diaporama présenté sont en ligne sur le site du congrès : www.adelf-sfsp.fr/?p=15493
sous le titre
Introduction
Voici tout d'abord de brefs extraits d'un rapport remis à la Direction générale de la santé par Marie-Dominique Furet [0]
« L’expert dit l’état des connaissances.
Sa fonction sociale est l’héritière de celle des mages de l’Antiquité.
Il a longtemps bénéficié d’une autorité naturelle d’extraction quasi divine.
Sa science était immaculée.»
Elle poursuit :
«L’avis de l’expert est consultatif... dans bien des cas, l’aspect hautement technique et pointu des expertises amène le décideur à suivre les conclusions de l’expertise pour prendre sa décision.
Il est rare que la compétence de l’expert soit mise en cause.
En revanche,
l’opinion publique et les associations estiment parfois que l’impartialité des experts
peut être mise en question.»
Il est donc admis dans ce rapport que ce défaut d'impartialité serait lié uniquement à des conflits d'intérêts. Il suffirait donc d'avoir des experts à l'abri de tels conflits pour avoir une expertise parfaite. Cette croyance paraît assez largement répandue.
Le 4 mai 2011 j'avais assisté à un colloque sur les vaccinations. Il était organisé par un groupe de parlementaires à la Maison de la Chimie à Paris. Le Directeur Général de la Santé Didier Houssin avait été invité à s'exprimer ainsi que Philippe Douste-Blazy et Daniel Floret président du CTV. La secrétaire d'Etat à la santé était venue y faire un discours et les laboratoires producteurs de vaccins étaient représentés. Le député Jean-Pierre Door exposera son souhait de voir créer une sorte de supra-commission d'experts au dessus de tout soupçon et qui, en toute indépendance, pourraient rendre une expertise qui serait indiscutable.
Mais suffira-t-il de gagner la bataille des conflits d'intérêts pour avoir une expertise pleinement satisfaisante ? Rien n'est moins sûr car, comme on va le voir, certaines fautes techniques sont involontaires et directement liées à une incompréhension profonde des conditions d'utilisation des tests statistiques et de l'importance de ces conditions.
Ces fautes techniques peuvent se manifester non seulement dans les publications d'auteurs mais aussi dans les avis, compte-rendus ou communiqués de Comités d'experts. Il est indispensable d'en prendre conscience puis d'en mesurer les conséquences en réévaluant les études déjà publiées et en faisant évoluer la formation des auteurs et des commentateurs et, pourquoi-pas, des médias et du public.
Force sera de constater que les politiques de santé publique, comme les conditions de reconnaissance des victimes de ces politiques, s'appuient sur des ''études'' présentées comme scientifiques alors que leurs conclusions reposent sur des erreurs monumentales qui pourraient rendre ridicule s'il n'était pas dangereux, le système ''d'expertise'' qui les a produites.
[0] http://solidarites-sante.gouv.fr/IMG/pdf/Rapport_expertise_sante_publique_2008.pdf
Résumé
Ce document sera sans doute jugé par beaucoup comme trop complexe à lire. Voici une illustration simple de ce qui s'y trouve (partie II exemple 2) :
Une publication montre qu'il y a 195 cas d'atteintes démyélinisantes apparues dans l'année qui suit une vaccination quelconque contre 106 apparues au cours des 2 années suivantes.
Chacun verra sans doute qu'il y a là un signal statistique très fort puisque la répartition attendue entre ces 2 délais serait plutôt 106 sur la première année et 195 pour les 2 années suivantes cumulées.
Pourtant, ce signal extrêmement fort pour ne pas dire criant n'a été vu ni par les auteurs ni par les commentateurs. Les données ont été traitées en cas-témoins où l'on teste si les cas et les témoins se comportent de la même façon par rapport à la chose testée. C'est le cas sur cet exemple car il y a aussi beaucoup plus de témoins la première années (854) qu'au cours des 2 années suivantes cumulées (508). Aussi le test cas-témoins ne donnera aucun signal, ce qui signifie seulement que les cas se comportent comme les témoins et non pas qu'il n'y aurait aucun signal sur les cas comme le croient les auteurs et commentateurs ''autorisés''.
Cet exemple illustre parfaitement qu'une absence de signal en cas-témoins est compatible avec un signal très fort sur les cas comme sur les témoins. Il donnera pourtant lieu au commentaire suivant, ici par le président du CTV mais conforme aux conclusions es auteurs :
« Cette étude est très rassurante dans la mesure où elle démontre à 3 ans l'absence de lien entre toute vaccination et la révélation d'un ADSN» ADSN : atteinte démyélinisante du système nerveux. »
Cette étude ne peut en aucune façon démontrer cela.
En un mot, non seulement l'expertise n'est pas fiable mais elle n'est pas compétente et son incompétence la rend dangereuse.
Partie I
Sur le lien entre vaccination hépatite B et sclérose en plaques
L'étude de ce lien a donné lieu à de nombreuses publications. La sclérose en plaques avérée étant souvent précédée d'une première atteinte peu symptomatique et régressive, la première question à étudier est : la vaccination hépatite B peut-elle favoriser l'évolution en sclérose en plaques (SEP) d'une première atteinte ? Cette question avait fait l'objet d'une publication par M. Tardieu et al. en février 2007 [1]. L'étude portait sur 33 enfants vaccinés hépatite B après avoir fait une première atteinte démyélinisante. Sans pour autant exclure la possibilité d'un lien*, les auteurs ne trouvèrent pas de signal statistique.
* « it is not possible to exclude a smaller increase in risk. » Page 1109 col 1
Une seconde opportunité se présenta pour les mêmes auteurs avec leur nouvelle publication (8 octobre 2008) [3]. Elle portait sur les atteintes démyélinisantes centrales observées chez des enfants entre le 1er janvier 1994 et le 31 décembre 2003. A cette date, 349 cas étaient apparus pour être retenus dans l'étude dont 154 avaient été vaccinées hépatite B avant cette première atteinte. On peut s'étonner du fait que ces auteurs n'aient pas publié de résultats comparant l'évolution en SEP chez les 154 vaccinés hépatite B et les 195 autres. Si les auteurs mentionnent que 151 cas avaient évolué en scléroses en plaques au cours de la période d'observation qui suivie, ils n'indiquent pas combien avaient reçu la vaccination hépatite B. Cependant, on sait qu'il y en avait 80 parmi les 143 retenues dans la publication de décembre 2007 [2] (arrêt du suivi pour cette publication : 30 juin 2006).
En se limitant à ces 143 SEP, les taux de conversion sont alors de 52% (80/154) chez les
vaccinés hépatite B contre 32% (63/195) chez les non vaccinés. Avec moins d'une chance sur 10000 d'observer un tel écart par le seul effet du hasard, le signal est non seulement significatif mais très significatif et devrait donc alerter.
Même en se plaçant dans la situation la plus défavorable au signal pour les 8 SEP supplémentaires apparues par la suite*, c'est à dire en supposant que ces cas étaient tous non vaccinées hépatite B (soit 80 vaccinés et 71 non vaccinés), le signal reste encore très significatif avec 1,7 chances sur 1000 (0,17%) d'observer un tel écart par le seul effet du hasard.
-
Sollicité sur cette question le correspondant de l'étude ne donnera aucune réponse.
L'interprétation la plus naturelle de ce signal serait que la vaccination contre l'hépatite B aurait favorisé l'évolution en sclérose en plaques soit d'atteintes démyélinisantes qui seraient apparues sans cette vaccination mais qui seraient restées simples, soit d'atteintes démyélinisantes qui ne seraient pas apparues sans cette vaccination.
Si ces données ne permettent pas d'exclure l'une ou l'autre de ces hypothèses, elles suggèrent que le vaccin pourrait jouer un rôle causal dans l'apparition de SEP symptomatique. Ces données devraient être portées à la connaissance des médecins, de la justice et du public, en particulier les familles dont l'un des membres pense avoir été victime de cette vaccination.
Un signal ''protecteur'' ou ''aggravant'' ?
Ce signal pourrait être présenté en correspondance avec un odds ratio significatif inférieur à 1, généralement présenté comme un signal en faveur d'un ''effet protecteur''. Pour cela on considère les 206 atteintes démyélinisantes simples (non SEP) dont 74 avaient été vaccinées hépatite B soit 35,9% ainsi que les 1819 témoins associés dont 789 vaccinés hépatite B soit 43,4%. On constate une proportion sensiblement plus élevée de vaccinés chez les témoins. Ces nombres donnent un odds ratio OR=0,73 avec la probabilité 2% d'obtenir, par rapport à la valeur théorique 1 de OR, un écart au moins aussi important que celui qui a été observé. L'écart est donc significatif (<2,5%). (Cette probabilité est très préférable à l'intervalle de confiance qui est inutile dans les tests avec les odds ratio car la valeur théorique est connue).
Peut-on interpréter un tel résultat en soutenant que la vaccination hépatite B pourrait avoir un effet protecteur contre les atteintes démyélinisantes ? Une telle interprétation avait été avancée par le président du CTV au congrès de la Sfsp à Lille (2-4 novembre 2011) auquel j'assistais. Cependant, ce signal statistique pourrait tout aussi bien correspondre à un effet aggravant !
En effet, on observe un déficit statistique de cas parmi les atteintes démyélinisantes simples. On devrait donc se demander où sont allés ceux qui manquent. Il y a 2 possibilités :
1- dans la classification ''rien'', ce qui pourrait correspondre à un effet protecteur réel ;
2- dans la classification ''SEP'', ce qui pourrait correspondre à un effet aggravant réel.
Le signal très fort mentionné au préalable indique clairement qu'il s'agirait plutôt de cette seconde possibilité.
Dans ses enseignements, il ne semble pas que l'expertise mentionne cette possibilité d'un effet aggravant quand l'odds ratio est significatif et inférieur à 1. Cette situation est seulement présentée comme ''effet protecteur'' possible. Il y a donc là une carence inquiétante et dangereuse dans la formation fondamentale comme on peut le constater avec l'interprétation pour le moins aventureuse du président du CTV.
[1] https://academic.oup.com/brain/article/130/4/1105/275673
Publication Tardieu et al de février 2007 sur les 33 cas d'atteintes démyélinisantes non SEP et vaccinés hépatite B après cette première atteinte. En accès libre.
[2] http://archpedi.ama-assn.org/cgi/content/full/161/12/1176
Publication Tardieu et al déc 2007 sur 143 cas de SEP chez les enfants. Texte complet en accès libre.
[3] http://www.ncbi.nlm.nih.gov/pubmed/18843097
Résumé de la publication Tardieu et al du 8 octobre 2008 sur les 349 cas d'atteinte démyélinisantes chez les enfants. Dont 151 SEP. Le texte complet n'est pas en accès libre.
Le tableau ci-dessous, extrait du texte complet, montre les données utilisés dans l'analyse faite ici. Non publié ici pour raison de droits.
ADDITIF du 27 avril 2018
Partie II
La problématique du test cas-témoins sur des délais
Les auteurs utilisent souvent le test cas-témoins pour tester sur des délais alors qu'il n'est pas vraiment conçu pour cela, les lois de Poisson étant une modélisation beaucoup plus adéquate. Cette utilisation inadaptée peut conduire à la neutralisation de signaux comme on va le voir sur 2 exemples.
D'une manière générale, l'absence de signal en cas-témoins signifie que les cas se comportent comme les témoins. Il devient alors nécessaire de s'assurer que les témoins sont neutres par rapport à la chose testée pour pouvoir en déduire directement une absence de lien statistique sur les cas. Comme vont le montrer les exemples ci-dessous, cela est compatible avec un signal très fort sur les cas comme sur les témoins. Les signaux étant en phase ils se neutraliseront en cas-témoins.
Exemple 1 : Dans leur publication de décembre 2007 [2], Marc Tardieu et al affirment que l'apparition de la SEP (première atteinte) est indépendante du délai écoulé depuis la vaccination contre l'hépatite B ce qui contribuera à innocenter le vaccin. Pourtant, les auteurs mentionnent que 62 cas sont apparus au cours des 4 premières années après la vaccination hépatite B contre 12 les 2 années suivantes, soit 5.1 fois moins alors qu'il en faudrait seulement 2 fois moins pour avoir une répartition équilibrée. Là aussi il y a un signal significatif : moins de 1.5 chances sur 10000 d'obtenir un tel écart par le seul effet du hasard quand on modélise par une loi de Poisson.
Mais les auteurs ont traité les données en cas-témoins, test pour lequel l’absence de signal signifie seulement que les cas se comportent comme les témoins pour lesquels il existe un signal : en effet les témoins ne sont pas neutres par rapport au délai testé car il y en a 476 vaccinés et classés dans les 4 premières années contre 102 les 2 années suivantes soit 4.7 fois moins alors qu'il en faudrait 2 fois moins pour une répartition équilibrée.
Contre-preuve : en répartissant ces 578 témoins (476+102) à la proportionnelle sur les 4 premières années et les 2 suivantes, un signal fort apparaît en cas-témoins, ce qui montre que c'est bien la répartition des témoins selon les périodes de 4 et 2 ans qui conditionne l'apparition ou la neutralisation du signal.
Les nombres de cas et de témoins sont en phase selon les délais de 4 et 2 ans pour des raisons qu'on pourrait qualifier de structurelles car liées à la construction des témoins associés aux cas. Pour préciser ce point il est nécessaire de rappeler la construction des témoins*. L'étude étant rétrospective, on associe à chaque cas par exemple 10 témoins du même âge, du même sexe et d'une grande proximité géographique (même code postal). Le délai associé à un cas est la durée entre sa date de vaccination et celle du début de sa maladie, dite date index. Pour ses témoins associés, c'est la durée entre leur vaccination et cette date index. Si un témoin a été vacciné le même jour que son cas associé, leurs délais seront les mêmes.
* Les études cas-témoins sont parfois confondues avec les études exposés/non exposés où les témoins sont les non exposés (non vaccinés par exemple). En cas-témoins, les témoins ne sont pas atteints par la maladie étudiée et ne doivent pas être interprétés comme les témoins d'une étude exposés/non exposés où l'on compare les nombres de malades chez les exposés (vaccinés) et les témoins.
Aussi, si ce cas est dans le délai testé des 4 premières années, le témoin y sera aussi et de même si le cas est en dehors. Ainsi, cas et témoins vaccinés associés marcheront en phase. Il en ira de même si les variations des dates de vaccination d'un cas et de ses témoins associés sont faibles par rapport à la durée choisie pour le test. Cette condition est évidemment réalisée ici car ce sont des enfants ou adolescents et la durée de 4 ans est longue.
On voit ainsi l'importance du calendrier vaccinal et de la campagne spécifique de vaccination, l'une et l'autre ne pouvant que conduire à l'absence de signal pour les tests cas-témoins sur des délais assez longs et ce pour ces raisons strictement structurelles. On le constate sur cet exemple : il y a 5,1 fois plus de cas vaccinés sur les 4 premières années que sur les 2 suivantes ; il leur a été associé 4,7 fois plus de témoins vaccinés sur ces 4 années que sur les 2 années suivantes. Cas et témoins vaccinés marchent effectivement en phase.
Malheureusement, les auteurs d'études épidémiologiques comme les commentateurs ''autorisés'' n'ont pas compris cette difficulté structurelle, aussi ils interprètent l'absence de signal en cas-témoins comme impliquant une absence de signal sur les cas.
A lui seul le résumé de [2] explicite en quelques lignes cette façon erronée de procéder :
« The rate of HB vaccination in the 3 years before the index date was approximately 32% for both cases and controls. Vaccination against HB within the 3-year study period was not associated with an increased rate of a first episode of MS (adjusted odds ratio, 1.03; 95% confidence interval, 0.62-1.69). »
Dans la première phrase les auteurs constatent l'égalité des taux de vaccination HB chez les cas et chez les témoins dans les 3 années qui précèdent la date index (début de la maladie du cas associé). Il en résulte très logiquement une absence de signal en cas-témoins : odds ratio très proche de 1 avec un intervalle de confiance incluant largement 1. Leur erreur monumentale est qu'ils en déduisent une absence de signal pour les cas alors qu'on peut aisément vérifier qu'un tel signal existe même s'il est plus faible que sur le délai de 4 ans :
il y a 46 cas apparus au cours des 3 premières années contre 28 les 3 années suivantes. On peut comparer ces 2 nombres de cas apparus sur la même durée de 3 ans en modélisant par Poisson. On trouve une probabilité significative (1,82%) d'obtenir un écart au moins aussi grand par le seul effet du hasard.
On peut vérifier, sans grande surprise quand on a compris le processus, qu'il existe un signal analogue sur les témoins vaccinés : 356 sur les 3 premières années contre 222 les 3 années suivantes soit 1,60 fois moins contre 1,64 fois moins pour les cas, ce qui illustre que cas et témoins sont en phase par rapport aux délais.
Exemple 2 : Cette problématique n'est pas une spécificité de l'expertise française car on retrouve le même problème avec l'étude américaine de Langer-Gould (octobre 2014) [4] relative à l'apparition d'atteintes démyélinisantes après vaccinations et pour laquelle ils n'ont effectué que des tests sur des délais (14 jours, … 180 jours, 1 an, 3 ans).
Sur l'un de ces tests (voir le tableau en fin de partie II ) les auteurs trouvent 854 témoins dans l'année qui précède l'apparition de la première atteinte démyélinisante contre 508 pour les 2 années suivantes cumulées, soit 1.68 fois moins alors qu'il en faudrait 2 fois plus pour une répartition équilibrée. L'absence de signal en cas-témoins signifiant que les cas se comportent comme les témoins on devrait en conclure qu'il y a beaucoup plus de cas sur la première année qu'au cours des 2 années suivantes cumulées. Cela se vérifie aussitôt avec 195 cas la première année contre 106 les 2 années suivantes cumulées.
Il y a donc un signal très significatif sur les cas comme sur les témoins. Mais il s'évanouit quand on compare les cas aux témoins car leurs nombres évoluent de la même façon selon les délais de 1 et 2 ans.
L'interprétation de cet énorme signal sur les témoins a son importance ici, aussi il faut préciser la construction de ce test. Pour un cas débutant sa première atteinte démyélinisante le 15 aout par exemple, on recherche dans son dossier médical la dernière vaccination pratiquée, quel que soit le vaccin. Par exemple une vaccination grippale le 15 novembre précédent. Le cas sera alors classé comme apparu dans l'année qui suit sa dernière vaccination. Pour un témoin associé, on part aussi du 15 aout (date index) pour rechercher sa dernière vaccination reçue avant cette date. Par exemple une vaccination grippale le 5 novembre qui précède. Il sera alors aussi classé dans l'année.
D'où vient cette énorme signal avec 854 témoins dans l'année contre 508 pour les 2 années suivantes, soit 1,68 fois moins alors qu'il en faudrait 2 fois plus pour une répartition équilibrée ?
Si l'interprétation donnée dans l'exemple précédent a joué son rôle, elle ne peut expliquer à elle seule l'inversion des proportions de cas par rapport aux durées de 1 et 2 ans. Cette inversion est tout simplement liée à la répartition des vaccinations dans le temps. Si chaque cas et chaque témoin avait reçu une vaccination grippale chaque année il y aurait zéro cas et zéro témoin au delà de la première année. Ce serait un super signal mais qui pointerait uniquement cette distribution des vaccinations au cours du temps. Ce constat permet seulement de dire que beaucoup de cas et de témoins incorporés dans l'étude avaient reçu des vaccinations avec une fréquence proche d'une année et beaucoup moins sur une période plus longue. On peut noter à ce sujet que l'année 2009 avec la vaccination H1N1 était incluse dans la période d'étude.
Pour cette raison l'excédent très important de cas la première année par rapport aux 2 suivantes ne permet pas de conclure à la dangerosité du vaccin qui serait limitée à la première année. On peut encore moins, bien entendu, affirmer son innocuité en s'appuyant sur l'absence de signal statistique en cas-témoins sur 1 an et 3 ans comme cela fut fait avec beaucoup d'insistance. Pour illustrer ce fait voici, reprenant les conclusions des auteurs à ce sujet, les propos tenus à l'époque (2014) par le président du CTV sur ce résultat [5] :
'' Tous les vaccins reçus par les cas ont été pris en considération''
C'est inexact, il s'agit seulement de la dernière vaccination pratiquée avant la première atteinte démyélinisante.
« Cette étude est très rassurante dans la mesure où elle démontre à 3 ans l'absence de lien entre toute vaccination et la révélation d'un ADSN» ADSN : atteinte démyélinisante du système nerveux. »
Cette étude ne peut en aucune façon démontrer cela.
Ces 2 exemples permettent de décrire la procédure à suivre si on veut tester sur des délais en cas-témoins même si ce n'est pas la meilleure méthode :
Après avoir constaté l'absence de signal en cas-témoins il faudra rechercher comment se comportent les témoins. Cela demande un test direct sur eux avec, en théorie, une modélisation par Poisson bien qu'ici les écarts soient tels que ce ne soit pas vraiment nécessaire. On procède de même pour les cas. S'il y a un signal, il sera obtenu directement sur les cas sans faire appel aux témoins.
En conclusion de cette partie on constate que pour conduire correctement un test cas-témoins sur des délais il faut procéder à des tests directs et dissociés (par Poisson) sur les témoins et sur les cas. Le test cas-témoins est donc INUTILE (ainsi que les témoins) et pourrait, par incompréhension, conduire à des conclusions fausses en raison de la neutralisation d'un signal statistique en cas-témoins tout à fait compatible avec l'existence de signaux très forts sur les cas comme sur les témoins.
[4] http://archneur.jamanetwork.com/article.aspx?articleid=1917549
Résumé de la publication américaine Langer Gould et al d'octobre 2014 sur des atteintes démyélinisantes et SEP tous âges. Le texte complet n'est pas en accès libre.
Le tableau ci-dessous, extrait du texte complet, montre les données utilisés dans l'analyse faite ici.
[5] https://www.mesvaccins.net/web/news/6111-vaccinations-et-affections-demyelinisantes-du-systeme-nerveux-une-nouvelle-etude
ADDITIF du 27 avril 2018
Je reprends la citation de l'additif du même jour à la fin de la partie I :
“Plus récemment, une étude cas-témoins menée en Pologne chez 96 enfants autistes âgés de 2 à 15 ans vient confirmer l’absence de relation entre l’âge de la vaccination et la date du diagnostic d’autisme (OR : 0,28 [0,10-0,76])."
Tout d'abord, on est obligé de constater l'existence d'un signal très fort car la borne supérieure de l'intervalle de confiance (à 95%) est largement inférieure à 1. Plus précisément, avec ces données je peux calculer la probabilité d'obtenir un odds ratio ne dépassant pas la valeur observée qui est 0,28. Elle vaut 0,15% qui correspond à un résultat très significatif (limite habituelle 0,5%)
On doit donc être très surpris de constater que les auteurs traduisent cela par "une absence de relation" alors que le résultat statistique indique clairement le contraire. Je ne dispose pas, actuellement, de la publication aussi il faut se montrer prudent dans les conclusions. Cependant nous constatons qu'il s'agit d'un test cas-témoins sur des délais. Or nous venons de voir que le cas-témoins n'était pas adapté pour ce type de tests et que les "experts" étaient capables d'en tirer n'importe quelle conclusion. Leur affirmation est donc pour le moins suspecte et ce pour au moins 2 raisons parfaitement visibles ici :
1- Test cas-témoins sur des délais (délai entre la vaccination et le diagnostic d'autisme).
2- Affirmation qu'il n'y aurait pas de signal alors qu'il y en a un très fort.
Que signifie ce signal entre les cas et les témoins ? Que les cas et les témoins ne se comportent pas de la même façon par rapport à la chose testée mais je ne sais pas précisément ce que les auteurs ont testé.
Fin de l'additif
Partie III
Signal significatif sur des délais en cas-témoins
Les 2 exemples précédents correspondent à une absence de signal statistique en cas-témoins. Cependant, la même publication de Langer Gould [4] rapporte un signal significatif sur le délai de 14 jours et dans les mêmes conditions de construction que pour l'exemple 2. Qu'en penser à la lumière des explications précédentes ?
1- Le délai de 14 jours étant très court, contrairement aux délais de 1 an et 3 ans, les témoins vaccinés pourront se répartir dans ou en dehors de ce délai indépendamment de l'appartenance du cas à ce délai.
2- La répartition des vaccinations dans le temps n'est pas suffisamment rapprochée pour permettre une accumulation de témoins sur une durée de 14 jours alors qu'elle le permet sur 1 an. On ne vaccine pas tous les mois !
En conséquence, un signal statistique, s'il existe potentiellement, ne sera pas neutralisé par l'une ou l'autre de ces 2 conditions et pourra donc se manifester.
Ce signal, mis en évidence en cas-témoins sur un délai très court de 14 jours, se découvre tout aussi bien sinon mieux en testant directement sur les cas : il y a 14 cas apparus sur les 14 premiers jours contre 287 pour les 1081 jours restants jusqu'à 3 ans. Un test réalisé en modélisant par une loi de Poisson donne une probabilité 0,3% d'avoir un écart au moins aussi grand que celui observé entre la première période de 14 jours et la moyenne des 77 périodes suivantes de 14 jours. C'est donc significatif (<2,5%) et même très significatif (<0,5%).
La probabilité correspondante en cas-témoins vaut 0,73% (OR=2,32 IC 95% [1,18 4,37] permettent de récupérer la variance pour calculer cette probabilité). On constate sur cet exemple qu'on peut obtenir le même résultat sans recourir aux témoins, ce qui est beaucoup plus adapté, rapide, économique et même plus fiable car la sélection des témoins est toujours problématique.
Reprenant les conclusions des auteurs, voici ce qu'en disait le président du CTV [5]:
« L'augmentation du risque de révélation d'une ADSN à proximité immédiate d'une vaccination (tous vaccins confondus) est une constatation intéressante :le fait que cette augmentation du risque disparaisse à distance va dans le sens d'une non responsabilité du vaccindans la genèse de la maladie. Par contre, la stimulation immunitaire provoquée par le vaccin peut précipiter le passage d'une phase asymptomatique à une phase symptomatique de la maladie.
Cette hypothèse est en accord avec le fait démontré que l'apparition des premières manifestations de SEP fait suite à un processus immunitaire et un processus de démyélinisation débuté depuis plusieurs années auparavant. »
Si le rôle de la vaccination dans l'accélération du processus démyélinisant est reconnu, le vaccin est affirmé comme ne pouvant en être à l'origine en raison d'un délai trop court. Pourtant on ne peut exclure que l'évènement déclenchant ait été une autre vaccination pratiquée plusieurs années auparavant. Ce qui est rapporté dans cette publication ne permet pas d'en exclure la possibilité mais elle a été écartée par les auteurs et commentateurs pour 2 motifs non valides :
1- '' Tous les vaccins reçus par les cas ont été pris en considération'' ne signifie pas pour autant que toutes les vaccinations auraient été considérées. Ce fut seulement la dernière pratiquée avant apparition de la première atteinte quel que soit le vaccin.
2- La disparition du signal sur des délais longs comme 1 an et 3 ans est interprétée comme une absence de signal sur les cas alors qu'il s'agit seulement d'une absence de signal en cas-témoins. On a constaté au contraire qu'il existait un signal énorme sur les cas et sur les témoins et on a vu à quoi il pouvait correspondre.
Partie IV
Risque de première espèce ou exploration de données
Le risque de première espèce fut avancé sur la place publique par la Commission nationale de pharmacovigilance qui développa cet argument dans son compte-rendu du 30 septembre 2008 à propos de la publication de Marc Tardieu et al du 8 octobre 2008 [3] afin d'expliquer et de neutraliser l'impact médiatique du résultat significatif obtenu par les auteurs [6 ; 7 et 8] :
« Compte tenu de l’ensemble des analyses de sous-groupes réalisées, et donc de la multiplicité des tests qui ont été effectués (environ 160), il existe une augmentation très importante du risque de première espèce, et la probabilité de détecter une association significative par le simple fait du hasard est donc très élevée. »
Cette allusion au risque de première espèce avait aussi été reprise par Dominique Costagliola. Considérée comme figurant parmi nos meilleurs experts sur le plan théorique, elle déclarera (télévision) :
« à force de triturer les données on finit toujours par trouver quelque chose ! »
Affirmation confirmée par le résumé du compte-rendu de la Commission nationale de pharmacovigilance :
« les résultats de l’analyse du sous-groupe d’enfants ayant respecté le calendrier vaccinal présentent les caractéristiques d’un résultat fortuit. »
Le risque de première espèce
On veut tester si un dé est équilibré. S'il l'est effectivement et qu'après avoir réalisé une série de 120 jets on décide de tester cette hypothèse au seuil de 5%, on aura 5% de chances d'obtenir un résultat significatif d'un déséquilibre. Le risque de première espèce est, par définition, le risque de refuser une hypothèse vraie. Ce risque sera ici de 5% (à peu près en raison des discontinuités).
Si on répète 100 fois cette expérience de façon indépendante, ce qui demande de lancer le dé 12000 fois, on obtiendra en moyenne 5 expériences (constituées chacune de 120 jets) qui donneront un résultat significatif d'un déséquilibre alors que le dé est parfaitement équilibré. Mais encore faudra-t-il avoir la possibilité de lancer le dé 12000 fois et de façon aléatoire à chaque fois.
C'est bien le problème ici :
|
Il y a confusion entre : 1- la répétition d'une expérience (avec de nouvelles données) 2- la multiplication des tests sur les mêmes données. |
Exploration des données ou répétition d'une expérience ?
Ayant lancé 120 fois un dé on décide d'explorer les données ainsi : d'abord on teste si le nombre d'as obtenus est conforme à la moyenne attendue, soit 20 si le dé est équilibré et qu'il a été correctement lancé pour créer à chaque jet des conditions aléatoires. Ce sera le premier test. Puis on teste l'équilibre du dé par rapport au nombre de 2 obtenus, de 3 etc. Puis on poursuit avec l'évènement ''on a obtenu l'as ou le 2'' dont la moyenne attendue est 40. On poursuit ainsi en testant les évènement ''obtenir l'as ou le 2 ou le 3'' ou ''obtenir le 4 ou le 6'' etc. On peut ainsi multiplier les tests sur les mêmes données. Il faut évidement comprendre qu'on ne crée pas de nouvelles données en faisant varier l'objet du test au sein des mêmes données. Le risque de première espèce par ce processus n'est donc pas engagé.
C'est exactement ce qui se produit pour la vingtaine de tests présentés dans le tableau 2 de la publication déc 2007 de M.Tardieu [2]. Les données générales du tableau sont 143 cas dont 80 vaccinés hépatite B pour 1122 témoins dont 609 vaccinés. Quand les auteurs testent sur le délai ''la maladie apparait dans l'année qui suit la vaccination" ils utilisent la totalité des données comme on le fait pour le dé. Quand ils testent ''la maladie apparait dans les 2 ans qui suivent la vaccination" ils modifient l'objet du test au sein des mêmes données exactement comme avec les 120 jets du dé. Il n'y a aucune donnée nouvelle. Il s'agit, sans discussion possible, d'une exploration des données collectées, en aucun cas de la répétition d'une expérience apportant de nouvelles données comme ce pourrait être avec les données allemandes ou italiennes ou pour une autre période suffisamment décalée.
Pour compléter les tests sur la sclérose en plaques il y a aussi le tableau 4 de la publication 2008 [3]. Là il s'agit effectivement d'un sous-groupe, celui des ''observants au calendrier vaccinal'' avec 72 cas et 347 témoins, tous observants au calendrier. Ce fut le critère retenu pour éliminer certains témoins ''non observants'' mais associés à des cas ''observants''. Cela donne une moyenne de 4,8 témoins par cas au lieu de 7,85 dans le groupe général relatif à la sclérose en plaques.
Les mêmes remarques s'appliquent aussi bien sûr pour l'ensemble des atteintes démyélinisantes considérées. Ce doit être très clair : la multiplicité des tests n'a rien à voir avec la répétition d'expériences qui auraient pu générer un risque de première espèce. Celui-ci ne peut exister dans la situation décrite. De plus, le seul vrai sous-groupe qui a été étudié par les auteurs est celui des ''observants au calendrier vaccinal''. On ne peut en aucune façon considérer les cas et témoins classés par exemple dans la première année qui suit la vaccination comme constituant un sous-groupe à part entière puisque pour les tester on utilise aussi ceux qui ne s'y trouvent pas. Par contre on n'utilise pas des cas ou des témoins ''non observants'' pour tester au sein du groupe des ''observants'', c'est toute la différence !
Conclusion
|
Le risque de première espèce est lié à la multiplicité de données nouvelles indépendantes On ne crée pas des données nouvelles en multipliant les tests sur des données déjà acquises. |
Remarque 1
On pourrait ajouter qu'avec 349 cas il serait pratiquement impossible de créer avec eux une situation de risque de première espèce : si on admet qu'il faut au moins 20 cas pour obtenir un signal, on ne pourra avoir que 17 expériences ayant chacune 20 cas différents parmi les 349 afin de constituer la répétition de 17 expériences avec des données nouvelles à chaque fois.
Remarque 2
Le test significatif obtenu par les auteurs avait été réalisé en cas-témoins sur le délai de 3 ans : parmi les cas ''observants au calendrier vaccinal'' (4 DTP, 1 ROR et 1 BCG avant l'âge de 2 ans) ayant fait une sclérose en plaques, les auteurs avaient testé les cas vaccinés par Engerix B et apparus au delà de 3 ans après cette vaccination. Le test significatif donnait OR=2,77 et IC 95% [1,23 6,24]. Voici les données :
« Observants au calendrier vaccinal »
|
Vaccinés hépatite B |
72 cas dont 45 vaccinés |
347 témoins dont 194 vaccinés |
|
Engerix B < 3 ans |
11 |
43 |
|
Engerix B > 3 ans |
19 |
48 |
On constate que la répartition des témoins ''observants au calendrier'' et ayant été vaccinés contre l'hépatite B avec Engerix se répartissent à peu près à la proportionnelle sur les 3 premières années et le délai complémentaire pratiquement réduit aux 3 années 4, 5 et 6 (43 témoins contre 48) car il y a très peu de cas et de témoins au delà . Cela ne crée pas le signal mais évite qu'il soit neutralisé en cas-témoins comme exposé dans la partie II.
Cependant, il n'y a pas de signal quand on teste par une loi de Poisson entre les 11 cas des 3 premières années et les 19 cas supposés être tous apparus au cours des 3 années suivantes pour comparer sur des durées égales. Cela devrait interpeler car un signal en cas-témoins signifie seulement que les cas ne se comportent pas comme les témoins. Comme on va le voir dans la partie IV il ne faudrait pas conserver dans les calculs les cas non vaccinés Engerix. Autrement dit il faudrait prendre comme non exposés seulement les 11 cas apparus au cours des 3 premières années et donc exclure aussi leurs témoins. Or il y en a sans doute parmi les 43 et 48 témoins vaccinés Engerix. Les données publiées ne donnent aucune information à ce sujet.
Conclusions :
1- Les auteurs n'ont pas apporté la preuve qu'il existait un signal en cas-témoins.
2- Les commentateurs "autorisés" n'ont pas été capables d'utiliser des arguments valables pour le démontrer.
3- Ces commentateurs n'ont pas apporté la preuve que sur un autre délai qu'au delà des 3 premières années il n'existait pas de signal sur les cas. Par exemple sur les années 3+4 cumulées.
[6] Compte-rendu Commission de pharmacovigilance (30 septembre 2008) :
http://ansm.sante.fr/var/ansm_site/storage/original/application/44c88f6d7ce134fc2c4f0a337ce33109.pdf
[7] Communiqué de presse de l'Afssaps (1er octobre 2008) http://www.ansm.sante.fr/content/download/15469/180558/version/2/file/vaccin-hepatiteb-com-pv.pdf
[8] Communiqué de l'Académie de Médecine 14 octobre 2008 :
http://www.academie-medecine.fr/publication100035919/
Partie V
Sur les conditions de validité des tests cas-témoins
Du point de vue fondamental, le test cas-témoins n'est rien d'autres qu'un test de comparaison de 2 lois binomiales, ce qui implique 5 conditions :
1- L'échantillon de cas est issu d'un tirage binomial, ce qui suppose
a - que chaque cas a une même probabilité p d'avoir été exposé ;
b - que chaque cas a été exposé indépendamment des autres cas.
2- L'échantillon de témoins est issu d'un tirage binomial, ce qui suppose
a - que chaque témoin a une probabilité p' d'avoir été exposé ;
b - que chaque témoin a été exposé indépendamment des autres témoins.
3- Les témoins ont été exposés indépendamment des cas.
Il faudrait aussi ajouter une sixième condition : les échantillons doivent être de tailles suffisantes pour que l'approximation normale des lois binomiales soit acceptable. On peut alors tester valablement si on peut accepter l'hypothèse p=p'.
Avec des données médicales il ne sera pas possible de se montrer trop exigeant. Cependant, il faut chercher à éviter que le test puisse donner un résultat opposé à l'information réelle contenue dans l'échantillon. Or ce risque existe comme on va le voir.
On a déjà rencontré cette situation dans la partie II où la condition 3 n'est pas du tout satisfaite, l'appartenance des témoins à un délai un peu long ne pouvant être indépendante de celle de leurs cas associés. On a vu qu'en rétablissant cette indépendance numérique le signal sur les cas apparaissait en cas-témoins.
Tests cas-témoins sur des délais : une anomalie flagrante
Dans ces tests, les auteurs déjà cités, que ce soit les publications Tardieu ou Langer Gould, incorporent dans les calculs les cas et témoins non vaccinés pour lesquels le délai entre la date de la vaccination et la date index ne sera pas défini. Ils sont alors traités comme non exposés. Ces tests sur des délais recherchent s'il pourrait exister une durée particulière après la vaccination HB qui concentrerait l'apparition d'atteintes démyélinisantes. Si une telle concentration apparaissait, elle pourrait valider l'incubation de la maladie à partir de cette vaccination.
Le problème est analogue à la recherche de la durée de gestation chez la souris. Il ne viendrait à l'idée de personne de la traiter en cas-témoins, encore moins en introduisant dans les calculs des souris non fécondées et pourquoi pas des souris mâles !
Ce qui serait inadapté et ridicule pour l'étude de la durée de gestation chez la souris devrait l'être tout autant pour rechercher l'existence et la durée de l'incubation d'une maladie. Cependant, si on veut malgré tout traiter la question en cas-témoins, il existe alors un critère mathématique simple qui conduit à justifier d'écarter les cas non vaccinés dans les calculs. En effet, leur probabilité d'appartenir au délai testé sera nulle et donc très différente de la probabilité d'appartenir à ce délai pour les cas et témoins vaccinés. Aussi, le cumul des 2 types de cas et de témoins va détériorer sérieusement les conditions 1a et 2a qui demandent que chaque cas ait la même probabilité p d'appartenir au délai testé et de même pour chaque témoin qui devrait avoir, en toute rigueur, la même probabilité p' d'appartenir à ce délai.
Précisons sur un exemple : dans la publication de M.Tardieu de décembre 2007 [2], sur les 80 cas vaccinés HB il y en a 62 qui sont apparus au cours des 4 premières années. Pour ces 80 cas, la probabilité d'appartenir au délai de 4 ans pourra être estimée par 62/80=77,5%. Pour les 63 cas non vaccinés cette probabilité vaut 0 par la structure même du test choisi par les auteurs qui avaient aussi la possibilité de ne pas retenir ces 63 cas. On voit ainsi facilement que ces 63 cas vont gravement compromettre la condition 1a et de même pour les 513 témoins non vaccinés HB. Conserver ces cas et témoins dans les calculs ne peut que les détériorer. Les ajustements par régression logistique conditionnelle n'y pourront rien changer car ils n'ont pas d'action sur les données, ils cherchent seulement les meilleurs paramètres binomiaux ajustant les données. Si les données ne sont pas suffisamment proches d'une modélisation binomiale, les meilleurs paramètres ne seront pas de bons paramètres.
Conclusion : elle devrait être claire !
|
Dans les tests cas-témoins sur des délais il ne faut pas conserver les cas et témoins non vaccinés pour lesquels le délai entre la vaccination et la date index n'est pas défini. |
Pour le résultat significatif obtenu par Langer Gould sur un délai de 14 jours après une vaccination quelconque, la probabilité associée au test (probabilité d'obtenir un écart au moins aussi grand que celui observé) est 0,73% quand on la calcule à partir du test cas-témoins réalisé par les auteurs alors qu'elle est de 0,30% quand on teste avec une modélisation par Poisson. Le seuil du significatif est généralement fixé à 2,5% alors que celui du très significatif est à 0,5%. On voit que le test par Poisson est très significatif alors que celui en cas-témoins est seulement significatif. Ces écarts montrent qu'on pourrait, avec d'autres données, avoir un signal significatif avec le test par Poisson et non significatif en cas-témoins.
Problématiques du test cas-témoins après exposition à une substance
Nous allons maintenant voir ce qui peut se produire lorsque les cas ont des probabilités très différentes d'avoir été exposés à une substance et non plus à un délai et qu'ils sont traités ensemble alors qu'il faudrait dissocier (conditions 1a et 2a non satisfaites).
Une fois encore, la publication de Marc Tardieu et al de décembre 2007 va apporter un exemple intéressant [2]. Le test portant, non plus sur des délais mais sur l'exposition à la vaccination hépatite B donne un odds ratio OR=1,10 avec un intervalle de confiance à 95% [0,71 1,69] qui n'est donc pas du tout significatif.
Les données nous apprennent qu'il y a 42 cas apparus avant l'âge de 10 ans dont 10 avaient été vaccinés contre l'hépatite B avec leurs 357 témoins dont 97 vaccinés. Il y a ainsi 101 cas apparus après 10 ans dont 70 étaient vaccinés pour 765 témoins dont 512 vaccinés.
Pour les moins de 10 ans le test cas-témoins sans ajustements donne OR=0,84 avec une probabilité associée de 32,1% d'obtenir un OR au plus aussi grand que celui obtenu. Test non significatif mais clairement orienté côté ''protecteur''.
Pour les autres (≥10 ans), le même test donne OR=1,12 avec la probabilité 31,62% d'obtenir un OR au moins aussi grand que celui observé.
Mais une telle dissociation (non traitée par les auteurs) n'est pas suffisante car on sait que les classes d'âge vaccinées en sixième dans les collèges l'avaient été à 75-80% alors que pour les adolescents ce taux de vaccination était environ de 45%. Aussi le taux de 67% de vaccinés trouvé chez les témoins d'au moins 10 ans n'est qu'une moyenne entre des taux très différents.
Il fallait donc très certainement constituer 3 groupes : les enfants des 4 classes d'âge vaccinées au collège en sixième avec un taux de 75-80%, les plus jeunes avec un taux de vaccination d'environ 27% et les plus âgés vaccinés à 45-50%.
Il faut être conscient qu'en cumulant les données de ces 3 groupes ayant des probabilités aussi éloignées les unes des autres on ne peut espérer satisfaire à peu près les conditions 1a et 2a bien au contraire.
En conséquence, le test réalisé sur ces données globales n'a aucune valeur.
De plus, en raison de la barrière à 16 ans, il est a priori vraisemblable que le groupe des adolescents (ceux vaccinés à l'adolescence) soit orienté ''vaccin protecteur'' en raison d'une sous notification de cas : un adolescent vacciné à 15 ans et faisant sa première atteinte démyélinisante à 17 ans n'aura pas été retenu dans l'étude.
Voici une indication en faveur de cette hypothèse. Il s'agit du nombre de SEP apparues dans les 3 années qui suivent la vaccination par Engerix ou Genhevac ou au delà de ces 3 années :
|
SEP |
Cas < 3 ans |
Cas > 3 ans |
|
Engerix |
25 |
25 |
|
Genhevac |
15 |
7 |
On constate que pour Engerix la répartition est égale selon les délais alors qu'elle est déficitaire au delà de 3 ans pour Genhevac. Cette différence de répartition entre les 2 vaccins devrait pouvoir s'expliquer par la vaccination dans les collèges. On sait qu'elle fut pratiquée avec Engerix* qui a eu ainsi plus d'opportunités que Genhevac pour avoir des cas au delà de 3 ans en raison de la limite à 16 ans.
-
Cette campagne a duré 4 années scolaires à partir d'octobre 1994 jusqu'à juin 1998. Pour la dernière année le changement de ministre a permis aux autres vaccins d'être aussi utilisés, du moins autant que je puisse le savoir.
On peut aussi noter que le groupe trouvé significatif sur la SEP et publié en 2008 était caractérisé en particulier par ''vaccinés Engerix'' et ''au delà de 3 ans''. Avec ce tableau, on peut comprendre comment ces 2 critères ont pu favoriser l'obtention d'un groupe significatif. Le critère ''au delà de 3 ans'' écartait les enfants vaccinés 3 ans avant la date butoir de 16 ans et qui sont sans doute orientés ''vaccin protecteur'' alors que le critère ''Engerix'' pointait tout particulièrement les enfants vaccinés au collège (sans pour autant exclure tous les autres).
Les auteurs et les différents Comités qui ont publié des avis sur ce résultat significatif ont envisagé des raisons biologiques liées aux différences de fabrication des 2 vaccins (culture cellulaire ou sur ovaire de hamster chinois). Ils n'ont pas envisagé la raison la plus simple et la plus vraisemblable pour expliquer cette différence entre les 2 vaccins : la campagne spécifique dans les collèges avec Engerix.
Le fait que le résultats significatif ait été obtenu en écartant des adolescents suggère que le groupe des adolescents serait fortement orienté ''protecteur''.
Partie VI
Autres problèmes révélateurs
La règle de trois en épidémiologie
Trois choux coûtent tant, combien coûtent 10 choux ? Il est essentiel que tous les choux soient au même prix sinon on peut obtenir n'importe quoi. Aussi incroyable que cela puisse paraître, beaucoup d'utilisateurs de la fameuse règle de trois ne se préoccupent jamais de cette condition aussi simple qu'essentielle. Y compris les experts en santé publique quand ils ont voulu estimer le nombre de cas de tuberculose évitées chez les enfants sur une période de 6 ans entre 1997 et 2002 alors que le BCG était généralisé.
On peut raconter le calcul avec un lot de carottes : 80% ont été traitées avec un produit chimique ayant une efficacité supposée de 50% pour éviter la pourriture des carottes, soit 40% de protégées. On a trouvé N carottes pourries qui se trouvaient forcément parmi les 60% de non protégées. Une règle de trois donne aussitôt 2N/3 carottes pourries pour 40% qui est le nombre de carottes que le produit aurait protégé de la pourriture.
Facile, sauf que 80% des carottes avaient été stockées au sec dans un grenier et que les autres étaient à la cave en milieu humide. Que vaut la règle de trois dans ces conditions ? Rien du tout ! Or c'était exactement la situation de la tuberculose dans notre pays entre 1997 et 2002 avec une très grosse majorité d'enfants fortement vaccinés par le BCG avec un risque très faible d'exposition et une minorité d'enfants avec un risque élevé.
Un tel calcul avait été présenté pages 212 et suivantes dans une Expertise collective (10 experts) réalisée par l'Inserm et intitulée "Place de la vaccination dans la maîtrise de la tuberculose" - Novembre 2004
Il aurait fallu dissocier au moins entre la population faiblement exposée et celle fortement exposée pour laquelle l'efficacité du BCG a toutes chances d'être très différente et surtout beaucoup plus faible comme les nombreuses expérimentations animales l'avaient démontré autrefois.
De plus, le calcul exige l'indépendance entre la vaccination et l'exposition. Or cette condition n'était pas du tout réalisée puisque si l'enfant avait été contaminé avant d'avoir été vacciné, le test tuberculinique préalable devenant positif, la vaccination n'était pas pratiquée.
A l'école primaire dans les années 50 on ne faisait pas de mathématiques mais seulement des calculs. Les mathématiques débutaient en sixième. Aujourd'hui à six ans les enfants font des maths ! Quelle est la différence entre faire des calculs et faire des mathématiques ? Celles-ci commencent seulement quand on accorde de l'importance aux conditions de validité des calculs, pas avant !
Les conditions de validité des calculs sont primordiales
En novembre 2011, j'en discutais avec 3 jeunes épidémiologistes au congrès de la Sfsp à Lille. L'une d'elles dira qu'en école on apprend plein de conditions conditionnant l'utilisation des tests statistiques mais qu'ensuite, en pratique, on ne s'en occupe jamais. Une autre d'ajouter : ''Si on en tenait compte on en ferait beaucoup moins !''
C'est le terrible constat qu'on est contraint de faire : les conditions de validité ne servent qu'à passer des examens ! Après, les ''anciens'' qui encadrent les ''jeunes'' se chargent de leur apprendre le ''métier''... Il n'y a pas que l'expertise en santé publique qui fonctionne ainsi. Je l'avais constaté dans d'autres domaines très différents en participant à des jurys de soutenance de mémoires d'étudiants après des stages en entreprises. Cette attitude cavalière peut conduire à des conclusions fausses qui pourraient couter très cher aux entreprises. Mais avec les actions qualifiées de santé publique ce sont les populations qui supportent les conséquences délétères des erreurs commises par les experts.
L'estimation ainsi faite du nombre de cas de tuberculose évités par le BCG a joué un rôle très important pour définir et ''justifier'' la nouvelle politique vaccinale par le BCG en 2007. Cette estimation avait été publiée partout, y compris sur des sites dont la santé n'était pas du tout la préoccupation. Le ministre en fera état au cours d'une réponse à une question écrite d'un sénateur.
Les nouvelles recommandations vaccinales du BCG en 2007 s'étaient fortement appuyées sur cette estimation afin de pouvoir soutenir une recommandation ''scientifiquement'' fondée alors que le calcul n'avait aucune valeur et était même un peu ridicule …
Un intervalle de confiance très élastique
Voici ce que Dominique Costagliola avait affirmé sur ces questions d'intervalles de confiance au cours de la Conférence de consensus des 10-11 septembre 2003 sur la vaccination hépatite B :
«Le résultat d'une étude d'association s'exprime par un risque relatif ou un odds ratio associé d'un intervalle de confiance (IC). Ces éléments sont plus importants à considérer que la simple interprétation du test d'association en significatif/non significatif. »
« Ainsi un risque de 3 avec un intervalle [1,1 ; 600] nous dit que l'étude manque grossièrement de puissance puisque le risque peut être à peu près n'importe quoi. »
On sait que le carré de l'odds ratio est le produit des bornes de l'intervalle de confiance : OR²=(inf)x(sup) où inf et sup sont les bornes inférieure et supérieure de l'IC. On devrait donc avoir 3²=600x1,1=660 ! Si on fixe la borne inférieure inf=1,1 et OR=3 on en déduit aussitôt sup=9/1,1=8,18 et non pas 600 !
Qu'une expert de ce niveau puisse faire de telles erreurs en faisant un cours sur le sujet devant une salle d'experts de haut niveau pose la question de la formation. Voilà ce qui arrive quand on apprend les tests statistiques sur logiciels sans aucun support théorique réellement assimilé. Un étudiant m'a dit un jour : « Pas besoin d'apprendre la statistique, y'a des logiciels pour ça ! » Oui, bien sûr … mais les conséquences peuvent en être très graves...
Remarque : la formule est simplement la version multiplicative, après avoir pris l'exponentielle des nombres considérés, de l'IC centré de la forme [m-a m+a] dont la somme des bornes vaut 2m.
On observe le même phénomène avec l'ajustement linéaire : les calculs pour trouver l'équation de la droite de régression d'un nuage de points n'ont pas pour effet de rendre à peu près linéaires des données qui ne le seraient pas du tout. De même, si les données, cas ou témoins, ne sont pas du tout de type binomial, l'ajustement logistique même conditionnel n'y pourra rien changer. On en constate les effets avec les exemples que j'ai proposés qui sont évidemment essentiels pour réaliser l'importance de ces conditions non explicitées.
Conclusions
Par ses erreurs, l'expertise actuelle est dangereuse
Une des fonctions attribuées à l'expertise est d'étudier l'impact d'une campagne de vaccination sur une population. Il devrait paraître clair qu'à l'heure actuelle elle n'est pas à la hauteur de la tâche que la société et l'autorité politique lui demandent d'accomplir.
Force est de constater qu'il existe une incompréhension profonde des lois qui gouvernent l'utilisation des tests statistiques. Elle est la conséquence d'une formation théorique non assimilée conduisant à s'appuyer exclusivement sur les logiciels de statistiques. Pourtant, les experts en santé publique s'affirment être des scientifiques et déclarent sans complexes que leur discipline est une science comme on peut le lire page 10 de ce document [9] trouvé sur le site de l'Association des épidémiologistes de langue française (Adelf).
Pour terminer je voudrais dire un mot en relation avec la façon dont les personnes qui se considèrent comme victimes de vaccinations sont traitées par notre société qui pourtant affirme tirer un très grand bénéfice de ces vaccinations. Pour les effets indésirables, Alain Fisher, au cours de la restitution de la concertation citoyenne sur la vaccination le 30 novembre 2016, avait ''expédié'' le problème en quelques mots : pour cela il y a l'ONIAM, c'est parfait !
J'ai rencontré plusieurs personnes atteintes de sclérose en plaques après vaccination hépatite B. Elles sont allées devant l'ONIAM qui les a renvoyées au motif que ''les études avaient démontré qu'il n'y avait pas de lien''. Quand certaines ont encore la force de se tourner vers la Justice et que, parfois, elle accorde des indemnités conséquentes dont les médias font état, certains s'exclament que la Justice ne respecte pas les données de la science …
Je laisse au lecteur qui aura étudié l'analyse faite ici, le chemin qui reste à accomplir pour que l'analyse des données médicales devienne réellement scientifique. Pour avancer il faudra d'abord reconnaître les erreurs méthodologiques avec effet rétrospectif. Le vrai scientifique sait se montrer modeste devant l'immensité de la tâche à accomplir quand il la compare aux limites de ses possibilités et à la situation actuelle.
Force est de constater que les politiques de santé publique comme les conditions de reconnaissance des victimes de ces politiques s'appuient sur des ''études'' présentées comme scientifiques alors que leurs conclusions s'appuient sur des erreurs monumentales qui pourraient rendre ridicule s'il n'était pas dangereux, le système ''d'expertise'' qui les a produites.
Comme l'écrivait Marie-Dominique Furet dans son rapport de 2008 à la DGS :
« L’expert dit l’état des connaissances.
Sa fonction sociale est l’héritière de celle des mages de l’Antiquité.
Il a longtemps bénéficié d’une autorité naturelle d’extraction quasi divine.
Sa science était immaculée.»
ÉTAIT … Il serait temps de s'affranchir réellement d'un tel archaïsme !
[9] http://adelf.isped.u-bordeaux2.fr/Documentation
« Guide de déontologie et bonnes pratiques en épidémiologie » 37 pages version 2007.
Il est actuellement en révision pour proposer un nouveau document actualisé. J’avais suggéré qu’une place soit donné aux problèmes posés par les mésusages des tests statistiques. Il me fut répondu que ma suggestion accompagnée d’un document explicitant ces problèmes avaient été transmis aux responsables de cette révision. Nous verrons bien …
/https%3A%2F%2Fassets.over-blog.com%2Ft%2Fcedistic%2Fcamera.png)
/https%3A%2F%2Fprofilepics.canalblog.com%2Fprofilepics%2F2%2F6%2F267566.jpg)