Dossier

Comment suivre l’actu scientifique sans se faire berner par des articles erronés ?

Science

Par Antoine le

Aujourd’hui, il peut être difficile de savoir où donner de la tête lorsqu’on lit  un sujet ayant trait aux sciences. Entre le phénomène du téléphone arabe, les coquilles diverses, les erreurs d’interprétation, ou même les hoax purs et simples, les pièges sont nombreux et peuvent empêcher la bonne compréhension, voire même déformer complètement le propos. Partant de ce constat, nous vous proposons une liste de points auxquels même un novice en sciences peut prêter attention, pour se faire sa propre idée sur un article scientifique ou un papier de recherche.

La première chose à vérifier en arrivant sur un papier scientifique, c’est la date de l’étude. Cela peut paraître évident, mais la date de publication est fondamentale car c’est important pour situer le contexte social, savoir les travaux auxquels l’équipe avait accès ou pas, et commencer à tirer le fil de l’étude.

Ensuite, on s’intéresse à l’identité des auteurs (qui seront presque toujours plusieurs), et en particulier celle du chef d’équipe. Sauf dans de rares cas, le grand public connaîtra rarement le nom des scientifiques en question, mais il y a tout de même quelques informations intéressantes à chercher. Sont-ils affiliés à une université prestigieuse ? L’université en question possède-t-elle une réputation dans le domaine concerné ? Cela constitue un premier indice quant à la fiabilité d’une publication.

Ensuite, viennent les questions sur leur travail. Ont-ils déjà publié sur le sujet ? Avec quels résultats ? Leurs études ont-elles porté ? Parmi les facteurs permettent de l’estimer, il y a le nombre de citations dans d’autres papiers de recherche. C’est l‘un des principaux critères sur lesquels les chercheurs se comparent : en règle générale, plus vos travaux sont cités, plus vous êtes un chercheur influent et reconnu. En effet, les articles présentant les avancées les plus importantes serviront forcément de base à d’autres travaux, qui devront donc dûment les citer. Le décompte du nombre de citations est tout sauf infaillible, mais il permet de se faire une bonne idée de la portée d’une étude. Google Scholar, entre autres, de recense le nombre de citations des papiers qu’il référence.

Le nombre de citations tel que référencé par Google Scholar.

Le nombre de citations ne fait pas tout, et d’autres métriques existent, comme le h-index, créé par le chercheur J.E. Hirsch, et censé quantifier la contribution scientifique d’un chercheur en particulier. Les index h sont accessibles sur plusieurs plateformes comme Scinapse.

Le profil Scinapse d’He Jiankui, le chercheur à l’origine des « Bébés-CRISPR ».

Il est aussi intéressant de vérifier si le laboratoire en question est rattaché ou non à une entreprise spécifique, et la source de financement de cette étude, car ses conclusions pourraient potentiellement faire l’objet de conflits d’intérêt et être biaisées. Par exemple, une étude vantant les bénéfices d’une substance rédigée par un scientifique affilié à l’entreprise qui la commercialise devrait immédiatement déclencher une alerte rouge. Normalement, tout chercheur dans cette situation est censé le déclarer explicitement au bas de son papier. Il faut cependant garder à l’esprit que lorsque de telles manœuvres sont mises en place, elles sont rarement très explicites et nécessitent une recherche assez approfondie pour s’en rendre compte.

Par exemple, au pied de cette étude, on trouve la mention suivante :

Note sur les conflits d’intérêt au pied d’un article sur PubMed (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3977703/)

On apprend que deux des chercheurs ont reçu des fonds (« grant« ) de la part du laboratoire Merck pour réaliser cette étude, et qu’un d’entre eux travaille pour le laboratoire. Dans ce cas précis, la bonne foi dont les chercheurs ont fait preuve en le déclarant et la solidité de l’étude ont tout de même permis au papier de passer le peer-reviewing, mais tous les auteurs ne sont pas aussi honnêtes.

C’est un sujet pris très au sérieux par la plupart des grands journaux scientifiques, qui ont en général une politique bien définie et précisée explicitement pour éviter de présenter des travaux sujets à des conflits d’intérêt.

1. Le peer reviewing

Aujourd’hui, tous les grands journaux et sites internet scientifiques sérieux font appel à des comités de relecture. Il s’agit de panels de scientifiques triés sur le volet pour leur esprit critique, leur rigueur, et leur connaissance du sujet en question qui sont chargés de relire, de vérifier et d’approuver un article avant qu’il ne soit publié.

Leur travail est fondamental, et lorsqu’on cherche à décortiquer un article scientifique, il est très important de vérifier si celui-ci est passé par ce processus dit de révision par les pairs, ou peer-reviewing.
Cela constitue souvent un gage de qualité car la réputation d’un journal dépend de qualité du processus de révision par les pairs. Dans les journaux les mieux indexés, ils sont aujourd’hui incroyablement pointilleux dans leurs vérifications.

Pour la petite histoire, cela n’a pas toujours été le cas. En 1996, le physicien et épistémologue Alan Sokal s’est livré à une petite expérience. A cette époque, ces comités de relecture étaient peu communs et pas forcément très rigoureux, ce qui desservait la science. Il publie donc dans le Social Text un article nommé “Transgresser les limites : vers une herméneutique transformative de la gravité quantique”. Vous n’avez rien compris ? C’est bien normal : l’article entier, à l’image de son titre, était une énorme farce. Un fourbi sans nom, un empilement de jargon aléatoire sans aucun fondement scientifique destiné à flatter les convictions de son lectorat.. que le Social Text a pourtant publié sans sourciller.

L’espiègle professeur Sokal, dont la farce à mis le monde de la publication scientifique à feu et à sang. | © WikiCommons

Quand le scientifique a révélé la supercherie, l’affaire – depuis passée à la postérité sous le nom d’Affaire Sokal – a fait l’effet d’une bombe nucléaire dans le monde de l’édition scientifique. Cela a grandement participé à la mise en place des comités de relecture tel qu’on les connaît aujourd’hui.
La leçon qu’il faut en tirer est simple : lire des articles publiés dans des médias avec un vrai comité de relecture est souvent un gage de sérieux et de qualité, et tous les journaux sérieux mettront à disposition une déclaration de politique générale quant à la révision par les pairs (comme Nature ici ). Ce fascinant morceau d’histoire est toujours disponible à cette adresse pour ceux qui voudraient s’amuser à le décortiquer.

A noter que cette histoire a inspiré beaucoup de monde et les hoax papers se sont multipliés depuis, comme lors de l’affaire du « chocolat qui fait maigrir« . Le plus souvent avec de bonnes intentions, pour prouver les lacunes de certaines plateformes en termes de fact-checking. Mais cette pratique est aujourd’hui très largement désapprouvée, car accusée d’être contre-productive et de participer à la désinformation scientifique.

Attention, cependant : certains comités de relecture sont moins scrupuleux et rigoureux que d’autres, et peuvent valider presque n’importe quoi moyennant une certaine somme, comme l’a montré le faux papier de Science qui s’est livré à l’exercice en 2013. Les exemples pour prouver qu’avoir un comité de relecture ne suffit pas sont légion : il faut également s’assurer de la réputation du journal.

2. Impact Factor et autres métriques

Pour ce faire, la nature du journal scientifique où l’article a été publié est une information majeure. Tous ne se valent pas, loin de là. Il existe un critère qui permet d’avoir très rapidement une idée de la fiabilité de ces journaux : il s’agit de l’impact factor (IF). C’est un score qui dépend du nombre de citations dont un papier fait l’objet sur les deux dernières années, et du nombre total d’articles “citables” sur cette même durée. Même si sa pertinence est discutée, cela reste un bon moyen de se faire une idée du poids d’un journal.
On peut trouver ces Impact Factors directement dans Google. On considère habituellement qu’avec un IF supérieur à 5, le journal commence à être très sérieux. A 8, on arrive à des journaux de référence, présents dans les 3 meilleurs pourcents. Au dessus de 10, on trouve un club très fermé de journaux spécialisés, qui font référence dans le monde entier.
A titre d’exemple, les références absolues que sont Nature (41,6), Science (37,2) ou Cell (36,2) affichent des facteurs d’impact astronomiques. Ils sont donc lus et cités par un grand nombre de journaux eux-aussi très influents tous les jours.

A l’inverse, certains journaux au titre en apparence tout aussi sérieux comme Earth  présentent un impact factor inférieur à 0.2, témoin d’une influence quasiment nulle dans la sphère scientifique. Une précision, cependant : dans des domaines plutôt restreints où le nombre de publications est par conséquent assez réduit, l’échelle est très différente et bien plus réduite. Il n’est donc pas inquiétant de ne trouver aucune revue avec un impact factor supérieur à dix quand on parle de sujets de niche.

Il en existe de nombreuses variantes, comme le SCImago Journal Rank (SJR), ou le Thompson-Reuters Impact Factor (JCR), les deux plus utilisés aujourd’hui. Les différences exactes entre ces différents index sont plutôt bien expliquées sur ce topic ResearchGate, mais en substance, ils utilisent surtout des bases de données différentes et prennent en compte le prestige du journal qui les cite. Les universités de certains pays ont parfois une préférence pour l’un d’entre eux, mais les deux restent fiables et représentatifs. A noter que ces deux indices sont plus « écrasés » et grimpent moins haut que l’Impact Factor brut. A titre d’exemple, Nature, avec son IF de 41,6, a un SJR moins élevé à cause de cette différence d’échelle, mais reste néanmoins une référence absolue.

Fiche du journal Nature sur https://www.scimagojr.com/

Vous pouvez trouver le SJR d’un journal et un tas d’autres outils analytiques sur le site de Scimago.

L’index i10 est également assez utilisé : il indique le nombre de papiers cités plus de 10 fois dans un journal, et représente donc le nombre d’articles à “succès” dans un journal.

Globalement, en cas de doute sur la fiabilité d’une source, partir à la chasse aux indices est un bon moyen de se faire une idée de la qualité de ce qu’on est en train de lire. Mais ces mesures ne sont pas irréprochables : il existe un tas d’argument plus ou moins solides pour critiquer le système d’Impact Factor. Certains sont tout à fait recevables : il est par exemple de notoriété publique que ces indices ont tendance à défavoriser les jeunes chercheurs. D’autres sont plus que douteux et émanent directement de chercheurs qui ont un problème personnel avec la méthode.

Si vous souhaitez vous faire votre propre idée, voici un papier qui critique l’impact factor de façon très véhémente (en anglais), et un autre plus mesuré en français. Certains proposent donc des solutions alternatives mais il n’existe pas encore de consensus sur le sujet.

Mais quoi qu’il en soit, il faut bien trouver un cadre à même de quantifier la contribution scientifique, et ces bibliométriques sont le meilleur outil que l’on ait trouvé aujourd’hui, comme le résume assez élégamment l’immunologiste John Tregoning dans cette tribune.