The Costs and Benefits of Peer Review

L’apparition récente du biologiste Paul Ehrlich dans 60 minutes il a obtenu une réponse immédiate, avec une avalanche de dénonciations de ses décennies passées à vendre des histoires effrayantes non fondées. Erlich a répondu tweeter:

Si je me trompe toujours, la science aussi, car mon travail est toujours évalué par des pairs, y compris POPULATION BOMB, et j’ai remporté pratiquement tous les honneurs scientifiques.

L’appel d’Erlich à un « examen par les pairs » est remarquable. Remarquez comment il combine ce processus avec la pratique de la science elle-même.

Mais Ehrlich a tort. Comme Adam Mastroianni, chercheur postdoctoral à la Columbia Business School, l’a souligné dans un article récent, l’examen par les pairs, où « nous avons quelqu’un qui examine chaque document et rejette ceux qui ne réussissent pas le test », n’a que la soixantaine :

De l’Antiquité à nos jours, les scientifiques écrivaient des lettres et faisaient circuler des monographies, et les principaux obstacles les empêchant de communiquer leurs découvertes étaient le coût du papier, de l’affranchissement ou de l’impression, ou en de rares occasions, le coût d’une visite à l’Église catholique. Des revues scientifiques parurent dans le 1600, mais ils fonctionnaient plus comme des magazines ou des newsletters, et leurs processus de sélection d’articles allaient de « nous imprimons ce que nous obtenons » à « l’éditeur demande à son ami ce qu’il en pense » à « l’ensemble de la société vote ». parfois tous les jours Je n’ai pas pu obtenir suffisamment d’articles à publier, les éditeurs devaient donc supplier leurs amis de soumettre des manuscrits ou de remplir eux-mêmes le blanc. L’édition scientifique continue d’être un fatras depuis des siècles.

(Seul un Soit dit en passant, certains des articles d’Einstein ont été évalués par des pairs, et il a été tellement surpris et bouleversé qu’il a publié son article dans une autre revue.)

L’avantage supposé de l’examen par les pairs est de « saisir[ing] mauvaise recherche et prévenir[ing] qu’il soit publié. » Mais, Mastroianni souligne :

Les scientifiques ont fait des études dans lesquelles ils ajoutent délibérément des erreurs aux articles, les soumettent aux examinateurs et comptent simplement le nombre d’erreurs détectées par les examinateurs. Les critiques sont assez horribles à ce sujet. Dans Cet atelier les examinateurs ont détecté 30 % des défauts majeurs, en Cet atelier ils ont capturé 25%, et en Cet atelier ils en ont attrapé 29 %. Il s’agissait de problèmes critiques, tels que « l’article prétend être un essai contrôlé randomisé, mais ce n’est pas le cas » et « lorsque vous regardez les graphiques, il est assez clair qu’il n’y a pas d’effet » et « les auteurs tirent des conclusions qui ne sont absolument pas étayées par les données. » Les examinateurs n’ont généralement pas remarqué.

La bombe démographique appartient à la liste scientifique indésirable évaluée par des pairs.

Et il y a des coûts pour le processus :

Selon une estimation, les scientifiques dépensent collectivement 15 000 ans réviser les articles chaque année. Cela peut prendre des mois ou ans pour qu’un article fasse son chemin dans le système de révision… Et les universités déboursent des millions d’accéder à des revues à comité de lecture, même si une grande partie de la recherche est financée par des contributeurs, et qu’aucun de cet argent ne va aux auteurs ou aux examinateurs.

Les grandes interventions devraient avoir de grands effets… si l’examen par les pairs améliorait la science, cela devrait être assez évident, et nous devrions être assez contrariés et embarrassés si ce n’était pas le cas.

Dans toutes sortes de domaines différents, la productivité de la recherche a été stable ou en déclin depuis des décennies, et l’examen par les pairs ne semble pas avoir inversé cette tendance. de nouvelles idées sont ne pas pouvoir déplacer les personnes âgées. De nombreux résultats évalués par des pairs ne réponds pasOui la plupart d’entre eux peuvent être carrément faux. Lorsque vous demandez aux scientifiques de classer les découvertes du 20e siècle en physique, médecine et chimie qui ont remporté des prix Nobel, ils disent que celles qui ont été soumises à un examen par les pairs sont aussi bien voire mieux que ceux qui sont venus après. En fait, vous ne pouvez même pas leur demander d’évaluer les découvertes lauréates du prix Nobel des années 1990 et 2000, car elles ne sont pas assez nombreuses.

Un article récent dans La nature est intitulé « La science perturbatrice a décliné et personne ne sait pourquoi », mais Mastroianni nous donne peut-être au moins une partie de la réponse :

L’invention de l’examen par les pairs a peut-être même encouragé mauvaise recherche Si vous essayez de publier un article montrant que, par exemple, regarder des vidéos de chiots incite les gens à faire plus de dons à des œuvres caritatives, et que le critique 2 dit : « Je ne serai impressionné que si cela fonctionne aussi pour les vidéos de chats », vous êtes sous pression extrême pour faire un travail de studio vidéo pour chats. Peut-être ajuster un peu les chiffres, ou jeter quelques valeurs aberrantes, ou essayer un tas de vidéos de chats jusqu’à ce que vous en trouviez une qui fonctionne et ne mentionnez jamais celles qui ne fonctionnent pas. 🎶 Faites une petite fraude // postez un article // descendez ce soir 🎶

Les chercheurs sont aussi réceptifs aux incitations que quiconque. Le processus d’examen par les pairs encourage le « jeu », les personnes cherchant à satisfaire les examinateurs et à améliorer leurs publications plutôt que d’innover. Les coûts de l’examen par les pairs ne semblent pas l’emporter sur les avantages. Cela ne devrait pas être une camisole de force pour de nouvelles recherches ou un bouclier pour des charlatans comme Ehrlich.

Source