Moi aussi je veux boycotter Nature et Science

Avant de commencer cet article, une petite question me taraude. Vous ai-je manqué ?


Si vous êtes assez attentifs, vous aurez remarqué que ça fait quelques temps que vous n’avez pu lire ma verve si captivante. Enfin, captivante ça dépend pour qui bien entendu. Cela fait quelques temps que j’essaie de vous pondre un article sur « La Publication » mais j’ai beaucoup de mal à trouver l’axe que je voudrais prendre là dessus, pour ne pas paraître trop aigri ou hargneux. Mais je pense qu’au vu de mes précédents articles, c’est déjà peine perdue. Alors rentrons dans le vif du sujet.

La publication. Si vous prononcez ce mot (ou tout ce qui en dérive, comme « publier », « publier » ou « as-tu publié ? ») à n’importe quel doctorant (ou post-doc, ou chercheur, bref à n’importe qui dans un laboratoire, sauf la femme de ménage), vous verrez dans le millième de seconde qui sépare la fin de votre « tion » (prononcez « ssion ») de la réception du mot par le cerveau de votre interlocuteur une réaction assez particulière : d’un coup, ses yeux vont se mettre à briller. Briller car la publication c’est l’objet sacré de notre domaine, qui est l’aboutissement de tout votre travail, qui est l’apanage de votre CV scientifique, c’est votre degré de distinction au sein de vos pairs, c’est votre nombre de followers sur Twitter, ou encore les jantes de votre R16 sur le concours de tunning du parking du CORA ; c’est à quoi vous voulez prétendre, ce à quoi vous travaillez d’arrache-pied, c’est la récompense ultime. Puis une seconde après, vous verrez ces même yeux s’humidifier et se remplir de larmes (les plus forts arriveront à les cacher en feintant une « poussière dans l’oeil » – habile mais classique stratagème !). Des larmes parce que pour publier il faut en baver, passer par des centaines de manips foirées, des incompréhensions, des résultats non exploitables, mais également se heurter à des problèmes techniques contre lesquels vous ne pouvez rien faire, vous confronter aux autres équipes qui travaillent sur le même sujet, mais mieux que vous… Et alors que votre papier est prêt, rien n’est fini : il faut le soumettre à différentes revues qui pourraient l’accepter (c’est déjà une paire de manches), parfois débourser des sous pour cela, que le papier passe devant un comité de relecture qui, si vous avez de la chance, ne vous demandera que de corriger les fautes d’écriture du manuscrit – ou alors de recommencer 10 000 expériences supplémentaires afin de répondre à une question qui à la base n’est même pas censée s’intégrer dans vos travaux. Des fois, le délai entre la première soumission d’un papier et sa publication finale peut s’étendre à un an ou plus (voire l’infini, si au final vos travaux deviennent obsolètes à force de recommencer plein de trucs tout le temps). Vous aurez donc compris qu’on ne publie pas comme on le voudrait.

Un classique

Un classique du cinéma scientifique

Et il y a énormément de choses à dire sur la publication, et beaucoup de personnes en parleraient certainement mieux que ma pauvre personne. Mais manque de bol, il n’y a qu’Emilio et moi sur ce blog en ce moment et Emilio est bien trop occupé à chasser des cigognes en ce moment. Alors voilà. Je trouve que la publication est un excellent moyen de communication scientifique. Communication qui est l’une des clés pour que la recherche fonctionne bien. Il faut en effet que le savoir, les techniques, et les découvertes des uns profitent aux autres pour que tout le monde puisse avancer sur le merveilleux chemin de la Science. Et que chaque équipe puisse savoir comment les travaux des uns ont été faits afin que chacun puisse les reproduire et ainsi valider l’approche et la démarche scientifique qui ont été employées. Un formidable outil de communication donc. Le problème, c’est que la publication est également utilisée, et à tord je pense, comme un moyen prédominant d’évaluation du chercheur. D’évaluation de son travail, mais également de sa qualité de chercheur, ce que je trouve idiot, sinon injuste et scandaleux. Et ça, c’est la faute aux journaux qui publient les travaux des chercheurs, et a un outil de bibliométrie appelé facteur d’impact. Nombre d’entre vous savent ce qu’est ce facteur. Mais au cas où : c’est une valeur qui va indiquer pour telle revue, combien de fois un article qui y est paru a ensuite en moyenne été cité. En découle une hiérarchie des journaux avec les « petits » qui ont un facteur d’impact à 1 – et les plus gros tels Nature/Science/Cell qui culminent au delà de 30. Ce facteur permet de déterminer la visibilité d’une revue, et concrètement, c’est surtout un indicateur de la « classe » du journal. Quand tu publies dans un journal avec un FI supérieur à 15, t’es un beau gosse ; en dessous de 5, t’es un pouilleux.

Lui par exemple, il a pas publié dans Nature.

Et c’est bien là le problème. Puisqu’en plus de pousser les doctorants/chercheurs à publier à tout prix (le tristement célèbre « publish or perish »), on te pousse en plus à ne publier que dans les revues les plus prestigieuses (et la notion de prestige dans la recherche est il me semble assez malvenue). Parce qu’au final c’est ça qui va avoir un réel (facteur d’) impact sur la poursuite de carrière. Nombre de post-docs qui ont un dossier béton avec une dizaine de papiers à leur actif peuvent se faire mettre leur poste de statutaire à cause d’un autre qui aura un Nature pour lui (je n’ai pas d’exemple concret à donner, mais on m’a raconté cette histoire des dizaines de fois). Sachant qu’en plus ces journaux publient à priori les travaux les plus « à la mode », ou qui auront le plus d’impact sur la recherche et ses retombées. Pour autant, un travail qui ne permettra pas de guérir le cancer n’est-il pas important ? C’est bien ça qui me chiffonne, je veux dire, la qualité d’un chercheur c’est sa façon d’aborder un problème, de répondre à une question, de mener une expérience, d’adopter une démarche scientifique raisonnée et reproductible par ses pairs, et ce QUEL QUE SOIT LE SUJET de recherche !! Un mec qui réussit à démontrer quel est l’impact de la présence de bigorneaux dans la Loire sur la migration de la Loutre de façon carrée et parfaite a autant de mérite que le mec qui arrive à trouver un facteur de virulence qui pourrait être utilisé pour faire un vaccin définitif contre le virus du SIDA. On est d’accord, les retombées ne seront absolument pas les mêmes, mais dans leur travail, ces deux scientifiques seront tous les deux irréprochables au même niveau. Et pourtant, ça ne se verra pas sur leur pedigree, parce que l’un aura un Env. Nat. Biol  (IF = disons 2) et l’autre un Science ou Nature. Je me répète, la publication est pour moi un superbe outil de communication mais ne devrait pas être le critère essentiel d’évaluation du chercheur et de son travail. Alors certains diront que « oui, c’est pas la seule chose évaluée ». Mais arrêtez de jouer les hypocrites, on sait très bien que si, c’est clairement le cas. Et c’est encore plus injuste quand on pense que, comme les 3/4 des résultats qu’on obtient sont non publiables, et qu’il n’existe pas de (on en rigole toujours au fond) Journal of Negative Results, le chercheur n’est évalué au final que sur 1/4 du travail produit ! Alors que des résultats négatifs sont aussi très informatifs et devraient également être communiqués ! Mais c’est une autre question qui mériterait certainement un autre article.

Je continue donc sur ces problèmes de publi et de facteurs d’impacts, qui bien sûr ont engendré des dérives. Par exemple, une étude réalisée l’an dernier a montré que plus un journal avait un facteur d’impact élevé, plus les tentatives de fraude scientifique pour publier dedans l’étaient aussi. Les chercheurs sont donc prêt à prendre des risques, absolument honteux en terme de démarche scientifique, pour avoir leur papier dans un journal de « grande distinction ». L’étude montrait également que c’est dans ces journaux qu’on voit le plus grand nombre de rétractations de papiers, et souvent pour cause de fraude. Plus récemment encore, un auteur s’est amusé à écrire un faux papier. Complètement faux, avec, pour être grossier, que du caca du début jusqu’à la fin.

Ceci est la publication dont je vous parle

Et l’auteur pour s’amuser, de l’envoyer à plusieurs dizaines, que dis-je, plus d’une centaine de revues, en pensant bien sûr que le papier serait systématiquement refusé. Grave erreur, puisqu’il a été accepté par la plupart d’entre eux. Je vous invite à lire là dessus l’article très mal écrit de notre collègue au nom de blog un peu pérave, Lionel, qui a déblatéré là dessus il y a quelque semaines (t’as vu, j’te fais de la pub sale troll). On remarque donc que d’un côté comme de l’autre de la publication, ce système engendre des dérives proprement hallucinantes, et qui devraient nous faire remettre ce système en question. Mais ce n’est pas fini ! Noooon. Les Chinois s’amusent aussi de leur côté, puisqu’il est possible dans cette lointaine contrée de payer une somme d’argent pour voir son nom ajouté à un papier. Je ne sais pas si les payements sont sécurisés par Paypal, mais avouez que ça donne envie, non ? Non. Et j’en viens donc maintenant à mon principal point, celui qui m’a décidé à rédiger cet article. C’est assez récent, ça vient de sortir, c’est TRENDY, et j’espère que cet article aura un super facteur d’impact après !!

Il y a une semaine environ, l’un des prix Nobel 2013 de Physiologie ou Médecine, Randy Schekman (qui a eu son prix pour son travail sur le transport des vésicules dans la cellule), a déclaré que lui et son équipe ne soumettraient plus de papiers aux revues « prestigieuses » Nature, Science et Cell. Pour une raison simple, et qui rejoint le discours que je vous tiens depuis avant (si vous n’avez toujours pas décroché de cet affreusement long article) : pour lui, la pression des chercheurs à publier dans ces revues de luxe les pousse à prendre des raccourcis et à ne faire de la recherche que sur les domaines à la mode (alors qu’en plus la mode en science, c’est comme tout, ça s’en va puis ça revient. Le SIDA par exemple, c’est complètement démodé). Le problème est de plus exacerbé parce que les éditeurs ne sont pas des scientifiques à temps plein mais des proffessionels qui ne veulent que des papiers qui vont faire le buzz. Le prestige de ces publications pousse même l’Académie des Sciences Chinoise (encore eux !) à verser des primes aux chercheurs qui publient dedans.

On en est à ce niveau, ouais.

Le prix Nobel déclare donc que, si lui et son équipe ont publié dans ces revues grand luxe, ils ne le feront plus à présent. Il déclare : « comme Wall Street doit cesser avec la culture des bonus, la science doit se débarrasser de la culture des journaux de luxe ». Il critique ces journaux qui limitent le nombre de papiers acceptés chez eux de façon « artificielle » pour créer une demande, comme lorsqu’une marque sort des produits en édition limitée. Enfin, il met en doute l’utilité du facteur d’impact, qui peut être grand de façon biaisée : « un article peut être cité beaucoup de fois parce que c’est de la bonne recherche, ou aussi parce qu’il est mauvais, provocant, ou aguicheur ». Ce avec quoi je rajouterais aussi qu’un article peut avoir plein de citations aussi parce qu’il est publié dans un domaine sur lequel beaucoup de gens travaillent (c’est sûrement le cas pour tout ce qui concerne le cancer). On en revient toujours à ce point, c’est que c’est biaisé.

On peut réfléchir à contre courant et se dire que le facteur d’impact des papiers des chercheurs c’est important, notamment pour attribuer les financements aux équipes (hé oui, ça se base aussi là dessus, une équipe qui fait deux Nature dans l’année aura toutes ses chances de voir leur recherche financée). Ou encore dire qu’on a pas trouvé d’autres critère pour faire cette évaluation. En réponse à ces déclarations, Phillip Campbell, l’éditeur en chef de Nature, a déclaré que son journal ne choisit les papiers « qu’en fonction de leur importance scientifique. Qu’il y ait des citations ou un impact médiatique après, ce ne sont pas ce que prennent en compte les éditeurs de Nature, et ils ne peuvent pas le prédire non plus ». Mouais. Je pense qu’ils savent quand même détecter le bon filon, et ça me fait hurler de rire quand on sait que des papiers hilarants comme celui des « Bactéries à l’arsenic » (c’est une sacrée histoire, je vous en parlerai certainement un jour) ont été publiés là dedans (ou bien c’était Science, mais bref). On peut également se dire que la prise de risques de Randy Schekman est minime. C’est facile d’aller pavaner en disant « ouais j’publie pas dans Cell ou Science tu vois »… quand on dispose d’un prix Nobel et que du coup, ton équipe pourra publier n’importe quoi n’importe où juste à cause de ça. Puis bon, le type est aussi directeur d’un journal on-line de type open access, alors on peut également y voir une façon détournée de faire la promotion de ce système de publication… et du sien, en particulier. On voit surtout que le problème tel qu’il est ne peut se résoudre de lui même puisqu’à présent les chercheurs eux même alimentent cette folie de la publication de luxe. Dans mon institut, dans mon labo, bien sûr qu’on a envie de viser un Cell. Et je suis bien conscient qu’en l’état des choses, si je veux continuer, il faut que je me fasse un gros papier en post-doc sinon ça va être casse-gueule. C’est peut-être exagéré, mais on me l’a déjà dit maintes et maintes fois. Et il y a encore énormément de choses à discuter là dessus mais je vais peut être m’arrêter maintenant, j’espère juste vous avoir interpellé là dessus. Et j’aimerais que les Grands, ceux qui décident de tout, fassent quelque chose pour changer ça, parce que c’est un système qui à force va vraiment se casser la gueule. Et c’est nous qui en subiront les conséquences. Merci de m’avoir lu si vous êtes encore là.

Arnaud

P.S. Ha oui, et comme je suis un homme de parole, j’ai décidé de faire comme le Monsieur Prix Nobel. Hé ouais, moi aussi je vais boycotter Nature et Science, et je publierai que dalle chez eux. D’ailleurs, j’ai déjà commencé ! J’ai un papier qui a été accepté il y a peu (c’est une review, mais bref, c’est pas la question).

lolilol

Merdeuh, maintenant vous connaissez mon nom…

Hé ouais ! C’est pas dans Nature, c’est pas dans Science, l’impact factor est de 3 et quelques ! Si ça c’est pas respecter ses convictions !!!

Publicités

4 Commentaires

Classé dans #rage, Intralab

4 réponses à “Moi aussi je veux boycotter Nature et Science

  1. Erik

    Salut Arnaud !

    Merci pour ce post, je découvre le blog avec grand plaisir !
    La question de l’évaluation que tu soulèves me semble directement liée à celle du rôle du chercheur dans la société (enseignement, vulgarisation, expertise, innovation…). Je me permet de poster iic cette courte vidéo de PH Gouyon sur le sujet qui a été pour moi le point de départ d’une bonne réflexion sur le sujet (et qui se poursuit encore ajd).

    Je voulais aussi mettre un bémol sur ton appel aux Grands de faire quelque chose… Si on compte sur les maisons d’éditions de changer leurs façon de faire qui leur rapportent des millions, on va attendre longtemps… La question me semble-t-il est profondément démocratique cad que les grands qui décident tout c’est censé être nous théoriquement (le peuple est souverain théoriquement)… C’est donc vraiment à nous de faire quelque chose comme interpeller ses collègues (bravo pour ce post!), ses élus, réfléchir à notre rôle dans la société, se pencher sur les alternatives du genre Open-access (malgré les défauts soulevés récemment) ou d’autres choses style Peerage Of Science…
    On voit surgir ces dernières années de plus en plus de réflexions sur ces questions. Je me permet (oui je prend la confiance ^^) de rediriger les lecteurs intéressés vers les associations du style « Science Citoyennes » en France (http://sciencescitoyennes.org/); « Science et biens communs » au Québec (http://scienceetbiencommun.org) ou encore « Center for Science and democracy » aux USA (http://www.ucsusa.org/center-for-science-and-democracy/)….
    Je ne crois vraiment pas que les scientifiques se sortiront de ce mauvais pas sans quitter leur tour d’ivoire et rejoindre les autres citoyens (qui les financent plus ou moins indirectement) dans le combat intérêts particuliers vs interêt général…
    Encore bravo et merci pour le blog !

    Erik

  2. Ced

    Coucou Arnaud,

    D’avance pardon pour les fautes, je suis sur QWERTY suedois, pas d’accents et tout et tout, juste du å ä ö pas tres utile…

    J’ai bien aime l’article, je voulais juste rebondir vis-a-vis de l’article de Science sur l’open-acess. Je ne denigre pas l’importance de la fraude mise en evidence. Mais il est egalement important de dire que certains journaux, dont PLOS one pour l’un des plus connus, ont lu le papier et l’ont rejete rapidement (sans meme l’envoyer aux reviewers si mes souvenirs sont bons). Apres le papier sur la recherche en chine est terrifiant, mais je ne pense pas que la situation soit differente ailleurs.

    Etre reviewer par ses pairs est une tres bonne chose pour evaluer la qualite de son travail et l’approfondir. Mais la encore, ca ne fais pas tout, et certaines critiques sont tout sauf constructives malheureusement (je pense notamment au reviewer 3 de notre papier ^^)
    Je trouve ca bien que tu reparles de l’article sur l’arsenic, qui est toujours en ligne sur Science (ironie) malgre les nombreuses critiques. On pourrait aussi reparler de l’article sur l’enveloppe du VIH paru dans PNAS (impact facteur 10) qui a declenche une des plus vives polemiques que j’ai vu…(Je me souviens de la reponse avec la tete de Einstein ressortant du bruit de fond : http://www.pnas.org/content/110/45/18037.full).

    Bref comme tu l’a dit c’est tres complique, et je ne pense pas qu’il y ai de solution. Mais en parler est une premiere etape. J’espere que l’open acess continuera de se developper, parce que l’autre modele est tout bonnement hilarant pour les chercheurs : payer pour publier, payer pour lire et reviewer benevolement.

    Apres, jencore en accord avec toi, je ne cracherai pas sur un Cell ou Nature si je peux en avoir un, je ne pense pas qu’a l’heure actuelle il n’y ait d’autres possibilites pour faire carriere.
    Le faire apres avoir obtenu un prix nobel est bien pour ouvrir la discussion, mais l’auto-promo pour son propre journal est maladroite, et comme dit plus haut par toi, le nobel est le genre de prix qui te permet de rayer toutes les autres distinctions de ton CV sans remords.

    Bonne continuation.
    A tres bientot. Je suis en France a partir de la semaine prochaine.

    Ced

  3. Je pense avoir soulevé que le problème était multiple et alimenté également par les chercheurs. Et si j’avais fait un article pour critiquer les chercheurs on m’aurait dit « ouais mais au lieu de critiquer les chercheurs, pourquoi pas critiquer les journaux ? ». Le problème est multiple et je pense l’avoir souligné dans l’article.

    Quant à tes propositions, il faut vraiment y réfléchir. Je dis que la publication ne devrait pas être le critère « essentiel » d’évaluation. Il ne s’agit pas de ne plus en tenir compte mais d’y apporter autre chose. Et concrètement, c’est très difficile de voir comment ça peut être fait (je pense toujours à évaluer de façon globale la façon de mener ses travaux, au travers de comme tu dis, une simple présentation, examinée par un jury de chercheurs, par exemple, de tenir compte de tout ce que le chercheur a fait et pas seulement ce qui est publiable, car ce qui ne marche pas est également informatif – dans une moindre mesure, certes, mais ça l’est aussi, de tenir compte de l’enseignement s’il y en a – ce qui n’est absolument pas tenu en compte à l’heure actuelle alors que c’est une part du travail énorme). Il y a de réelles questions à se poser, mais c’est sûr que si on n’a pas envie d’y réfléchir ou de vouloir changer les choses, on restera bloqués.

    Edit : changement de formulation, on m’a reproché d’être sec, et ce n’était pas le but de mon intervention. Désolé 🙂

    Arnaud

  4. Hm, et si au lieu d’accuser les journaux on N’accuserait pas les chercheurs, nos boss quoi… ou nous plus tard de choisir en partie grâce aux publications?
    De l’autre côté, comment évaluer les compétences d’un candidat venu a Strasbourg p.ex de Suisse. Le faire maniper, lui demander une photo de son bureau pour voir s’il est organisé? Lui demander en « interview » une présentation ppt sur un article qu’on lui impose ou lui donner une semaine pour écrire une demande de financement factice? hmmm… It is complicated young apprentice 🙂

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s