La p-valeur de l’extrême

Tous les jobs du monde peuvent cacher des surprises. Des petits plaisirs, voire des grandes peines auxquelles on ne se serait jamais attendu lorsque, fébrile, la main tremblante, nous apposions notre signature au bas d’un document austère, succession grossière de lettres noires sur fond blanc, police Times New Roman taille 12, passe moi le café Monique j’ai les yeux qui piquent. Et bosser dans la recherche (oui, je considère que faire une thèse équivaut à travailler dans la recherche, alors ne viens pas la ramener avec ton CDD assistant directeur adjoint junior pistonné chez Butagaz) représente probablement le summum en termes d’inconnues dans le travail. Chaque journée est différente, chaque semaine apporte son lot de défis, son lot de petites victoires et de grosses défaites. Les expériences personnelles de mes proches (presque tous mes proches sont dans la recherche, j’ai décidé de pratiquer la ségrégation) ne sont que des preuves supplémentaires que mon vécu est une généralité. Combien d’entre-vous, Ô âmes damnées sur les sentiers accidentés du savoir, combien d’entre-vous m’ont déjà relaté vos galères ? Vos manips qui foirent sans raisons ? Vos résultats qui ne tombent pas ? Et plus rarement, votre participation à un papier dans Cell ou Nature (ou dans American Journal of Proctology) ?

Mais une chose nous rassemble à ce niveau-là. Une chose que la quasi-totalité d’entre vous n’avait pas prévu lorsque, les épaules relevées, le regard fier, vous avez envoyé votre premier mail « Test » avec votre nouvelle adresse CNRS et/ou Université (ou INSERM/IRD/INRA, mais CNRS c’est mieux) : la difficulté rencontrée à comprendre quoi que ce soit aux statistiques.

"Ouais, mais moi j'ai fait Sup de Co, alors je t'emmerde"

« Ouais, mais moi j’ai fait Sup de Co, alors je t’emmerde »

On va pas se mentir, on fait tous plus ou moins semblant de comprendre. En fonction des domaines, il est vrai que le niveau exigé peut varier du simple (savoir que les statistiques existent, comme en Neurosciences) au centuple (comprendre le fonctionnement et l’utilité d’une inférence bayésienne), et il sera donc demandé aux pauvres doctorants que nous sommes des compétences à des niveaux qui différent en fonction de nos domaines.

Mais commençons par le commencement, et nous finirons par la fin plus tard. Les statistiques sont un outil d’aide à la prise de décision, dérivées directement des mathématiques, utilisées depuis maintenant de nombreuses décennies dans les différents domaines de la biologie. L’idée de base est d’utiliser, en fonction des cas de figures, des tests statistiques adéquats permettant de conclure sur une hypothèse avec une plus grande confiance. Voila, c’est tout, les statistiques ce n’est ni plus ni moins que ça. Alors, deux choses :
* Si un jour quelqu’un vous dit qu’une bonne étude scientifique c’est avant tout des bons tests stats, assenez-lui un magistral et académique coup de pied au postérieur. Même si ces personnes tendent à se multiplier de nos jours, en tant que reviewers de journaux, jurys de concours, ou encore c***ards qui tiennent un blog sur Internet, ils ne demeurent pas moins dans l’erreur. La recherche scientifique, c’est une hypothèse de départ, des expériences, une réflexion intellectuelle et logique poussée, et seulement à la fin, si la nécessité s’en fait ressentir, un petit test pour vous convaincre de vos conclusions. Comme dit précédemment, les statistiques sont une aide, ça ne cachera jamais une étude mal pensée aux hypothèses foireuses.

* J’ai bien précisé qu’il fallait un test adéquat. Le gros problème, c’est que beaucoup de gens utilisent des tests parce qu’ils les maitrisent, et non pas parce qu’ils sont cohérents avec leurs données. On peut faire dire plus ou moins ce qu’on veut aux stats, et c’est à vous d’avoir assez de rigueur scientifique pour vous obliger à utiliser les bons tests aux bons moments. Et oui, parfois c’est compliqué. Mais si tu utilises n’importe quel test uniquement parce qu’il est facile et que tu crois le maitriser, sache que tu contribues à pourrir la science. Et ça, ça fait du mal au petit Jésus. Il est préférable de ne pas utiliser de tests plutôt que d’utiliser un test que l’on sait peu pertinent. Ou alors tu élèves le niveau, t’ouvres des bouquins,tu lis des articles. Bref, tu fais ton job.

"S'il vous plait, je vous en supplie, arrêtez les ANOVAs avec N=15 !"

« S’il vous plait, je vous en supplie, arrêtez les ANOVAs avec n=15 ! »

Oui, je donne des leçons. Oui, ma thèse est principalement basée sur des modèles statistiques poussés, et donc forcément je sais un peu mieux les utiliser que vous (encore que…). Mais justement, ça m’horripile de voir à quel point tout le monde ne jure que par les statistiques, mais que trop peu d’entre nous est réellement foutu de savoir correctement s’en servir. C’est un outil fabuleux, un moyen extraordinaire de pouvoir trancher franchement et de manière indiscutable entre deux hypothèses. Alors non, je ne vous demande pas de calculer la puissance statistique à chaque fois, ni de posséder un master en statistiques appliquées avant de commencer une thèse/un post- doc/ une titularisation, mais un minimum ne serait pas du luxe. Je vois poindre les critiques acerbes des scélérats des sciences obscures, où découper des cerveaux, mettre au points des médicaments et implanter des chats avec des électrodes ne pose pas de problèmes, mais comprendre une loi normale l’est : « Ouais, mais si on ne met pas de tests dans nos papiers les reviewers nous les rejettent, alors on fait n’importe quoi du moment qu’une p-value apparait. C’est pas idéal, mais bon c’est la vie. » Comme dit précédemment, si tu ne sais pas ce que tu fais, ne le fais pas, ou apprends à le faire. Quand tu implantes ton cerveau de rat avec des électrodes, tu le fais les yeux bandés ? Non, bien sûr, ça serait stupide. C’est exactement ce que tu fais avec les statistiques. Ah ouais mince, c’est effectivement stupide.

Les Neuroscientifiques détestent cet article (test de OSAG, p=0,047)

Les Neuroscientifiques détestent cet article (test de OSAG, p=0,047)

Conclusion rapide : réfléchissez à ce que vous faites, c’est dans votre intérêt. Rien de plus dévalorisant que de se faire exploser un article ou une étude entière par un gars un peu plus calé que vous en statistiques, juste parce que vous n’avez pas pris le temps de comprendre ce que vous faisiez exactement. Prenez le temps de comprendre, faites de la biblio la-dessus, etc… En gros, faites ce pour quoi vous êtes payés, même si c’est parfois long et compliqué. La recherche n’est pas une sinécure…

Emilio

PS: si vous pensez que j’abuse sur le côté « on fait dire ce qu’on veut aux statistiques » et sur les Neurosciences, lisez ceci, ceci, ceci, saucisse ou encore ceci

Publicités

2 Commentaires

Classé dans Intralab

2 réponses à “La p-valeur de l’extrême

  1. George Clooney

    Ton blasphème est manifeste et cela mériterait une lapidation en règle.
    Nonobstant ce triste fait, tu as terriblement raison. Les stats, ou plutôt leur mauvaise utilisation est surement une des responsables des fameuses « unreproducible data ».
    Même si je connaissais l’article sur les saumons morts, la neuro s’attaque souvent à des phénomènes avec de très petits nombres et les scientifiques font des études stats erronées. D’autant plus que tu montres des tests de neuro-psycho (ce qui n’est pas vraiment de la psycho hein !!) qui se reposent sur des tests avec un n=5 qui passe par une anova parce que tout le monde ne connait que cela.

    Après je pense qu’il faut également savoir raison garder et comme tu le dis dans ton article le Gringe, les stats sont un outil supplémentaire, et quand tu obtiens deux barres, à 10 et 100 avec un écart type de 1, y’a-t-il vraiment besoin de stats ?

    La bise
    GC

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s