Dans untest statistique, lavaleur-p (en anglaisp-value pourprobability value), parfois aussi appeléep-valeur ouprobabilité critique, est la probabilité pour unmodèle statistique donné sous l'hypothèse nulle d'obtenir une valeur au moins aussi extrême que celle observée.
L'usage de la valeur-p est courant dans de nombreux domaines de recherche comme laphysique, lapsychologie, l'économie et lessciences de la vie.
La valeur-p est utilisée pour quantifier lasignificativité statistique d'un résultat dans le cadre d'unehypothèse nulle. L'idée générale est de déterminer si l'hypothèse nulle est ou n'est pas vérifiée car dans le cas où elle le serait, le résultat observé serait fortement improbable. Il s'agit à ce titre d'une extension du principe depreuve par l'absurde.
Un résultat statistiquement significatif est un résultat qui serait improbable si l'hypothèse nulle (qui représente en général la norme) était vérifiée. Il en résulte donc que l'hypothèse nulle ne s'applique pas au résultat observé et donc que le cas étudié diffère de manière notable de la norme et ainsi présente un intérêt particulier.
Moralement, à titre d'exemple, imaginons que l'on connaisse la loi répartissant le poids des individus d'une population en surpoids et qu'on teste un traitement amincissant sur un groupe de personnes. On évalue le poids moyen du groupe après le traitement et on vérifie avec la loi initiale si le résultat est probable ou improbable. S'il est improbable, le traitement est efficace.
En termes statistiques, la valeur-p s'interprète comme la probabilité d'un résultat au moins aussi « extrême » que le résultat observé, « sachant l'hypothèse nulle », ou si l'on reprend la notation de probabilité type en appelantx le résultat observé etH0 l'hypothèse nulle on peut définir de manière naïve la valeur-p[note 1] :
Le résultat d'une valeur-p « improbable » (suivant des conventions à adopter) implique que l'expérience observée ne suit pas l'hypothèse nulle mais ne permet passtricto sensu de pousser plus loin l'interprétation. La valeur-p ne doitpas être interprétée comme une probabilité sur l'hypothèse nulle etne correspond pas, en reprenant la notation précédente, àP(H0|x) contrairement à une interprétation erronée parfois donnée.
Pour un test unilatéral à droite, si X est la variable aléatoire et la valeur observée dans les données, alors la p-valeur est :.
Pour un test unilatéral à gauche, si X est la variable aléatoire et la valeur observée dans les données, alors la p-valeur est :.
Pour un test bilatéral, si X est la variable aléatoire et la valeur observée dans les données, alors la p-valeur est :. Dans le cas particulier d'une fonction de densité de X paire, on peut simplement écrire comme indiqué dans la figure d'illustration.
Ce nombre est utilisé enstatistiques inférentielles pour conclure sur le résultat d’untest statistique. La procédure généralement employée consiste à comparer la valeur-p à un seuil préalablement défini (traditionnellement 5 %). Si la valeur-p est inférieure à ce seuil, on rejette l'hypothèse nulle en faveur de l’hypothèse alternative et le résultat du test est déclaré « statistiquement significatif »[1]. Dans le cas contraire, si la valeur-p est supérieure au seuil, on ne rejette pas l’hypothèse nulle et on ne peut rien conclure quant aux hypothèses formulées.
Cette utilisation de la valeur-p est remise en question (voir la section « Critiques »), car elle ne permet pas de répondre à la question à laquelle elle est censée donner une réponse[2],[3],[4],[5],[6],[7],[8].
Le statisticienRonald Fisher a introduit les termes designificativité, d’hypothèse nulle, et l’utilisation de la valeur-p. Il rejetait toutefois la notion depuissance statistique : selon lui, l’hypothèse nulle ne peut jamais être acceptée, mais peut seulement être rejetée par letest statistique. Dans cette approche, la valeur-p est considérée comme une mesure du degré avec lequel les données plaident contre l’hypothèse nulle. Les seuils suivants sont généralement pris pour référence :
Si ces valeurs sont classiques et d'usage courant, elles restent toutefois entièrement arbitraires et forment ainsi une convention qui n'est pas acceptée dans certains domaines demandant des précisions très élevées.
Ensciences exactes, les scientifiques ont longtemps requis unesignification statistique correspondant à un écart d'au moins 3 écarts types pour considérer un résultat expérimental comme une possible découverte, ce qui correspond à une valeur-p au plus égale à 2,7 × 10−3, soit environ −25,7 décibans)[9]. Mais le grand nombre defaux positifs, c'est-à-dire selon la définition ci-dessus, le grand nombre d'erreurs de première espèce, a poussé lacommunauté scientifique à requérir unesignification statistique correspondant à un écart d'au moins 5 écarts types, ce qui correspond à une valeur-p au plus égale à 5,7 × 10−7[10], soit environ −62,5 décibans (dans le cas où l'écart est possible des deux côtés, c'est-à-dire un effet non nul soit positif soit négatif) ou 2,9 × 10−7 (pour un seul côté).
On consultera avec intérêtla note récente sur le sujet[C'est-à-dire ?][11]. L'auteur étend aussi la discussion de la simple signifiance statistique au « niveau de surprise » et à l'« impact » de la découverte putative (table 2), ou, comme le disait déjàLaplace, « Plus un fait est extraordinaire, plus il a besoin d'être appuyé de fortes preuves »[12]. En cela, on retrouve des concepts de l'évaluation des risques, où la matrice de criticité combine la probabilité d'apparition et la gravité du phénomène considéré.
Le mathématicien polonaisJerzy Neyman et le statisticien britanniqueEgon Sharpe Pearson ont développé un cadre théorique alternatif. Dans leur approche, les taux d’erreurs doivent être définis avant la collecte des données :
Lapuissance statistique du test, égale à 1 - β, est ainsi contrôlée et définie à l’avance. Il faut ensuite calculer le nombre de données à collecter pour atteindre une telle puissance statistique, ce qui nécessite d’estimer lavariance des données : pour ce faire, on se base sur des études précédentes ou sur une étude pilote.
Lorsque les données sont collectées, la valeur-p est calculée et la décision suivante est prise :
La décision doit être prise de manière mécanique à la fin de la collecte des données. La notion de significativité est rejetée : si le seuil défini à l’avance est de 0,05, une valeur-p de 0,001 n’est pas considérée comme plus significative qu’une valeur-p de 0.049, dans les deux cas la décision prise est la même.
Cette procédure permet théoriquement de prendre des décisions sur l’interprétation des données tout en contrôlant adéquatement les taux d’erreurs à long terme. Toutefois, la validité de ces taux d’erreurs dépend du strict respect de la procédure : le recueil de nouvelles données si la valeur-p est « presque significative », ou bien le calcul de la valeur-p avant le recueil de l’intégralité des données et l’arrêt de l’expérience si celle-ci est trouvée significative invalident les taux d’erreur. Ainsi, le contrôle effectif des taux d’erreurs dépend de ce que feraient réellement les chercheurs lorsqu’ils sont confrontés à des résultats qu’ils n’attendaient pas, pas de ce qu’ils disent qu’ils feraient, ni même de ce qu’ils pensent qu’ils feraient. Par ailleurs, si les taux d’erreur à long terme sont connus, la probabilité de défendre la mauvaise hypothèse à la suite du test statistique dans cette expérience particulière n’est pas connue. Ces limites ont conduit au développement del’approche bayésienne[13].
La valeur-p n'est pas la probabilité que l'hypothèse de test soit vraie. La valeur-p indique dans quelle mesure les données sont conformes à l'hypothèse de test et à ses hypothèses, c'est-à-dire le modèle statistique sous-jacent[14].
Supposons un jeu depile ou face. L'hypothèse nulleH0 est que la pièce est équilibrée, c'est-à-dire que la probabilité pour un tirage donné d'obtenir unpile est la même que celle d'obtenir unface, à savoir1/2. Un observateur effectue des tirages expérimentaux pour déterminer si la pièce utilisée est biaisée ou non.
4 'pile' pour 4 tiragesSupposons que l'observateur effectue 4 tirages et obtienne 4 résultatspile.
L'observateur effectue le calcul de probabilité de ce résultat. Dans le cas où la pièce est équilibrée (hypothèseH0), la probabilité d'obtenir 4pile successifs est égale à1/24 soit 0,0625 ou 6,25 %. Si l'observateur a retenu le seuil classique de 5 %, alors la conclusion de l'expérience est que la proportion depile pour l'expérience menée n'est pas significativement supérieure à la proportion attendue et ne permet pas de conclure que la pièce est biaisée dans le cadre retenu. Ce résultat ne permet cependant pas de conclure, inversement, que la pièce n'est pas biaisée.
5 'pile' pour 5 tiragesSupposons que l'observateur continue ses tirages et obtienne 5 résultatspile sur 5 tirages.
L'observateur effectue à nouveau le calcul théorique de probabilité si l'hypothèseH0 était vérifiée. Dans ce contexte, la probabilité d'obtenir 5pile successifs est égale à1/25 soit 0,031 25 ou 3,125 %. Si l'observateur a retenu le seuil classique de 5 %, alors la conclusion de l'expérience est que la proportion depile pour l'expérience menée est significativement supérieure à la proportion attendue et qu'il est probable que l'hypothèseH0 ne soit pas vérifiée au seuil de significativité de 5 % ; car siH0 était vérifiée, ce résultat serait improbable (moins de 5 % de chance selon le seuil conventionnel retenu). Ce résultat ne signifie toutefois pas qu'il y a 95 % de chances que la pièce soit biaisée.
17 'pile' pour 36 tiragesSupposons que l'observateur recommence des tirages avec une nouvelle pièce et obtienne 17 résultatspile sur 36 tirages.
La démarche est la même que pour les exemples précédents, la différence principale résidant dans le calcul de la probabilité du résultat.
L'expérimentateur va alors lancern fois la pièce et l'on noteX lavariable aléatoire associée, qui suit donc uneloi binomialeB(n,p). La pièce de monnaie n'est pas faussée si la probabilité d'avoir uneface est égale à la probabilité d'avoir unpile, c'est-à-dire l'hypothèse nulle estH0 :p=1/2 contre l'hypothèse alternativeH1 :p>1/2 (on aurait aussi pu choisirH1 :p≠1/2 ouH1 :p<1/2). Pour cette hypothèse, on peut faire untest sur la proportion d'une loi binomiale. On obtient alors unestatistique de testZ quiasymptotiquement suit uneloi normale centrée réduite. La valeur-p est la probabilité, pour le modèle que l'on vient de définir et pour l'hypothèse nulle, d'avoir une valeur plus extrême que celle observée (la statistique de test), c'est-à-dire avoirP(Y >z) avecY une variable normale centrée réduite etz la réalisation de la statistique de test.
Exemple numérique avec l'exemple ci-dessus : supposons que l'on obtienne 17face (ou succès) sur 36 essais. La réalisation de la statistique de test du test sur la proportion d'une loi binomiale sera alors :
La valeur-p est avecY qui suit une loi normale centrée réduite.
La valeur-p est supérieure à 0,05, donc l'hypothèse nulle n'est pas rejetée.
L'utilisation d'une p-valeur pour conclure à la suite d'untest statistique est très fortement remise en cause pour plusieurs raisons. D'abord d'un point de vue formel, la valeur de p désigne la probabilité d'observer unjeu de données sous l'hypothèseH0 (P(x|H0)), alors qu'en faisant le test, on cherche à savoir quelle est la probabilité queH0 soit vraie sachant les données (P(H0|x)). Or, d'après lethéorème de Bayes, P(x|H0) ≠ P(H0|x), en l'occurrence puisque :
AinsiDavid Colquhoun conclut :« il est conclu que si vous souhaitez maintenir votre taux de fausses découvertes en dessous de 5 %, vous devez utiliser larègle 68-95-99.7 ou une valeur p inférieure à 0,001 »[5].
Donc la valeur ne devrait jamais être utilisée pour valider une hypothèse à partir de données puisque ce n'est pas ce qui est calculé[6].
En 2014, David Colquhoun publie un article intitulé « An investigation of the false discovery rate and the misinterpretation of p-values »[5], qui initie une réflexion sur l'interprétation erronée de la valeur-p au sein de la communauté scientifique. En 2016, laSociété américaine de statistique (ASA) émet des recommandations explicites notamment à travers les six principes suivants pour guider l’utilisation et l’interprétation de la valeur-p[15],[16] :
En 2018, un collectif de scientifiques demande de renoncer aux termes « statistiquement significatifs » lors de la publication d'articles dans les revues scientifiques[17].
En mars 2019, un collectif de scientifiques comprenant 800 signataires publie un article dans la revueNature au sujet de l'utilisation abusive de la signification statistique dont la mauvaise interprétation peut biaiser les études scientifiques. Il demande« l'arrêt de l'utilisation des valeurs-p de la manière conventionnelle et dichotomique - pour décider si un résultat réfute ou soutient une hypothèse scientifique »[18].
