Test du rapport de vraisemblance

La vraisemblance a été inventée dans le but de quantifier l'adéquation entre une distribution de probabilité et un échantillon : plus grande est la vraisemblance de l'échantillon, meilleure est l'adéquation.

Par ailleurs, le but des tests est de discriminer entre deux groupes de distributions qui affirment chacun contenir la distribution qui a engendré l'échantillon.

On peut donc raisonnablement s'attendre à ce que la notion de vraisemblance puisse être utilisée dans le but de construire des tests permettant de décider lequel des deux groupes de distributions avance l'affirmation la plus plausible.

Vocabulaire et notations

Commençons par établir quelques points de vocabulaire fréquemment rencontrés en matière de Tests du Rapport de Vraisemblance.

* Les distributions que nous rencontrerons appartiendront à une même famille, les différentes distributions de la famille ne différant que par la valeur d'un paramètre θ (qui peut être vectoriel, càd un ensemble de plusieurs paramètres scalaires). Par exemple, nous pourrons considérer la famille des distributions normales N(µ, σ²), dans laquelle chaque membre est entièrement défini par les valeurs de µ et de σ².

* Les deux groupes de distributions sont définis respectivement par l'hypothèse nulle et l'hypothèse alternative. Par exemple, nous pourrions vouloir tester :

Les hypothèses pourront être indifféremment simples ou composites (alors que le lemme de Neyman-Pearson ne s'applique qu'à deux hypothèses simples).

* H₀ ne désigne pas seulement l'hypothèse nulle, mais également l'ensemble des valeurs du paramètre θ tel que défini par H₀, et, par extension, l'ensemble des distributions de la famille défini par ces valeurs du paramètre.

* H₁ ne désigne pas seulement l'hypothèse alternative, mais également l'ensemble des valeurs du paramètre θ tel que défini par H₁, et, par extension, l'ensemble des distributions de la famille défini par ces valeurs du paramètre.

Ainsi la notation H₀ U H₁ désignera l'ensemble des valeurs du paramètre θ défini par H₀ ou H₁ et, par extension, la famille entière des distributions considérées.

Principe du Test du Rapport de Vraisemblance

La méthode du Test du Rapport de Vraisemblance (souvent désignée par son acronyme anglo-saxon LRT, pour "Likelihood Ratio Test") suit le raisonnement suivant.

1) Supposons que H₀ soit vraie : la distribution ayant engendré l'échantillon appartient bien à H₀. Nous nous attendons à ce que la vraisemblance de l'échantillon pour la distribution qui l'a engendré soit élevée, et donc soit peu différente de la vraisemblance la plus élevée que l'on mesurerait si l'on pouvait passer en revue toutes les distributions de H₀.

La prise en compte des distributions de H₁ ne changera probablement pas grand chose : aucune des distributions de H₁ n'a engendré l'échantillon, et donc on ne s'attend pas à rencontrer de fortes valeurs de la vraisemblance parmi les distributions de H₁.

Par conséquent, on ne s'attend pas à ce que la plus grande vraisemblance rencontrée dans H₀ soit beaucoup plus petite que la plus grande vraisemblance rencontrée dans l'ensemble complet des distributions H₀ U H₁.

- max_H₀_U_H₁ L(x; θ) la plus grande des vraisemblances rencontrées dans H₀ U H₁.

2) Inversement, supposons que H₀ soit fausse (et donc que H₁ soit vraie). La distribution ayant engendré l'échantillon appartient à H₁. Aucune des distributions de H₀ n'ayant engendré l'échantillon, on ne s'attend pas à rencontrer de grande valeur de la vraisemblance au sein de H₀. En fait, on s'attend à ce que la plus grande valeur de la vraisemblance soit plutôt dans H₁, puisque c'est dans cet ensemble de distributions que se trouve celle qui a engendré l'échantillon.

Le test

est un choix plausible pour tester H₀ contre H₁ : des petites valeurs (proches de 0) de Λ font pencher la balance en faveur de H₁, alors que de grandes valeurs de Λ (proches de 1) font pencher la balance du côté de H₀.

Supposons alors que si H₀ est vraie, on sache calculer la distribution g(λ) de la variable aléatoire Λ, et que de plus on sache calculer (ou au moins tabuler) l'intégrale

et inverser le résultat de façon à ce que l'on puisse calculer explicitement c pour toute valeur de α.

Nous avons alors tous les ingrédients requis pour tester H₀ contre H₁ au niveau de signification α (images supérieure et inférieure de l'illustration ci-dessous).

Distribution de la statistique de test

Malheureusement, la distribution g(λ) de la statistique de test Λ est en général très compliquée (voir par exemple la statistique du test de Bartlett).

Fonctions de la statistique

Il est parfois possible d'identifier une fonction f(.) telle que la distribution de f(Λ) soit calculable. On peut alors construire un test équivalent au test original en utilisant comme statistique de test f(Λ) plutôt que Λ.

Distribution asymptotique

On montre que, sous certaines conditions de régularité, la v.a. -2.log(Λ) suit asymptotiquement (càd pour de grands échantillons) une distribution du χ². Le nombre de degrés de liberté de cette distribution est égal à la différence entre :

Ceci mérite une petite explication. Supposons que nous construisions un test du Rapport de Vraisemblance afin de tester

* Dans H₀, la vraisemblance a une certaine valeur déterminée par l'échantillon, et aucun paramètre n'est disponible pour faire varier (maximiser) cette vraisemblance. H₀ n'a donc aucun paramètre libre.

* Dans H₀ U H₁, la vraisemblance doit être maximisée sur le domaine de µ, qui est ]-∞, +∞[. Donc H₀ U H₁ a un paramètre libre, à savoir µ.

La différence entre les nombres de paramètres libres de H₀ U H₁ et de H₀ est donc égale à 1 - 0 = 0.

Si maintenant les même hypothèses sont reprises, mais cette fois-ci en ne supposant plus la variance connue :

- Alors que H₀ U H₁ a maintenant deux paramètres libres, à savoir µ et σ²,

et la différence entre les nombres de degrés de liberté de H₀ U H₁ et de H₀ est égal à 2 - 1 = 1.

Le terme "libre" fait référence au fait que le nombre "effectif" de paramètres (ou "nombre de paramètres libres") peut être inférieur au nombre réel de paramètres. Supposons que nous considérions une sous-famille de la famille des distributions normales N(µ, σ²) définie par le fait que toutes les distributions de cette sous-famille sont telles que µ² = σ². Alors, bien que la moyenne et la variance soient toutes les deux libres de parcourir la totalité de leurs domaines respectifs, la sous-famille n'est en fait définie que par un seul paramètre libre.

Le nombre de paramètres libres peut être interprété comme la dimension intrinsèque de la variété supportant les valeurs des paramètres soumis à certaines contraintes définies par des relations entre ces paramètres.

Les "conditions de régularité" mentionnées au début de ce paragraphe énoncent que la variété ne doit pas présenter de singularité (comme p.ex. de se traverser elle-même) et ne pas avoir de bord (comme c'est le cas par exemple d'un demi-plan). Nous verrons un exemple pour lequel cette seconde condition n'est pas respectée et où, en conséquence, la distribution asymptotique de -2.logΛ n'est clairement pas une distribution du χ².

L'adéquation entre la distribution de -2.logΛ pour des échantillons finis et la distribution χ² limite correspondante est évidemment une question d'une grande importance pour le praticien. Elle est abordée par le biais d'une simulation dans une animation interactive.

Une fois connu le fait que la distribution asymptotique de -2.logΛ est une distribution du χ², il est facile de calculer la distribution asymptotique de Λ (voir animation). Mais les tables de quantiles n'existant que pour la distribution du χ², il est d'usage de n'utiliser pour un Test du Rapport de Vraisemblance que la statistique -2.logΛ.

Les résultats relatifs à la distribution asymptotique de -2.logΛ sont difficiles et sont énoncés sans démonstration. Nous ne démontrerons que le plus simple d'entre eux, qui s'énonce comme suit :

et obtenir ce seul résultat exigera de notre part des efforts non négligeables.

Test du Rapport de Vraisemblance et Estimation par Maximum de Vraisemblance

Il existe un lien simple entre TRV et Estimation par Maximum de Vraisemblance (EMV).

Nous recherchons la valeur de θ qui maximise la vraisemblance de l'échantillon sur tout le domaine de θ. Cette valeur est, par définition, l'estimation par maximum de vraisemblance de θ. Si nous notons θ^* l'Estimateur par Maximum de Vraisemblance de θ, le dénominateur s'écrit donc L(x; θ^*).

Nous recherchons à nouveau la valeur de θ qui maximise la vraisemblance de l'échantillon, mais cette fois-ci sur le sous-domaine de θ défini par H₀. Si nous notons θ^*₀ l'EMV de θ sur ce sous-domaine, le numérateur s'écrit maintenant L(x; θ^*₀).

Test du Rapport de Vraisemblance et Exhaustivité

Une statistique exhaustive pour θ contenant toute l'information disponible sur la valeur de θ, il est plausible qu'un Test du Rapport de Vraisemblance puisse s'exprimer non pas en termes de l'échantillon X, mais en termes apparemment plus restrictifs d'une statistique exhaustive T(X).

Il en est bien ainsi et nous montrerons que pour toute statistique exhaustive T(X), la statistique Λ(X) d'un TRV peut s'exprimer comme fonction de la seule statistique exhaustive T(X). En d'autres termes, il existe toujours une fonction Λ^*(.) telle que

En conséquence, nous verrons que lorsqu'une statistique exhaustive pour θ est disponible, il est possible de construire tout TRV en n'utilisant que cette statistique exhaustive.

Test du Rapport de Vraisemblance et lemme de Neyman-Pearson

Nous avons défini un TRV en considérant le rapport du maximum de la vraisemblance sur H₀ au maximum de la vraisemblance sur l'espace complet du paramètre, à savoir H₀ U H₁. Nous aurions pu tout aussi bien (et peut-être de façon plus naturelle) considérer le rapport du maximum de la vraisemblance sur H₀ au maximum de la vraisemblance sur H₁ avec un raisonnement similaire.

Cette autre présentation des TRV aurait eu l'avantage de mettre en évidence le lien entre Test du Rapport de Vraisemblance et le lemme de Neyman-Pearson. Car supposons que H₀ soit l'hypothèse simple θ = θ₀ et que H₁ soit l'hypothèse simple θ = θ₁. Les deux "ensembles" de distributions H₀ et H₁ ne contiennent chacun qu'une seule distribution, les procédures de "maximisation" sont maintenant triviales, et nous nous retrouvons dans le cadre du lemme de Neyman-Pearson. Rappelons que la meilleure région critique d'un test de N-P est définie par

qui est exactement l'expression du cas particulier d'un TRV quand l'hypothèse nulle et l'hypothèse alternative sont toutes les deux simples.

Ainsi il apparaît que les Tests du Rapport de Vraisemblance sont des généralisations des tests de Neyman-Pearson à des situations dans lesquelles au moins une des deux hypothèses est composite.

Remarquons qu'un test de Neyman-Pearson est toujours un test Uniformément Plus Puissant (UPP), alors que ce n'est en général pas le cas d'un Test du Rapport de Vraisemblance.

Test du Rapport de Vraisemblance et modèles emboîtés

Un modèle M₁ est dit être emboîté dans un modèle M₂ si l'ensemble des paramètres de M₁ est un sous-ensemble de l'ensemble des paramètres de M₂.

* M₂ peut être perçu comme le modèle M₁ auquel des paramètres ont été ajoutés dans le but d'améliorer ses performances prédictives.

* Inversement, M₁ peut être perçu comme M₂ dont certains paramètres ont été supprimés dans le but de le rendre plus facilement interprétable et plus stable (voir compromis biais-variance).

La question est alors : "Les deux modèles sont-ils significativement différents ?".

La méthode du Rapport de Vraisemblance est une approche naturelle pour la construction d'un test destiné à répondre à cette question.

Soit (β₁, β₂, ..., β_p) l'ensemble des paramètres de M₁, et (β₁, β₂, ..., β_p, β_{p + 1}, ..., β_{p + q}) l'ensemble des paramètres de M₂. Le modèle M₁ peut être perçu comme le modèle M₂ dont les q derniers paramètres ont été contraints à prendre la valeur 0.

* H₁ : Au moins un de ces paramètres à une valeur non nulle (M₁ n'est pas emboîté dans M₂)

La vraisemblance du modèle le plus gros étant toujours supérieure à celle du modèle le plus petit, la valeur de ce rapport est toujours entre 0 et 1. Une valeur de Λ proche de 0 signifie que la vraisemblance de M₂ est significativement supérieure à celle de M₁, et que les deux modèles sont donc significativement différents.

L'exemple le plus simple de Test du Rapport de Vraisemblance sur modèles emboîtés est celui de la Régression Linéaire Multiple (RLM) dans le contexte de la sélection de variables. Le lecteur est averti que nous ne présentons pas le calcul en raison de son volume, mais que nous construisons le test à partir de considérations géométriques plus simples mais équivalentes à l'approche TRV standard.

Mise en garde

Les Tests du Rapport de Vraisemblance sont populaires pour les raisons suivantes :

* Ils sont souvent équivalents à des tests classiques conçus par des méthodes plus directes (voir Tutoriel).

* L'existence d'une distribution asymptotique standard permet de traiter approximativement des cas dans lesquels le calcul de la distribution de la statistique Λ est inextricable.

Pour autant, aucune de ces raisons n'est vraiment forte. Une étude plus poussée des propriétés des TRV montre qu'ils peuvent être beaucoup plus mauvais (faible puissance) que des tests conçus spécialement pour les problèmes considérés. Ce point est bien mis en évidence par une étude comparative des comportements :

* De la statistique du G² de Wilks, créée par la méthode du Rapport de Vraisemblance afin d'élaborer un test d'adéquation pour la distribution multinomiale,

* Et de la statistique classique du Chi-2 de Pearson, conçue spécifiquement pour ce test.

Ainsi, de même que l'Estimation par Maximum de Vraisemblance n'est pas une recette miracle en matière d'estimation de la valeur d'un paramètre, les Tests du Rapport de Vraisemblance ne doivent être considérés que comme des outils certes très généraux mais certainement pas universels.

Dans ce Tutoriel, nous utilisons le paradigme du Test du Rapport de Vraisemblance :

* Dans un premier temps pour construire deux tests portant sur la valeur de la moyenne d'une distribution normale. Le premier test suppose la variance connue, alors que le second ne fait pas cette hypothèse.

* Puis pour construire un test portant sur la valeur de la variance d'une distribution normale, la valeur de la moyenne n'étant pas supposée connue.

Les statistiques de test ainsi obtenues sont compliquées, et suivent des distributions difficilement calculables. Mais il sera possible de les transformer en de nouvelles variables aléatoires dont les distributions pourraient plus facilement être calculées.

En fait, nous n'aurons même pas à nous donner cette peine car nous montrerons par des raisonnements sur ces nouvelles statistiques que ces trois TRV sont équivalents respectivement :

* Au test t à un échantillon avec variance connue (également dénommé "test z"),

Les résultats du Tutoriel précédent sont à la fois encourageants et décevants :

* Nous avons pu construire des tests importants en suivant de façon mécanique les règles de construction d'un TRV, ce qui suggère le bien-fondé de la notion de TRV,

* Mais ces tests se sont avérés être équivalents à des tests classiques (z, t, F), de sorte qu'il n'est pas clair que le concept de TRV apporte quoi que ce soit de nouveau en dehors de la lourdeur des calculs.

Pour confirmer l'utilité du concept de Test du Rapport de Vraisemblance, il nous faut donc construire un TRV qui n'ait pas d'équivalent classique. C'est ce que nous faisons maintenant.

Dans ce Tutoriel, nous considérons à nouveau la distribution normale N(µ, σ²) où la moyenne µ et la variance σ² sont toutes deux inconnues. Nous voulons tester

Aucun test classique ne peut être modifié pour prendre en compte cette paire d'hypothèses, et nous devons donc concevoir un test à partir des principes généraux de construction d'un TRV. Cette démarche est suffisamment complexe pour justifier un Tutoriel à elle seule. En particulier, la statistique Λ apparaîtra dans un premier temps comme pratiquement inutilisable, et la construction du test ne pourra être menée à son terme que grâce à une transformation très astucieuse de Λ en une autre statistique au comportement plus "domestiqué".

Nous constaterons également que la distribution asymptotique de -2logΛ n'est certainement pas une distribution du χ², mais nous ne ferons qu'effleurer les raisons pour lesquelles il en est ainsi.

Nous donnons maintenant quelques autres exemples de Tests du Rapport de Vraisemblance.

* Dans un premier temps, nous construisons un test destiné à tester l'hypothèse nulle θ = θ₀ contre l'hypothèse alternative θ ≠ θ₀ pour la distribution uniforme U[0, θ]. Le schéma de construction du test est réutilisable pour d'autres hypothèses nulles ou alternatives.

* Nous traitons ensuite un cas un peu semblable portant sur la valeur du paramètre θ de la distribution exponentielle translatée exp[-(x - θ)].

Dans les deux cas, la fonction de vraisemblance n'est pas dérivable, et ne peut donc être maximisée par dérivation.

Enfin, nous détaillons trois versions d'un test d'identité pour la distribution exponentielle Exp(λ) : des échantillons sont tirés de plusieurs distributions exponentielles différentes, et la question est de savoir si ces distributions sont identiques (même valeur du paramètre λ).

* Nous traitons d'abord le problème de base tel que nous venons de le décrire. Nous profiterons de l'occasion qui nous est donnée d'explorer expérimentalement le comportement asymptotique de -2.logΛ par une animation interactive.

L'animation utilise 2, 3 ou 4 échantillons (dont les tailles sont réglables) de sorte que les trois formes de base de la distribution du χ² sont passées en revue :

Nous verrons que dans tous les cas, la géométrie de la distribution limite est globalement respectée par la distribution empirique de la statistique, et que l'adéquation entre les deux distributions s'améliore lorsqu'on augmente le nombre total d'observations tirées de la distribution exponentielle.

* Nous introduisons ensuite une difficulté réaliste : les observations plus petites qu'un certain seuil γ ne peuvent pas être mesurées. Les distributions sont donc "tronquées", et les données "censurées".

Nous devrons donc dans un premier temps calculer la distribution des observations censurées. Alors seulement nous pourrons généraliser le test précédent à des distributions tronquées.

* En fait, nous montrerons qu'il est encore possible de construire un test d'identité même lorsque la valeur de γ est inconnue pourvu que cette valeur soit la même pour toutes les distributions.

La plupart des Tests du Rapport de Vraisemblance conduisent à des calculs inextricables, et ne sont rendus utilisables qu'en invoquant le fait que la distribution asymptotique de -2logΛ est en χ². Comme toujours lorsque des résults exacts mais inconnus pour de petits échantillons sont remplacés par des résultats asymptotiques, cette bouée de sauvetage est dangereuse. De plus, établir ces résultats asymptotiques est difficile.

Nous décrivons dans un premier temps un exemple où il est possible de montrer directement que -2logΛ est asymptotiquement distribué comme χ²₁. Nous construirons le Test du Rapport de Vraisemblance pour les hypothèses H₀ : λ = λ₀ et H₁ : λ ≠ λ₀ pour la distribution Poisson(λ). Nous calculerons ensuite la distribution asymptotique de -2logΛ et montrerons que cette distribution est bien χ²₁.

Nous généraliserons ensuite ce résultat et montrerons que pour toute distribution p(x; θ), et pour les hypothèses

On peut montrer que ce résultat se généralise à toute paire d'hypothèses compatibles (H₀, H₁), sous réserve des conditions de régularité évoquées ci-dessus.

La démonstration ne sera donnée que pour un paramètre scalaire θ. On peut montrer (difficile et non abordé sur ce site) un résultat similaire pour un paramètre vectoriel θ. Le nombre de degrés de liberté de la distribution limite χ² est alors égal à la différence entre :

Nous concluerons ce Tutoriel en montrant que si T(X) est une statistique exhaustive quelconque, alors la statistique d'un Test du Rapport de Vraisemblance peut toujours s'exprimer comme fonction de T(X). Ceci permet de construire un TRV en n'utilisant qu'une statistique exhaustive T(X) lorsqu'une telle statistique est connue. Les calculs sont alors en général plus simples que ceux d'un TRV standard, comme nous le montrerons en reprenant deux TRV établis dans les Tutoriels précédents.

Nous concluons avec un dernier Test du Rapport de Vraisemblance : le test d'adéquation de la distribution multinomiale. Ce test n'est pas le plus compliqué ni le plus important de ceux que nous avons construits dans les Tutoriels précédents, mais il bénéficie d'un statut un peu particulier.

Rappelons que les "tests du Chi-2" (adéquation, identité, indépendance) sont des tests non paramétriques parmi les plus importants. Ils reposent tous sur la statistique dite "du Chi-2" dont la distribution exacte sous H₀ est en général inconnue, mais dont la distribution asymptotique est une distribution du χ² (d'où le nom générique des tests). Cette statistique trouve également son origine dans le problème fondamental de l'adéquation d'une distribution multinomiale mais, contrairement à la statistique du TRV, elle a été conçue spécialement pour ce rôle. La statistique -2logΛ du TRV d'adéquation de la distribution multinomiale est parfois appelée "G² de Wilks".

D'un point de vue théorique, les deux tests sont asymptotiquement équivalents : les résultats généraux relatifs à la distribution asymptotique en χ² de la statistique -2logΛ d'un Test du Rapport de Vraisemblance nous montreront que cette distribution est identique à la distribution asymptotique de la statistique du Chi-2. De plus, nous montrerons directement que -2logΛ converge en distribution vers la statistique du Chi-2.

Mais le praticien est plus intéressé par une autre question : "Pour des échantillons de taille finie, lesquel des deux tests est le plus puissant ?". A notre connaissance, la question est trop complexe pour se prêter au calcul, et peut-être n'a-t-elle même pas de réponse unique. Nous l'abordons (très partiellement) par le biais d'une animation interactive qui compare les comportements et performances des statistiques Chi-2 et G² sous diverses conditions expérimentales.

Vraisemblance
Test
Lemme de Neyman-Pearson
Test de Bartlett
Tests du Chi-2

Téléchargez ce Glossaire