Test du rapport de vraisemblance

La vraisemblance a été inventée dans le but de quantifier l'adéquation entre une distribution de probabilité et un échantillon : plus grande est la vraisemblance de l'échantillon, meilleure est l'adéquation.

Par ailleurs, le but des tests est de discriminer entre deux groupes de distributions qui affirment chacun contenir la distribution qui a engendré l'échantillon.

On peut donc raisonnablement s'attendre à ce que la notion de vraisemblance puisse être utilisée dans le but de construire des tests permettant de décider lequel des deux groupes de distributions avance l'affirmation la plus plausible.

Vocabulaire et notations

Commençons par établir quelques points de vocabulaire fréquemment rencontrés en matière de Tests du Rapport de Vraisemblance.

* Les distributions que nous rencontrerons appartiendront à une même famille, les différentes distributions de la famille ne différant que par la valeur d'un paramètre θ (qui peut être vectoriel, càd un ensemble de plusieurs paramètres scalaires). Par exemple, nous pourrons considérer la famille des distributions normales N(µ, σ²), dans laquelle chaque membre est entièrement défini par les valeurs de µ et de σ².

* Les deux groupes de distributions sont définis respectivement par l'hypothèse nulle et l'hypothèse alternative. Par exemple, nous pourrions vouloir tester :

Les hypothèses pourront être indifféremment simples ou composites (alors que le lemme de Neyman-Pearson ne s'applique qu'à deux hypothèses simples).

* H₀ ne désigne pas seulement l'hypothèse nulle, mais également l'ensemble des valeurs du paramètre θ tel que défini par H₀, et, par extension, l'ensemble des distributions de la famille défini par ces valeurs du paramètre.

* H₁ ne désigne pas seulement l'hypothèse alternative, mais également l'ensemble des valeurs du paramètre θ tel que défini par H₁, et, par extension, l'ensemble des distributions de la famille défini par ces valeurs du paramètre.

Ainsi la notation H₀ U H₁ désignera l'ensemble des valeurs du paramètre θ défini par H₀ ou H₁ et, par extension, la famille entière des distributions considérées.

Principe du Test du Rapport de Vraisemblance

La méthode du Test du Rapport de Vraisemblance (souvent désignée par son acronyme anglo-saxon LRT, pour "Likelihood Ratio Test") suit le raisonnement suivant.

1) Supposons que H₀ soit vraie : la distribution ayant engendré l'échantillon appartient bien à H₀. Nous nous attendons à ce que la vraisemblance de l'échantillon pour la distribution qui l'a engendré soit élevée, et donc soit peu différente de la vraisemblance la plus élevée que l'on mesurerait si l'on pouvait passer en revue toutes les distributions de H₀.

La prise en compte des distributions de H₁ ne changera probablement pas grand chose : aucune des distributions de H₁ n'a engendré l'échantillon, et donc on ne s'attend pas à rencontrer de fortes valeurs de la vraisemblance parmi les distributions de H₁.

Par conséquent, on ne s'attend pas à ce que la plus grande vraisemblance rencontrée dans H₀ soit beaucoup plus petite que la plus grande vraisemblance rencontrée dans l'ensemble complet des distributions H₀ U H₁.

- max_H₀_U_H₁ L(x, θ) la plus grande des vraisemblances rencontrées dans H₀ U H₁.

2) Inversement, supposons que H₀ soit fausse (et donc que H₁ soit vraie). La distribution ayant engendré l'échantillon appartient à H₁. Aucune des distributions de H₀ n'ayant engendré l'échantillon, on ne s'attend pas à rencontrer de grande valeur de la vraisemblance au sein de H₀. En fait, on s'attend à ce que la plus grande valeur de la vraisemblance soit plutôt dans H₁, puisque c'est dans cet ensemble de distributions que se trouve celle qui a engendré l'échantillon.

Le test

est un choix plausible pour tester H₀ contre H₁ : des petites valeurs (proches de 0) de Λ font pencher la balance en faveur de H₁, alors que de grandes valeurs de Λ (proches de 1) font pencher la balance du côté de H₀.

Supposons alors que si H₀ est vraie, on sache calculer la distribution g(λ) de la variable aléatoire Λ, et que de plus on sache calculer (ou au moins tabuler) l'intégrale

Nous avons alors tous les ingrédients requis pour tester H₀ contre H₁ au niveau de signification 1 - α (images supérieure et inférieure de l'illustration ci-dessous).

Nous avons considéré le rapport du maximum de la vraisemblance sur H₀ et du maximum de vraisemblance sur l'espace complet de paramètre H₀ U H₁.
Nous aurions pu tout aussi bien (et peut-être de façon plus naturelle) considérer le rapport du maximum de la vraisemblance sur H₀ au maximum de la vraisemblance sur H₁ avec une ligne de raisonnement similaire.

Distribution de la statistique de test

Malheureusement, la distribution g(λ) de la statistique de test Λ est en général très compliquée (voir par exemple la statistique du test de Bartlett).

Fonctions de la statistique

Il est parfois possible d'identifier une fonction f(.) telle que la distribution de f(Λ) soit calculable. On peut alors construire un test équivalent au test original en utilisant comme statistique de test f(Λ) plutôt que Λ.

Des exemples de telles transformations sont données dans le Tutoriel ci-dessous.

Distribution asymptotique

On montre (difficile) que la v.a. -2.log(Λ) suit asymptotiquement une distribution du

. Le nombre de degrés de liberté de cette distribution est égal à la différence entre :

Ceci mérite une petite explication. Supposons que nous construisions un test du Rapport de Vraisemblance afin de tester

* Dans H₀, la vraisemblance a une certaine valeur déterminée par l'échantillon, et aucun paramètre n'est disponible pour faire varier (maximiser) cette vraisemblance. H₀ n'a donc aucun paramètre libre.

* Dans H₀ U H₁, la vraisemblance doit être maximisée sur le domaine de µ, qui est ]-∞, +∞[. Donc H₀ U H₁ a un paramètre libre, à savoir µ.

La différence entre les nombres de paramètres libres de H₀ U H₁ et de H₀ est donc égale à 1 - 0 = 0.

Si maintenant les même hypothèses sont reprises, mais cette fois-ci en ne supposant plus la variance connue :

- Alors que H₀ U H₁ a maintenant deux paramètres libres, à savoir µ et σ²,

et la différence entre les nombres de degrés de liberté de H₀ U H₁ et de H₀ est égal à 2 - 1 = 1.

Le terme "libre" fait référence au fait que le nombre "effectif" de paramètres (ou "nombre de paramètres libres") peut être inférieur au nombre réel de paramètres. Supposons que nous considérions une sous-famille de la famille des distributions normales N(µ, σ²) définie par le fait que toutes les distributions de cette sous-famille sont telles que µ² = σ². Alors, bien que la moyenne et la variance soient toutes les deux libres de parcourir la totalité de leurs domaines respectifs, la sous-famille n'est en fait définie que par un seul paramètre libre.

Le nombre de paramètres libres peut être interprété comme la dimension intrinsèque de la variété supportant les valeurs des paramètres soumis à certaines contraintes définies par des relations entre ces paramètres.

Dans ce Tutoriel, nous utilisons le paradigme du Test du Rapport de Vraisemblance :

* Dans un premier temps pour construire deux tests portant sur la valeur de la moyenne d'une distribution normale. Le premier test suppose la variance connue, alors que le second ne fait pas cette hypothèse.

* Puis pour construire un test portant sur la valeur de la variance d'une distribution normale, la valeur de la moyenne n'étant pas supposée connue.

Les statistiques de test ainsi obtenues sont compliquées, et suivent des distributions difficilement calculables. Mais il sera possible de les transformer en de nouvelles variables aléatoires dont les distributions pourraient plus facilement être calculées.

En fait, nous n'aurons même pas à nous donner cette peine car nous montrerons par des raisonnements sur ces nouvelles statistiques que ces trois TRV sont équivalents respectivement :

* Au test t à un échantillon avec variance connue (également dénommé "test z"),

Vraisemblance
Test
Lemme de Neyman-Pearson
Test de Bartlett

Téléchargez ce Glossaire