Test du Chi-2

Bien que les tests du Chi-2 se présentent sous des formes très différentes, ils sont tous des variantes du test d'adéquation relatif à la distribution multinomiale basé sur la statistique dite "du Chi-2", qui est décrite ci-dessous.

La famille tire son nom du fait que la distribution de la statistique du Chi-2 sous H₀, bien qu'inconnue en général, converge toujours en loi vers une distribution du χ² pour des échantillons de plus en plus grands (distribution "asymptotique"). Le nombre de degrés de liberté de cette distribution limite dépend du problème particulier considéré (voir Tutoriels ci-dessous).

Les tests du Chi-2 sont donc toujours des tests approximatifs, et plus précisément des tests asymptotiques.

Le test d'adéquation de base

Rappel : la distribution multinomiale

La distribution multinomiale Mult(n; p₁, p₂, ..., p_k ) est définie par :

Nous noterons n_i le nombre d'observations tirées dans la modalité i ("effectif" de la modalité). Nous avons donc Σ_in_i = n.

Mult(n; {p_i}) est la distribution de probabilité du vecteur k-dimensionnel {n₁, n₂, ..., n_k }.

Test d'adéquation de la distribution multinomiale

Supposons que les probabilités {p_i} ne soient pas connues mais que l'on considère comme plausible qu'elles soient égales à certains nombres {π_i} connus, et donc que l'on ait p_i = π_i pour tout i. Pour évaluer la vraisemblance de cette hypothèse, il faut un test d'adéquation (ou "d'adaptation") qui opposera :

Le test a besoin d'une statistique dont la valeur sur l'échantillon soit un bon indicateur de la plausibilité de l'hypothèse nulle. La statistique la plus utilisée pour ce test est la statistique dite "du Chi-2" que nous décrivons maintenant.

La statistique du Chi-2

Bien qu'étant la plus connue, cette statistique (dite "de Pearson") n'est pas la seule possible. En particulier, on peut construire un test d'adéquation par la méthode générale du Test du Rapport de Vraisemblance : la statistique de ce test est appelée "G² de Wilks".

La statistique du Chi-2 est donc la somme de k termes similaires, un terme par modalité.

* Le numérateur de chacun des termes est tout à fait naturel : c'est le carré de la différence entre l'effectif observé n_i et l'effectif attendu np_i (rappelons que n_i/n est l'estimateur par Maximum de Vraisemblance de p_i).

* Nous donnons ici une justification du dénominateur np_i, quelque peu inattendu.

La distribution de Q est inconnue, mais on montre qu'elle converge vers χ²_k_{-
1} quand la taille de l'échantillon tend vers l'infini (théorème de Pearson). Ce résultat fondamental est à l'origine de tous les tests du Chi-2.

Le test du Chi-2

* Q ne peut prendre une grande valeur que si au moins un des termes de la somme prend une grande valeur, c'est à dire si l'effectif observé est très différent de l'effectif attendu pour au moins une modalité. Il est alors naturel de rejeter l'hypothèse nulle.

* Q ne peut prendre une petite valeur que si tous les termes de la somme ont de faibles valeurs, c'est à dire si tous les effectifs sont proches de leur valeur attendue. Il n'est alors certainement pas possible de rejeter l'hypothèse nulle.

On peut remarquer que si tous les effectifs n_i sont multipliés par m, la valeur de la statistique Q est également multipliée par m. Ainsi, bien que les rapports des effectifs soient inchangés, l'hypothèse nulle devient plus difficile à accepter. Ceci reflète le fait que la quantité d'information sur une distribution augmente avec la taille de l'échantillon.

Extension du test du Chi-2 de base aux distributions continues

Le test du Chi-2 décrit ci-dessus peut être transformé en un test d'adéquation pour les distributions continues. Soit p(x) une distribution de probabilité continue, et x = {x₁, x₂, ..., x_n } un échantillon tiré d'une distribution continue inconnue. Est-il vraisemblable que cette distribution inconnue soit justement p(x) ?

Supposons que le domaine de p(x) soit découpé en k tranches (image inférieure de l'illustration ci-dessus). La probabilité p_i pour qu'une nouvelle observation tombe dans la tranche n°i est

La situation est alors identique à celle du test d'adéquation de la distribution multinomiale Mult(n; p₁, p₂, ..., p_k ), où k est le nombre de tranches.

La discrétisation de p(x) en un nombre fini de probabilités {p_i} provoque une perte d'information : beaucoup de distributions continues peuvent engendrer le même ensemble de probabilités {p_i}. Le choix de k est alors une question importante :

* Si k est trop petit (et donc si les tranches sont trop larges), la perte d'information sur la structure détaillée de {p_i} est trop importante : le test ne peut distinguer entre des distributions pourtant très différentes, et sa puissance est faible.

* Mais si k est trop grand, le nombre moyen d'observations par modalité est faible, une circonstance connue pour rendre le test du Chi-2 imprécis.

Ce point est une des manifestations du compromis biais-variance (voir ici), et est utilement illustré par une animation étudiant le comportement de la statistique du Chi-2 dans diverses conditions expérimentales.

Cette même animation apporte également des arguments en faveur du positionnement des limites des tranches de façon à ce que celles-ci définissent des probabilités approximativement égales.

De nombreux tests d'adéquation, plus particulièrement conçus pour les distributions continues, remplissent exactement la même fonction que la version "distributions continues" du test du Chi-2 d'adéquation, et en général avec de meilleurs résultats (plus grande puissance).

Paramètres estimés

Considérons le test du Chi-2 destiné à tester l'hypothèse nulle selon laquelle l'échantillon est issu de la distribution normale N(µ, σ²), où µ et σ² sont connus. Si la distribution normale est découpée en k tranches, la distribution asymptotique de la statistique du Chi-2 est χ²_k_{- 1}.

Considérons maintenant un autre test destiné à tester l'hypothèse nulle selon laquelle l'échantillon a été tiré d'une distribution normale pour la quelle µ et σ² ne sont pas spécifiés. Il est encore possible de construire un test du Chi-2 pour tester cette hypothèse nulle à condition de construire dans un premier temps une distribution normale "de référence". L'hypothèse à tester sera alors "L'échantillon est issu de cette distribution normale de référence".

La distribution de référence est spécifiée en estimant sa moyenne et sa variance à partir de l'échantillon, en général par la méthode d'estimation du Maximum de Vraisemblance. On montre alors que la distribution asymptotique de la statistique du Chi-2 sera toujours une distribution du χ², mais χ²_k_{- 3} au lieu de

χ²_k_{- 1}. En d'autres termes, l'estimation des deux paramètres de la distribution normale aura pour conséquence la perte de deux degrés χ²de liberté de la distribution asymptotique.

Sous certaines conditions de régularité, ce résultat est absolument général et s'étend bien au-delà de l'exemple ci-dessus. Il s'énonce ainsi : à chaque fois qu'un des paramètres rencontrés lors de la construction d'un test du Chi-2 est inconnu et doit donc être estimé (p. ex. par Maximum de Vraisemblance):

* La distribution asymptotique de la statistique du Chi-2 reste une distribution du χ²,

Ce résultat important est difficile, et n'est pas démontré dans ce Glossaire.

Tests sur les tableaux de contingence

Les tests du Chi-2 les plus fréquemment utilisés portent sur les tableaux de contingence.

Test du Chi-2 d'indépendance

Soient X₁ et X₂ deux variables discrètes. La distribution de probabilité conjointe de la paire (X₁, X₂) est définie par un ensemble de probabilités p_ij (inconnues). Un échantillon est tiré de cette distribution conjointe. Le résultat est un ensemble d'effectifs {n_ij}, où i désigne la modalité n°i de X₁ et j désigne la modalité n°j de X₂. Ces effectifs sont en général représentés sous la forme d'une table appelée tableau de contingence :

Le contenu du tableau de contingence est-il un argument en faveur de la thèse selon laquelle X₁ et X₂ ne sont pas des variables indépendantes ?

Lorsque le test rejette H₀, il ne fournit malheureusement pas d'information sur la façon dont les deux variables s'éloignent de la condition d'indépendance. Une analyse plus détaillée de la paire (X₁, X₂) est alors possible en ayant recours à l'Analyse des Correspondances.

Test du Chi-2 de symétrie

Quand les deux variables ont le même nombre de modalités, le tableau de contingence est carré. Une autre question se pose alors naturellement : le contenu du tableau est-il compatible avec l'hypothèse selon laquelle la distribution conjointe sous-jacente est symétrique ? En d'autres termes, la probabilité de l'évènement (X₁_i, X_2j ) est-elle la même que celle de l'évènement (X₁_j, X_2i ) ?

Test du Chi-2 d'égalité des distribution marginales

La quantité sous-jacente à un tableau de contingence est la distribution de probabilité conjointe P_ij{X₁ = X₁_i, X₂ = X₂_j }. Cependant, de cette distribution on peut déduire les distributions marginales de X₁ et de X₂, qui sont les distributions de probabilité de X₁ et de X₂ au sens ordinaire du terme.

Quand les deux variables ont le même nombre de modalités, une question naturelle est "Les deux variables ont-elles des distributions de probabilités marginales identiques ?".

Test du Chi-2 d'identité (ou "d'homogénéité")

Un problème quelque peu différent est le suivant : soient I variables discrètes indépendantes prenant toutes leurs valeurs dans un ensemble de J valeurs

{v₁, v₂, ..., v_J }. Des échantillons de tailles respectives {n₁, n₂, ..., n_I } sont tirés des distributions de ces variables. Par exemple, les n₁ tirages de X₁ conduisent aux effectifs suivants :

Au vu de ce tableau, est-il vraisemblable que les I variables aient des distributions de probabilité identiques ?

Le test d'identité du Chi-2 peut être adapté aux distributions continues par le même procédé que celui utilisé pour adapter le test d'adéquation. Il devient alors une alternative :

* Et au test de Kruskal-Wallis pour la comparaison de plus de deux distributions.

Le test du Chi-2 d'indépendance aborde la question de l'indépendance de deux variables discrètes. Si les variables sont effectivement indépendantes, le contenu du tableau de contingence croisant ces deux variables ne devrait pas s'éloigner beaucoup d'une certaine structure canonique. L'écart observé du tableau de contingence à cette structure canonique est mesuré par la valeur d'une forme particulière de la statistique du Chi-2. Le test utilise alors le fait que la distribution asymptotique de la statistique est une distribution du χ², dont nous calculerons le nombre de degrés de liberté.

* Le test "de symétrie", qui porte sur la symétrie de la distribution conjointe ayant engendrée le tableau de contingence. La phase d'optimisation lagrangienne des probabilités est simple si elle est précédée d'une mise en forme appropriée des données.

* Le test "des marginales", qui aborde la question de l'identité des distributions de probabilités marginales d'une distribution de probabilité conjointe.

* Le test "d'identité" (ou "d'homogénéité") qui cherche à déterminer si plusieurs distributions discrètes sont ou non identiques.

2) Alors que les tests du Chi-2 sont des tests approximatifs, il est dans certains cas possible de développer des test exacts qui ne sont pas basés sur la statistique du Chi-2. C'est en particulier le cas :

* Du test de Fisher-Irwin qui aborde la question de l'identité des distributions de deux variables dichotomiques (variables de Bernoulli). Le test considère deux populations, chacune divisée en deux sous-populations, la question étant de savoir si ces deux divisions définissent des proportions identiques dans les deux populations.

* Du test exact de Fisher, qui traite de l'indépendance de deux variables dichotomiques. Nous développerons dans un premier temps un argument intuitif en faveur de la nature hypergéométrique de la distribution (conditionnelle) de la statistique du test, puis nous démontrerons rigoureusement ce résultat.

Bien que ces tests aient été développés aux environs de 1930, leur utilité réelle est encore débattue à ce jour. Nous n'aborderons pas cette question, et ne traiterons que de la partie mathématique des tests (distributions des statistiques de test).

3) Le test de McNemar, qui traite de la question de la symétrie d'une distribution de probabilité conjointe 2x2.

Distribution du Chi-2
Tests d'adéquation

Téléchargez ce Glossaire