La définition d'une statistique exhaustive est souvent perçue comme abstraite et peu intuitive. Nous décrivons ci-dessous une expérience de pensée destinée à rendre cet important concept un peu plus parlant à l'imagination.

Les "conditions expérimentales"

Soit p(x; θ) une distribution de probabilité connue, sauf en ce qui concerne la valeur de son paramètre θ.

Soit également  x = {x₁, x₂, ..., x_n} un échantillon de taille n issu de cette distribution.

Soit enfin T une statistique, et t la valeur de cette statistique sur l'échantillon. Notons g_θ(t) la distribution de T. Dans ce qui suit, que g_θ(t) soit connue ou non est sans importance.

-----

Nous avons également deux statisticiens, appelons les S₁ et S₂. Tous les deux connaissent p(x; θ) (mais pas la valeur de θ).

• S₁ connait l'échantillon x dans son intégralité.
• Mais S₂ ne reçoit comme information que la valeur t prise par la statistique T sur cet échantillon.

Le statisticien "riche" et le statisticien "pauvre"

S₁ pense :

    "Ma position est forte, puisque je dispose de x, qui contient toute l'information qui sera jamais disponible sur θ.".

S₂ pense :

    "Ma position est faible, car je ne dispose que d'une petite partie de l'information contenue dans l'échantillon. En particulier, je ne connais pas les valeurs des observations, et T (ou une fonction de T) est donc la seule statistique dont je puisse connaître la valeur sur x. Quelle que soit la question posée sur θ,  je ne peux rien faire d'autre que d'espérer que T = t aura quelque chose à voir avec cette question.

Par contre, mon collègue S₁ est en bien meilleure posture que moi puisqu'il peut se livrer à toutes sortes de calculs sur l'échantillon. Donc toute inférence qu'il conduira sur θ produira vraisemblablement des résultats supérieurs à ceux que je pourrai produire.".

-----

En général, tout ceci est vrai. Il existe cependant une circonstance particulière dans laquelle S₂ dispose d'autant d'information sur θ que son collègue S₁ apparemment mieux loti.

S₂ (tout comme S₁) connait la forme analytique de p(x; θ) (simplement, il ne connait pas l'échantillon x). Il peut donc calculer la distribution théorique de l'échantillon conditionnellement à la valeur t de la statistique T :

L_θ(X | T = t)

En général, cette distribution dépend de θ (ce qui est la raison pour laquelle nous l'avons indexée par θ) dont la valeur est inconnue, et S₂ ne peut donc rien faire de cette distribution théorique.

La découverte inattendue

Mais supposons que S₂ découvre avec surprise que θ n'apparaît pas dans l'expression de L_θ(X | T = t) qui peut donc être simplement écrite L(X | T = t), l'indice θ étant supprimé.

L(X | T = t ) est alors une distribution complètement définie pour toute valeur t

et S₂ peut l'utiliser comme bon lui semble.

L'expérience de pensée

Imaginons alors l'expérience suivante :

1. S₁ tire un échantillon x = {x₁, x₂, ..., x_n} de p(x; θ).
2. Il calcule la valeur t de T sur cet échantillon.
3. Il communique cette valeur à S₂.
4. S₂ tire un échantillon y = {y₁, y₂, ..., y_n} de L(X | T = t).

x est la réalisation d'un vecteur aléatoire X, et y est la réalisation d'un vecteur aléatoire Y.

Nous montrerons que :

En fait, ce résultat est vrai que T soit exhaustive ou non pour θ. L'exhaustivité de T ne joue aucun rôle dans la démonstration : elle n'est là que pour garantir que la distribution L(X  | T = t ) est connue de S₂.

Soit alors θ^* un estimateur de θ. Les deux valeurs :

    * θ^*(x)  et

    * θ^*(y)

sont différentes, mais elles suivent la même distribution de probabilité, et sont donc, en moyenne, aussi bonnes (ou mauvaises !) l'une que l'autre comme estimations de la valeur de θ.

-----

Appliquons ce schéma à nos deux statisticiens :

    * S₁ tire l'échantillon x directement de L(X; θ)  (par tirage répété depuis p(x; θ)).

    * S₂ :

        - Commence par "tirer" une réalisation de T depuis g_θ(t). En fait, il ne le fait pas vraiment : il utilise simplement la valeur t que lui a transmise S₁. Remarquons que S₁ n'a pas à connaître g_θ(t) : il tire un échantillon x, puis calcule t à partir de x, ce qui est équivalent à tirer une réalisation de T à partir de

g_θ(t).

        - Puis S₂ tire un échantillon y depuis L(X | T = t).

En résumé, le fait que nous ayons pu identifier une statistique T telle que la distribution de l'échantillon conditionnellement à la valeur t de cette statistique ne dépende pas de la valeur du paramètre θ nous permet d'éviter d'avoir à prendre en compte les détails de l'échantillon pour procéder à l'estimation de θ.

Lorsqu'elle existe, une telle statistique est appelée statistique exhaustive pour θ.

Le terme "exhaustive" signifie ici "qui regroupe en une seule valeur toute l'information contenue dans l'échantillon et nécessaire aux inférences sur θ.". 

________________________________________________________

La notion de statistique exhaustive reçoit une interprétation géométrique, que nous illustrons avec l'exemple de la distribution normale N(µ, σ²). Nous supposons σ² fixe, et le paramètre θ du paragraphe précédent est donc ici la moyenne µ.

Nous considérons des échantillons d'effectif 2, dont la distribution dans le plan (x₁, x₂ ) est binormale à symétrie circulaire L_µ(x₁, x₂ ). L'indice µ rappelle que cette distribution dépend de la valeur de µ.

L'image ci-dessus représente L_µ(x₁, x₂ ) pour µ = 0.

On montre que la moyenne empirique m = (x₁+ x₂ ) /2 est une statistique exhaustive pour µ. Une valeur donnée t pour m est représentée par une droite à 45° des axes (droite bleue). La distribution conditionnelle L_µ=(x₁, x₂ | m = t ) est la distribution rencontrée en cheminant le long de cette droite bleue. Cette distribution est matérialisée par les valeurs de L_µ=(x₁, x₂ ) respectant m = t , mais normalisées de façon à ce que l'intégrale de ces valeurs le long de la ligne soit égale à 1.

C'est une distribution normale.

Si maintenant on considère une autre valeur de µ, la distribution L_µ(x₁, x₂ ) a changé (image inférieure de l'illustration ci-dessus). La relation m = t est représentée par une nouvelle droite bleue à la verticale de la précédente. Le fait que m soit une statistique exhaustive pour m se traduit par le fait que les distributions rencontrées le long de ces deux lignes bleues sont identiques.