|
|
|
|
|
|
Exhaustive (Statistique)
Soit p(x, q) une distribution de probabilité connue à l'exception de la valeur du paramètre q.
Soit également X = {x1, x2, ..., xn } un échantillon de taille n issu de cette distribution. Toute l'information disponible pour l'estimation de la valeur de q est contenue dans cet échantillon.
Pour estimer q, nous construisons une statistique (une fonction qui ne dépend que des observations et pas de q) ayant de "bonnes" propriétés. Par exemple, nous ferons en sorte que l'espérance de cette statistique soit égale à q : nous aurons alors construit un estimateur sans biais de q.
Cependant, nous pouvons légitimement être inquiets de ce que, partant d'un ensemble de n valeurs, nous n'ayons plus maintenant qu'une seule valeur (l'estimation de q). Cette réduction provoque certainement une perte d'information car la connaissance de la seule estimation ne permet pas de remonter à l'échantillon tout entier.
Il existe en Théorie de l'Estimation une ligne de pensée informelle mais très commode pour guider de nombreux raisonnements, et selon laquelle un échantillon contient :
* De l'information utile pour l'estimation de q,
* Le reste de l'information disponible dans l'échantillon étant inutile pour cette estimation (bien que pouvant être utile pour d'autres applications).
On peut donc craindre que dans une statistique quelconque (et en particulier, dans un estimateur de q) on ne retrouve qu'une partie de l'information utile à l'estimation de q (ainsi qu'une certaine quantité d'information inutile) et en général, ceci est vrai.
Il est cependant remarquable dans sous certaines conditions, la création d'une statistique ne rejettera que de l'information "inutile" tout en préservant intégralement l'information "utile" à l'estimation de q. Lorsque ceci est possible, on dit que la statistique ainsi obtenue est une statistique exhaustive pour q.
A la page suivante, nous décrivons une expérience de pensée qui permet de donner à ce concept intuitif mais vague un contenu opérationnel qui se traduira par la définition formelle que nous donnons au paragraphe suivant.
|
|
|
Soit p(x, q) une distribution de probabilité.
Toute la Théorie de l'Estimation repose sur la connaissance de la distribution de probabilité de l'échantillon X = {x1, x2, ..., xn }, que nous noterons Lq(X). C'est à partir de cette distribution que l'on calcule (lorsque cela est possible) la distribution d'une statistique T(X).
Nous noterons Lq(X |T = t0) la distribution de l'échantillon conditionnellelement à la valeur t0 de la statistique T. En termes intuitifs (et impropres) :
* Répétons à l'infini des tirages d'échantillons de taille n de la distribution p(x, q) et ne retenons que ceux pour lesquels T = t0.
* Ces échantillons sont distribués comme Lq(X |T = t0).
Nous donnons maintenant la définition formelle d'une statistique exhaustive :
|
Une statistique T est dit exhaustive pour le paramètre q si la distribution de l'échantillon conditionnellement à la valeur de T ne dépend pas de q. |
En d'autres termes, nous pouvons supprimer l'indice de l'expression Lq(X |T = t0), qui sécrira alors simplement L(X |T = t0).
L'expérience de pensée décrite à la page suivante explique comment la notion intuitive de "statistique qui contient toute l'information relative à q" se traduit par cette définition quelque peu abstraite.
-----
Nous donnons également à la page suivante une interprétation géométrique de la notion d'exhaustivité qui peut apporter une aide visuelle à la compréhension de cette notion.
|
|
|
Les exemples du premier Tutoriel
montreront que l'identification d'une statistique exhaustive à partir de la seule
définition peut être difficile, car les calculs impliquant des probabilité conditionnelles
sont souvent lourds. Heureusement, on montre que si une distribution pq(x) admet
une statistique exhaustive T pour le paramètre q,
alors la distribution conjointe Lq(X)
d'un n-échantillon X peut s'écrire sous la forme :
|
Lq(X) = g(T(X), q).h(X) |
où T(X) est une fonction de l'échantillon seulement (une statistique).
Ainsi, si la statistique T est exhaustive pour le paramètre q, Lq(X) est le produit de deux termes :
-----
La réciproque est vraie : si une distribution pq(x) est telle que la distribution conjointe Lq(x1, x2, ..., xn) d'un n-échantillon X = {x1, x2, ..., xn} peut être factorisée comme ci-dessus, alors T est une statistique exhaustive pour le paramètre q.
Ce résultat important est connu sous le nom de Théorème de Factorisation, que nous démontrons ici.
Le Théorème de Factorisation est le moyen le plus utilisé pour identifier des statistiques exhaustives. Etant donnée pq(x), on tente de factoriser Lq(x1, x2, ..., xn) sous la forme ci-dessus. Si c'est possible, alors T(X) est une statistique exhaustive.
Ces deux premières caractérisations d'une statistique exhaustive portent la distribution de l'échantillon, mais pas sur la distribution p(x, q) elle-même. Il serait pourtant souhaitable que l'on puisse décider sur la seule base de la forme mathématique de p(x, q) si cette distribution admet ou non une statistique exhaustive pour q.
Nous montrerons ici que p(x, q) admet une statistique exhaustive pour q si et seulement si elle est de la forme :
|
p(x, q) = exp[A(x)B(q) + C(x) + D(q)] |
Cette expression définit une classe de distributions de probabilité que l'on appelle la famille exponentielle.
De plus, nous identifierons une statistique exhaustive particulière pour q.
-----
Ce résultat est parfois connu dans la littérature francophone sous le nom de Théorème de Darmois.
Nous montrons ici que si une fonction g(q) du paramètre q admet un estimateur efficace, alors cet estimateur est une statistique exhaustive pour q.
La réciproque est bien entendu fausse : une statistique exhaustive n'a aucune raison d'être un estimateur efficace, ni même un estimateur sans biais.
Nous montrerons que :
* Une tranformée bijective d'une statistique exhaustive pour q est également exhaustive pour q.
Ce résultat montre que la propriété d'exhaustivité
d'une statistique ne dit rien sur les performances de cette statistique en
tant qu'estimateur. Supposons que la statistique exhaustive T soit un
estimateur sans biais de q. Alors, pour tout a,
la statistique T + a est également exhaustive, mais est un estimateur
de q moins bon que T.
* Une statistique qui est exhaustive pour q l'est également pour toute transformée bijective de q.
En général, une statistique fonction d'une statistique exhaustive n'est pas exhaustive.
Mais si T est exhaustive, et si T = f(S), où :
* S est une autre statistique,
* Et f une fonction pas nécessairement bijective,
alors S est une statistique exhaustive.
En d'autres termes, l'exhaustivité ne "descend" pas focément le courant, mais le "remonte" toujours.
Nous démontrons ce résultat ici.
-----
Ce résultat est éclairé par l'image de l'information "utile". Une fonction y = f(x) non bijective provoque toujours une perte d'information : la connaissance de y ne permet pas de remonter à x de façon non ambiguë. Dans le cas d'une statistique, cette remarque montre qu'une fonction f non bijective peut détruire de l'information utile contenue dans T, rendant ainsi S = f(T) non exhaustive.
Par contre, une fonction ne crée jamais d'information. Donc si T est exhaustive, et si T = f(S), alors S doit déjà contenir toute l'information utile, et donc doit être exhaustive (image inférieure de l'illustration ci-dessus).
Etant données deux statistiques exhaustives T et S telles que T = f(S), où f est une fonction non bijective, T peut être vue comme une version de S "allégée" d'une certaine quantité d'information inutile, mais ayant retenu toute sa pertinence pour l'estimation de q.
On peut alors se demander s'il est possible qu'une statistique exhaustive soit "plus légère" que toute autre statistique exhaustive. Lorsqu'il existe une telle statistique, elle est qualifiée d'exhaustive minimale.
Nous avons donc la définition suivante :
|
Une statistique exhaustive est dite minimale si elle est fonction de tout autre statistique exhaustive. |
Il existe un lien étroit entre "Statistique exhaustive" et "Estimateur par Maximum de Vraisemblance".
Nous énonçons sans démonstration deux résultats importants :
* Si l'estimateur par Maximum de Vraisemblance est unique, alors il est fonction d'une statistique exhaustive.
* Si l'estimateur par Maximum de Vraisemblance est unique et est une statistique exhaustive, alors il est une statistique exhaustive minimale.
Le Théorème de Rao-Blackwell montre comment réduire la variance d'un estimateur sans biais d'un paramètre q d'une distribution. Cette réduction procède par conditionnement par une statistique auxilliaire, qui doit impérativement être une statistique exhaustive pour q.
Le Théorème de Neyman-Pearson identifie la Meilleure Région Critique pour une certaine catégorie de tests impliquant un paramètre d'une distribution. Quand ce paramètre admet une statistique exhaustive, le théorème prend une forme particulièrement simple grâce au Théorème de Factorisation. Il devient alors un outil puissant d'identification de Meilleures Régions Critiques.
______________________________________________________________
|
Tutoriel 1 |
Dans le Tutoriel ci-dessous, nous identifions cinq statistiques exhaustives à partir de la seule définition d'une statistique exhaustive. Plus spécifiquement, nous montrons que :
Nous montrons que l'observation "la plus à gauche" (statistique d'ordre de rang 1) est une statistique exhaustive pour q.
PREMIERS EXEMPLES DE STATISTIQUES EXHAUSTIVES
|
Distribution de Bernoulli Distribution binomiale Qu'est-ce qu'un échantillon d'une distribution binomiale ? Distribution conditionnelle de la distribution binomiale Distribution conditionnelle de l'échantillon La statistique est exhaustive Distribution de Poisson Distribution uniforme Distribution exponentielle translatée |
||
|
TUTORIEL |
|
|
_______________________________________________________
|
Tutoriel 2 |
Nous démontrons ici le Théorème de Factorisation dans le cas où la distribution de probabilité est discrète. La démonstration est similaire dans le cas continu mais fait appel à des résultats de la théorie de la mesure qui sont au-delà des limites de ce Glossaire.
Nous démontrons ensuite les résultats relatifs aux fonctions de statistiques exhaustives.
-----
Nous passons ensuite en revue un certain nombre de distributions pour lesquelles le Théorème de Factorisation permet l'identification d'une statistique exhaustive plus simplement que la méthode directe.
THEOREME DE FACTORISATION
EXEMPLES D'UTILISATION
|
Le Théorème de Factorisation La factorisation est nécessaire La factorisation est suffisante Distribution de la statistique exhaustive Exhaustivité et fonctions Conservation de l'exhaustivité par bijection Exhaustivité pour une fonction bijective du paramètre Statistique exhaustive fonction d'une statistique Exemples d'utilisation du Théorème de Factorisation Distribution de Bernoulli Distribution uniforme Distribution de Poisson Distribution normale (moyenne) Première méthode Deuxième méthode Distribution normale (variance) La statistique Distribution de la statistique Distribution de l'échantillon La statistique est exhaustive Distribution Gamma Distribution exponentielle |
||
|
TUTORIEL |
|
|
_____________________________________________________
Voir aussi:
|
|
|
|
Téléchargez ce Glossaire |
|
|
|
|
|
