|
|
|
|
|
|
|
Firefox et caractères grecs |
|
Exponentielle (Famille)
Une famille très importante de distributions de probabilité.
Soit p(x) une distribution de probabilité. Elle sera dite appartenir à la famille exponentielle si elle peut être mise sous la forme :
|
p(x, q) = exp[A(x)B(q) + C(x) + D(q)] |
* La distribution peut être continue ou discrète.
* Le domaine de x sur lequel p(x, q) est différente de 0 ne doit pas dépendre du paramètre q (ce qui exclut en particulier la distribution uniforme).
* Nous verrons que le paramètre q n'apparaît en général pas de façon native dans l'expression élémentaire de p(x), mais est une fonction de ces paramètres.
Beaucoup des distributions classiques peuvent être effectivement mises sous cette forme générale, mais ceci ne suffit pas à justifier l'importance de cette expression quelque peu artificielle.
En fait, la famille exponentielle a deux origines différentes mais convergentes, que nous décrivons maintenant.
Les deux caractérisations d'une statistique exhaustive que nous avons établies (distribution conditionnelle de l'échantillon et Théorème de Factorisation) portaient toutes les deux sur la vraisemblance de l'échantillon, mais pas directement sur les propriétés de la distribution p(x, q) elle-même. Il paraît pourtant clair que l'existence d'une statistique exhaustive pour q doit poser des contraintes sur la forme de p(x, q).
En recherchant quelles propriétés doit avoir p(x, q) pour que le paramètre q admette une statistique exhaustive, nous montrerons qu'une condition nécessaire et suffisante d'existence d'une telle statistique est que p(x, q) puisse être mise sous la forme ci-dessus, et appartienne donc à la famille exponentielle.
En fait, nous ferons plus que cela, et montrerons comment identifier une statistique exhaustive lorsque p(x, q) est mise sous la forme exponentielle. Nous aurons ainsi à notre disposition une méthode très puissante de découverte de statistiques exhaustives.
-----
Ce résultat est parfois connu dans la littérature francophone sous le nom de "Théorème de Darmois".
Rappelons que l'inégalité de Cramér-Rao établit une borne inférieure à la variance d'un estimateur sans biais d'une fonction g(q) du paramètre q, mais ne dit rien sur le fait qu'il existe ou non un estimateur dont la variance soit égale à cette borne (estimateur efficace).
Nous montrerons qu'une condition nécessaire et suffisante à l'existence d'une fonction g(q) qui puisse être estimée efficacement est que la distribution p(x, q) appartienne à la famille exponentielle.
Ce résultat impose en fait des conditions de régularité
sur p(x,
q) plus fortes que celles requises pour l'établissement
de l'inégalité de Cramér-Rao, et que nous ne développerons pas. Retenons seulement
que si ces conditions sont relaxées, il existe des distributions n'appartenant
pas à la famille exponentielle, et pour lesquelles il existe un estimateur
sans biais efficace de
g(q).
La forme mathématique ci-dessus est appelée la forme exponentielle générale, et est effectivement issue de principe très généraux. En fait, elle est tellement générale que la plupart des distributions usuelles peuvent s'écrire sous une forme particulière obtenue en posant A(x) = x.
On a alors :
p(x, q) = exp[xB(q) + C(x) + D(q)]
Cette forme simplifiée s'appelle la forme canonique de la distribution.
* L'expression B(q) s'appelle alors le paramètre naturel de la distribution.
* Les autres paramètres apparaissant dans p(x, q) sont appelés des paramètre nuisibles.
La forme canonique est déjà une simplification de la forme générale. Dans la pratique, beaucoup de distributions classiques peuvent s'écrire sous une forme encore plus restrictive qui définit une sous-classe de la famille exponentielle canonique appelée famille exponentielle naturelle. Cette forme est :
|
p(x, q, f) = exp{(xq - b(q))/f + c(x, f)} |
Elle est appelée "forme naturelle" de la distribution, et est un cas particulier de la forme canonique.
* Nous verrons que le paramètre q de la forme naturelle n'est pas le même que le paramètre q de la forme canonique.
* Par ailleurs est mis en évidence un paramètre f, en général connu, dont nous verrons qu'il caractérise l'étendue de la distribution. Pour cette raison, il s'appelle le paramètre de dispersion de la distribution. C'est un paramètre "nuisible" (voir ci-dessus).
* c(x, f) est un terme "fourre-tout" qui ne joue pas un rôle important, et à qui on ne demande que de ne pas dépendre de q.
La simplification apportée par la famille exponentielle naturelle permet de calculer la moyenne et la variance d'une distribution de cette famille par des voies (d'ailleurs assez détournées) que nous emprunterons dans le Tutoriel ci-dessous. Nous montrerons que si µ et s² désignent respectivement la moyenne et la variance de la distribution, alors :
* Moyenne :
Nous montrerons que :
|
µ = b'(q) |
où " ' " désigne la dérivation par rapport à q.
On impose à la définition de la famille exponentielle naturelle que b'(q) soit une fonction inversible (monotone). Le paramètre q peut alors s'exprimer comme une fonction de µ :
q = b'-1(µ) = t(µ)
et une distirbution de la famille exponentielle naturelle est souvent représentée dans cette paramétrisation.
* Variance :
Nous montrerons que :
|
s² = f.b''(q) |
Cette dernière expression justifie le nom de "paramètre de dispersion" donné à f.
L'expression de la variance montre que, à l'intérieur d'une famille exponentielle naturelle, la variance est fonction de la moyenne :
|
s² = f.µ' = V(µ) |
La fonction V s'appelle la fonction de variance de la distribution.
On montre que, sous des conditions de régularité assez peu contraignantes, la fonction de variance caractérise la forme d'une distribution lorsque l'on sait qu'elle appartient à la famille exponentielle naturelle.
__________________________________________________
|
Tutoriel 1 |
Dans ce Tutoriel, nous exposons les deux origines de la famille exponentielle.
* Statistique exhaustive :
- Une condition nécessaire et suffisante pour qu'une distribution p(x, q) admette une statistique exhaustive pour le paramètre q est qu'elle appartienne à la famille exponentielle.
- Nous identifierons alors une statistique exhaustive particulière de q.
* Borne de Cramér-Rao
Une condition nécessaire et suffisante (à quelques réserves près) pour qu'il existe une fonction g(q) admettant un estimateur efficace est que p(x, q) appartienne à la famille exponentielle.
Nous identifierons cet estimateur efficace, ainsi que l'unique fonction g(q) estimée efficacement. Si cette fonction n'est pas la fonction "identité", alors le paramètre q n'admet pas d'estimateur efficace.
____________
* Famille exponentielle naturelle
Nous montrons ensuite que la moyenne et la variance d'une distribution appartenant à la famille exponentielle naturelle peuvent être calculées par des méthodes simples et élégantes, bien que très indirectes.
FAMILLE EXPONENTIELLE ET STATISTIQUE EXHAUSTIVE
FAMILLE EXPONENTIELLE ET BORNE DE CRAMER-RAO
FAMILLE EXPONENTIELLE NATURELLE
|
Famille exponentielle et Statistique exhaustive La condition est nécessaire La condition est suffisante Une statistique exhaustive particulière Famille exponentielle et borne de Cramér-Rao La condition est nécessaire La condition est suffisante Score et famille exponentielle Score et estimateur efficace L'estimateur efficace et la quantité estimée Famille exponentielle naturelle Moyenne Variance Fonction de variance |
||
|
TUTORIEL |
|
|
__________________________________________________
|
Tutoriel 2 |
Nous passons en revue un certain nombre de distributions classiques dont il s'avère qu'elles appartiennent à la famille exponentielle (en fait, à la famille exponentielle naturelle). Pour chacune, nous identifions :
* Sa forme canonique,
* Sa forme naturelle,
* Sa fonction de variance,
* La quantité estimée efficacement, et l'estimateur correspondant.
La Table des Matières détaillée relative à la distribution normale se retrouve donc à l'identique pour toutes les distributions de la liste.
-----
La distribution du Chi-2 appartient également à la famille exponentielle, mais n'est pas traitée séparément car la distribution du Chi-2 est une distribution Gamma particulière.
Par contre, nous traitons séparément la distribution exponentielle (bien qu'étant elle aussi une distribution Gamma particulière) en raison de sa simplicité et de son caractère didactique.
EXEMPLES DE DISTRIBUTIONS
APPARTENANT A LA FAMILLE EXPONENTIELLE
|
Distribution normale Forme canonique Forme naturelle Fonction de variance Estimation efficace Distribution exponentielle Distribution Gamma Distribution binomiale Distribution géométrique Distribution binomiale négative Distribution de Poisson |
||
|
TUTORIEL |
|
|
______________________________________________________
Voir aussi:
|
|
|
|
Téléchargez ce Glossaire |
|
|
|
|
|
