Firefox et caractères grecs

Exponentielle  (Famille)

Une famille très importante de distributions de probabilité.

Définition de la famille exponentielle

Soit p(x) une distribution de probabilité. Elle sera dite appartenir à la famille exponentielle si elle peut être mise sous la forme :

p(x, q) = exp[A(x)B(q) + C(x) + D(q)]

 

    * La distribution peut être continue ou discrète.

    * Le domaine de x sur lequel p(x, q) est différente de 0 ne doit pas dépendre du paramètre q (ce qui exclut en particulier la distribution uniforme).

    * Nous verrons que le paramètre q n'apparaît en général pas de façon native dans l'expression élémentaire de p(x), mais est une fonction de ces paramètres.

Origines de la famille exponentielle

Beaucoup des distributions classiques peuvent être effectivement mises sous cette forme générale, mais ceci ne suffit pas à justifier l'importance de cette expression quelque peu artificielle.

En fait, la famille exponentielle a deux origines différentes mais convergentes, que nous décrivons maintenant.

Statistique exhaustive et famille exponentielle (Théorème de Darmois)

Les deux caractérisations d'une statistique exhaustive que nous avons établies (distribution conditionnelle de l'échantillon et Théorème de Factorisation) portaient toutes les deux sur la vraisemblance de l'échantillon, mais pas directement sur les propriétés de la distribution p(x, q) elle-même. Il paraît pourtant clair que l'existence d'une statistique exhaustive pour q doit poser des contraintes sur la forme de p(x, q).

En recherchant quelles propriétés doit avoir p(x, q) pour que le paramètre q admette une statistique exhaustive, nous montrerons qu'une condition nécessaire et suffisante d'existence d'une telle statistique est que p(x, q) puisse être mise sous la forme ci-dessus, et appartienne donc à la famille exponentielle.

 

En fait, nous ferons plus que cela, et montrerons comment identifier une statistique exhaustive lorsque p(x, q) est mise sous la forme exponentielle. Nous aurons ainsi à notre disposition une méthode très puissante de découverte de statistiques exhaustives.

-----

Ce résultat est parfois connu dans la littérature francophone sous le nom de "Théorème de Darmois".

Borne de Cramér-Rao et famille exponentielle

Rappelons que l'inégalité de Cramér-Rao établit une borne inférieure à la variance d'un estimateur sans biais d'une fonction g(q) du paramètre q, mais ne dit rien sur le fait qu'il existe ou non un estimateur dont la variance soit égale à cette borne (estimateur efficace).

Nous montrerons qu'une condition nécessaire et suffisante à l'existence d'une fonction g(q) qui puisse être estimée efficacement est que la distribution p(x, q) appartienne à la famille exponentielle.


Ce résultat impose en fait des conditions de régularité sur p(x, q) plus fortes que celles requises pour l'établissement de l'inégalité de Cramér-Rao, et que nous ne développerons pas. Retenons seulement que si ces conditions sont relaxées, il existe des distributions n'appartenant pas à la famille exponentielle, et pour lesquelles il existe un estimateur sans biais efficace de g(q).

Form exponentielle canonique

La forme mathématique ci-dessus est appelée la forme exponentielle générale, et est effectivement issue de principe très généraux. En fait, elle est tellement générale que la plupart des distributions usuelles peuvent s'écrire sous une forme particulière obtenue en posant A(x) = x.

On a alors :

p(x, q) = exp[xB(q) + C(x) + D(q)]

 

Cette forme simplifiée s'appelle la forme canonique de la distribution.

    * L'expression B(q) s'appelle alors le paramètre naturel de la distribution.

    * Les autres paramètres apparaissant dans p(x, q) sont appelés des paramètre nuisibles.

Famille exponentielle naturelle

Définition de la famille exponentielle naturelle

La forme canonique est déjà une simplification de la forme générale. Dans la pratique, beaucoup de distributions classiques peuvent s'écrire sous une forme encore plus restrictive qui définit une sous-classe de la famille exponentielle canonique appelée famille exponentielle naturelle. Cette forme est :

 

p(x, q, f) = exp{(xq - b(q))/f + c(x, f)}

 

Elle est appelée "forme naturelle" de la distribution, et est un cas particulier de la forme canonique.

    * Nous verrons que le paramètre q de la forme naturelle n'est pas le même que le paramètre q de la forme canonique.

    * Par ailleurs est mis en évidence un paramètre f, en général connu, dont nous verrons qu'il caractérise l'étendue de la distribution. Pour cette raison, il s'appelle le paramètre de dispersion de la distribution. C'est un paramètre "nuisible" (voir ci-dessus).

    * c(x, f) est un terme "fourre-tout" qui ne joue pas un rôle important, et à qui on ne demande que de ne pas dépendre de q.

Moyenne et variance de la famille exponentielle naturelle

La simplification apportée par la famille exponentielle naturelle permet de calculer la moyenne et la variance d'une distribution de cette famille par des voies (d'ailleurs assez détournées) que nous emprunterons dans le Tutoriel ci-dessous. Nous montrerons que si µ et s² désignent respectivement la moyenne et la variance de la distribution, alors :

            * Moyenne :

Nous montrerons que :

µ = b'(q)

 

où " ' " désigne la dérivation par rapport à q.

On impose à la définition de la famille exponentielle naturelle que b'(q) soit une fonction inversible (monotone). Le paramètre q peut alors s'exprimer comme une fonction de µ :

q = b'-1(µ) = t(µ)

et une distirbution de la famille exponentielle naturelle est souvent représentée dans cette paramétrisation.

 

            * Variance :

Nous montrerons que :

s² =  f.b''(q)

 

Cette dernière expression justifie le nom de "paramètre de dispersion" donné à f.

Fonction de variance

L'expression de la variance montre que, à l'intérieur d'une famille exponentielle naturelle, la variance est fonction de la moyenne :

s² = f.µ' = V(µ)

 

La fonction V s'appelle la  fonction de variance de la distribution.

On montre que, sous des conditions de régularité assez peu contraignantes, la fonction de variance caractérise la forme d'une distribution lorsque l'on sait qu'elle appartient à la famille exponentielle naturelle.

__________________________________________________

 

 

Tutoriel 1

 

Dans ce Tutoriel, nous exposons les deux origines de la famille exponentielle.

 

    * Statistique exhaustive :

        - Une condition nécessaire et suffisante pour qu'une distribution p(x, q) admette une statistique exhaustive pour le paramètre q est qu'elle appartienne à la famille exponentielle.

        - Nous identifierons alors une statistique exhaustive particulière de q.

 

    * Borne de Cramér-Rao

Une condition nécessaire et suffisante (à quelques réserves près) pour qu'il existe une fonction g(q) admettant un estimateur efficace est que p(x, q) appartienne à la famille exponentielle.

Nous identifierons cet estimateur efficace, ainsi que l'unique fonction g(q) estimée efficacement. Si cette fonction n'est pas la fonction "identité", alors le paramètre q n'admet pas d'estimateur efficace.

____________

 

    * Famille exponentielle naturelle

Nous montrons ensuite que la moyenne et la variance d'une distribution appartenant à la famille exponentielle naturelle peuvent être calculées par des méthodes simples et élégantes, bien que très indirectes.

 

 

 

 

FAMILLE EXPONENTIELLE ET STATISTIQUE EXHAUSTIVE

FAMILLE EXPONENTIELLE ET BORNE DE CRAMER-RAO

FAMILLE EXPONENTIELLE NATURELLE

Famille exponentielle et Statistique exhaustive

La condition est nécessaire

La condition est suffisante

Une statistique exhaustive particulière

Famille exponentielle et borne de Cramér-Rao

La condition est nécessaire

La condition est suffisante

Score et famille exponentielle

Score et estimateur efficace

L'estimateur efficace et la quantité estimée

Famille exponentielle naturelle

Moyenne

Variance

Fonction de variance

TUTORIEL

__________________________________________________

 

 

Tutoriel 2

 

Nous passons en revue un certain nombre de distributions classiques dont il s'avère qu'elles appartiennent à la famille exponentielle (en fait, à la famille exponentielle naturelle). Pour chacune, nous identifions :

    * Sa forme canonique,

    * Sa forme naturelle,

    * Sa fonction de variance,

    * La quantité estimée efficacement, et l'estimateur correspondant.

 

La Table des Matières détaillée relative à la distribution normale se retrouve donc à l'identique pour toutes les distributions de la liste.

-----

La distribution du Chi-2 appartient également à la famille exponentielle, mais n'est pas traitée séparément car la distribution du Chi-2 est une distribution Gamma particulière.

Par contre, nous traitons séparément la distribution exponentielle (bien qu'étant elle aussi une distribution Gamma particulière) en raison de sa simplicité et de son caractère didactique.

 

 

EXEMPLES DE DISTRIBUTIONS

APPARTENANT A LA FAMILLE EXPONENTIELLE

Distribution normale

Forme canonique

Forme naturelle

Fonction de variance

Estimation efficace

Distribution exponentielle

Distribution Gamma

Distribution binomiale

Distribution géométrique

Distribution binomiale négative

Distribution de Poisson 

TUTORIEL

 

______________________________________________________

 

Voir aussi:

Statistique exhaustive

Inégalité de Cramér-Rao

Téléchargez ce Glossaire