ESBVM  (Estimateur Sans Biais de Variance Minimale)

Définition d'un ESBVM

Soit p(x; θ) une distribution de probabilité. La qualité d'un estimateur du paramètre θ est mesurée par son Erreur Quadratique Moyenne (EQM) qui, dans le cas d'un estimateur sans biais θ^*, se réduit à sa variance.

Dans la classe des estimateurs sans biais de θ, en existe-t-il un qui soit "meilleur que tous les autres", c'est à dire :

    * Dont la variance soit inférieure à la variance de tout autre estimateur sans biais de θ,

    * Et ceci pour toute valeur de θ ?

Ce n'est pas toujours le cas, mais lorsqu'il existe, cet estimateur s'appelle l' Estimateur Sans Biais de Variance Minimale (ESBVM) de θ.

-----

Le concept d'ESBVM d'un paramètre θ se généralise immédiatement à celui d'ESBVM d'une fonction g(θ) du paramère θ.

Propriétés d'un ESBVM

Existence

Une fonction g(θ) du paramètre θ n'a pas toujours d'ESBVM. Par exemple, nous montrerons qu'aucune fonction g(θ) du paramètre θ de la distribution uniforme U[θ, θ + 1] n'a d'ESBVM.

Unicité

Nous montrerons qu'un ESBVM, lorsqu'il existe, est unique. Tout "autre" estimateur sans biais ayant la même variance qu'un ESBVM est en fait identique à cet estimateur.

Efficacité d'un ESBVM

Sous réserve que certaines conditions de régularité soient satisfaites, la variance d'un estimateur sans biais ne peut être inférieure à une certaine limite : la borne de Cramér-Rao. Un estimateur sans biais dont la variance est égale à la borne de Cramér-Rao, et est donc aussi petite qu'il est théoriquement possible de l'être, est dit être efficace.

Certains ESBVM sont efficaces, mais la plupart ne le sont pas car leurs variances sont supérieures à la borne de Cramér-Rao. Nous donnons ici un exemple d'ESBVM qui n'est pas efficace.

-----

Rappelons que pour une distribution p(x; θ), il existe au plus une fonction g(θ) qui peut être estimée efficacement, alors que plusieurs fonctions d'un même paramètre peuvent avoir des ESBVM, comme nous en verrons de nombreux exemples. Ceci met en lumière le fait que la notion d'ESBVM est à la fois plus faible et plus générale que celle d'estimateur efficace.

Cette faiblesse relative se retrouve également dans les rapports qu'entretiennent ces deux types d'estimateurs avec la notion de statistique exhaustive (voir plus bas).

ESBVM et EQM

Un ESBVM, même s'il est efficace, n'a pas nécessairement la plus faible Erreur Quadratique Moyenne (EQM) de tous les estimateurs de la quantité estimée. Nous donnons ici des exemples d'estimateurs qui, bien que biaisés, ont des EQM plus faibles que celles des ESBVM correspondants.

Propriétés caractéristiques

Soit p(x; θ) une distribution de probabilité. On appelle un estimateur sans biais de 0 tout statistique dont l'espérance est égale à 0 quelle que soit la valeur du paramètre θ. Nous établirons la condition nécessaire et suffisante suivante pour qu'un estimateur sans biais soit un ESBVM :

-----

Nous montrerons également que cette condition est équivalente à cette autre condition :

    * Soit U un estimateur sans biais quelconque de 0,

    * Et soit θ^* un estimateur sans biais de g(θ).

θ^* est un ESBVM de g(θ) si et seulement si

En d'autres termes, un estimateur sans biais de g(θ) est un ESBVM si et seulement si, U étant un estimateur sans biais de 0 quelconque, (θ^*.U ) est également un estimateur sans biais de 0.

_____________

Ces deux conditions nécessaires et suffisantes sont utiles pour :

    1) Démontrer qu'un estimateur donné est un ESBVM.

    2) Démontrer qu'un estimateur donné n'est pas un ESBVM.

    3) Démontrer qu'une fonction g(θ) n'a pas d'ESBVM, voire qu'aucune fonction g(θ) n'a d'ESBVM.

ESBVM et exhaustivité

Nous montrerons que :

    * Si T est une statistique exhaustive pour θ,

    * Et si la fonction g(θ) admet un Estimateur Sans Biais de Variance Minimale,

alors cet ESBVM est nécessairement une fonction de T.

Ce résultat est moins restrictif que le résultat similaire portant sur les estimateurs efficaces, et selon lequel un estimateur efficace n'est pas seulement fonction d'une statistique exhaustive, mais est une statistique exhaustive.

Construire un ESBVM

Les propriétés caractéristiques énoncées ci-dessus sont sans grande utilité pour construire des ESBVM, mais il existe deux méthodes puissantes de construction d'ESBVM :

    1) Le Théorème de Lehmann-Scheffé qui énonce que l'estimateur sans biais obtenu par la blackwellisation d'un estimateur sans biais quelconque par une statistique exhaustive et complète est un ESBVM.

La méthode de construction d'un ESBVM consiste alors à :

        - Identifier dans un premier temps un estimateur sans biais de θ, sans se préoccuper de sa qualité (variance).

        - Identifier dans un deuxième temps une statistique complète pour θ.

        - Blackwelliser l'estimateur sans biais par la statistique complète, tâche souvent ardue en raison de la lourdeur des calculs auxquels conduit le recours aux espérances conditionnelles. Le résultat est l'unique ESBVM de θ.

-----

    2) Le Corollaire du Théorème de Lehmann-Scheffé qui énonce que si un estimateur sans biais de θ est une fonction d'une statistique exhaustive et complète pour θ (et donc pour g(θ)), alors cet estimateur est l'unique ESBVM de g(θ).

Ce résultat s'utilise de deux façons différentes :

        * Le plus souvent, on identifie plus ou moins facilement un estimateur sans biais de g(θ), lequel, avec un peu de chance, s'avèrera être fonction d'une statistique complète. Cet estimateur est alors l'ESBVM de g(θ).

        * Mais le Corollaire du théorème de L-S peut occasionnellement être utilisé différemment : étant donnée une statistique complète T, on essaye d'identifier les conditions que doivent satisfaire une fonction h(T) pour que celle-ci soit un estimateur sans biais de g(θ). Si ces conditions peuvent être satisfaites, alors h(T) est l'unique ESBVM de g(θ).

Nous utiliserons par exemple cette approche quand nous calculerons les ESBVM :

    * De toute fonction analytique g(λ) du paramètre λ de la distribution Poisson(λ).

    * De toute fonction différentiable du paramètre θ de la distribution U[0, θ]

____________________________________________________________________

Dans ce Tutoriel, nous établissons trois propriétés importantes des Estimateurs Sans Biais de Variance Minimale (ESBVM) :

    * Un tel estimateur, lorsqu'il existe, est unique.

    * Un Estimateur sans biais est de Variance Minimale si et seulement si il est décorrélé avec tout estimateur sans biais de 0. Nous établissons ensuite une deuxième condition nécessaire et suffisante pour qu'un estimateur sans biais soit un ESBM.

    * Un ESBVM est fonction de tout statistique exhaustive.

ESTIMATEUR SANS BIAIS DE VARIANCE MINIMALE

________________________________________________________________________

Dans ce Tutoriel, nous identifions quelques ESBVM relatifs à la distribution normale N(µ, σ²).

    * Nous traitons sans difficulté les ESBVM de la moyenne µ (variance connue) et de la variance σ² (moyenne connue).

    * Nous calculons ensuite les ESBVM des premières puissances entières de la moyenne jusqu'à la puissance quatre. Les puissances supérieures semblent conduire à des calculs d'une complexité exagérée, et nous ne verrons pas émerger de solution générale (p. ex. relation de récurrence). Nous arrêterons donc là nos efforts d'identification d'ESBVM des puissances de la moyenne de la distribution normale.

    * Par contre, et de façon un peu surprenante, nous identifierons une expression générale de l'ESBVM de σ^r, où r n'est pas nécessairement un entier, et peut même être négatif (jusqu'à une certaine valeur limite). De plus, les deux cas "Moyenne connue" et "Moyenne inconnue" conduiront à des calculs pratiquement identiques.

    * Ce résultat permet alors d'obtenir simplement un grand nombre d'ESBVM de quantités de la forme µ ^pσ ^r. A titre d'exemple, nous calculerons l'ESBVM de µ / σ.

Tous ces ESBVM seront identifiés en ayant recours au Corollaire du théorème de Lehmann-Scheffé.

_______________

Nous abordons ensuite l'importante question de l'estimation sans biais de la fonction de répartition de la distribution normale. Le Théorème Fondamental de la Statistique (voir ici) énonce que la fonction de répartition empirique est un estimateur convergent de la fonction de répartition F(x) = P{X ≤ x}, mais il ne dit rien sur l'estimation d'une fonction de répartition à partir d'un échantillon fini, pas même si cet estimateur est ou non sans biais. Nous n'explorerons donc pas plus avant la piste "fonction de répartition empirique".

Dans le cas particulier de la distribution normale, il est cependant possible de calculer l'ESBVM de la fonction de répartition P{X ≤ x} à partir d'un échantillon fini.

    * Quand la variance est connue, la moyenne empirique  est l'ESBVM de la moyenne de la distribution. On pourrait donc imaginer que

(où Φ(.) est la fonction de répartition de la distribution normale standard) soit l'ESBVM de la fonction de répartition de la distribution normale N(µ, σ²), mais il n'en est pas ainsi. Nous identifierons l'authentique ESBVM.

    * Les choses se compliquent quand la variance est inconnue. Nous parviendrons néanmoins identifier l'ESBVM de la fonction de répartition de la distribution normale, mais nous devrons pour cela accepter sans démonstration des résultats intermédiaires difficiles.

-----

Ces résultats sont des exemples peu fréquents de calcul d'un ESBVM utilisant le théorème de Lehmann-Scheffé proprement dit plutôt que son Corollaire. Un autre exemple est celui du calcul de l'ESBVM de la fonction e^-λ du paramètre λ de la distribution exponentielle Exp(λ).

QUELQUES ESBVM (DISTRIBUTION NORMALE)

_____________________________________________________

 Dans ce Tutoriel, nous poursuivons notre identification de quelques ESBVM classiques.

    * Nous commençons par identifier directement l'ESBVM du carré du paramètre λ de la distribution Poisson(λ).

    * Nous établissons ensuite l'expression beaucoup plus générale de l'ESBVM de toute fonction analytique g(λ) du paramètre de Poisson λ. Nous utilisons alors cette expression pour calculer les ESBVM :

        - De exp(-λ), un résultat déjà obtenu ici comme exemple d'application du théorème de Rao-Blackwell, et ici comme application du Corollaire du théorème de Lehmann-Scheffé.

        - De toute puissance entière λ^r de λ. Nous retrouverons comme cas particulier l'ESBVM de λ². Comme cas encore plus particulier, nous constaterons que la moyenne empirique  est l'ESBVM de λ.

-----

    * Nous calculons l'ESBVM du paramètre θ de la distribution uniforme U[0, θ], puis généralisons ce résultat à toute fonction différentiable de g(θ).

    * Nous abordons enfin la distribution U[θ, θ + 1] et montrons qu'il n'existe pour cette distribution aucune fonction possédant un ESBVM. Nous savions déjà que U[θ, θ + 1] n'a pas de statistique complète pour θ, et donc que le théorème de Lehmann-Scheffé et son Corollaire ne pouvaient être dans le cas présent d'aucun secours. Mais ces théorèmes ne sont que des conditions suffisantes d'existence d'un ESBVM : le fait que θ n'ait pas de statistique complète n'implique pas qu'il n'existe pas de fonction g(θ) ayant un ESBVM et, dans le cas de U[θ, θ + 1], ce résultat doit donc être démontré.

DISTRIBUTION DE POISSON

DISTRIBUTION UNIFORME

_________________________________________________

Nous décrivons maintenant une famille de distributions connues sous le nom de "distributions puissance" et dont la fonction de masse a pour forme générale :

où x est en entier non négatif, et où θ > 0.

L'identification des ESBVM des puissances entières θ ^r du paramètre θ  s'avèrera être particulièrement simple.

Les ESBVM des puissances du paramètre λ de la distribution Poisson(λ) calculées dans le Tutoriel précédent seront retrouvés comme cas particuliers.

DISTRIBUTIONS PUISSANCE

__________________________________________________________

Nous calculons ici quelques ESBVM relatifs aux distributions de Bernoulli, géométrique et binomiale négative.

    * Nous savons que la moyenne empirique  est l'ESBVM du paramètre p de la distribution de Bernoulli b(p). Nous identifions maintenant l'ESBVM de la variance σ²  = p(1 - p) de cette distribution en utilisant le théorème de Lehmann-Scheffé (et non son Corollaire).

Note : nous identifions ici un estimateur biaisé de σ² = p(1 - p) dont l'EQM est inférieure à celle de cet ESBVM.

    * Nous calculons ensuite l'ESBVM du paramètre p de la distribution géométrique. Ceci peut paraître superflu puisque nous calculerons peu après des ESBVM plus généraux relatifs à la distribution binomiale négative, dont la distribution géométrique n'est qu'un cas particulier. Nous verrons cependant qu'il n'est pas possible de faire l'économie de cet effort.

    * Nous identifierons sans difficulté l'ESBVM de la moyenne µ = k/p de la distribution binomiale négative avec, comme cas particulier celui de la moyenne de la distribution géométrique. Par contre, l'identification de l'ESBVM de p sera plus difficile, avec comme récompense la découverte des ESBVM non seulement de p, mais également des puissances entières p^r pour une certaine gamme de valeurs de r.

Bien que la distribution géométrique soit un cas particulier de la distribution binomiale négative, ce résultat ne permet pas de retrouver l'ESBVM du paramètre p de la distribution géométrique en raison de contraintes sur les valeurs de r : l'effort que nous avons consenti précédemment (voir plus haut) n'était donc pas inutile.

    * Nous calculerons enfin l'ESBVM de la variance de la distribution binomiale négative, un résultat qui s'applique également à la distribution géométrique comme cas particulier.

QUELQUES ESBVM

_______________________________________________________

Voir aussi :