Rao-Blackwell  (Théorème de)

Soit p(x; θ) une distribution de probabilité. Le Théorème de Rao-Blackwell fournit une méthode permettant d'améliorer (c.à.d. de réduire la variance) d'un estimateur sans biais du paramètre θ (ou de toute fonction g(θ) de ce paramètre) pourvu que l'on dispose également d'un statistique exhaustive pour θ.

Idée directrice du Théorème de Rao-Blackwell

Soit θ^* cet estimateur sans biais de g(θ).

Suivant une ligne de pensée informelle mais très commune en théorie de l'estimation, nous dirons que si cet estimateur n'est pas de variance minimale, c'est parce qu'il ne contient pas toute l'information utile à l'estimation du paramètre θ, information pourtant disponible dans l'échantillon.

Par ailleurs, si T est une statistique exhaustive pour θ, elle contient "par définition" toute l'information nécessaire à l'estimation de θ et disponible dans l'échantillon. Mais une statistique exhaustive n'est pas forcément sans biais ni, a fortiori, de variance minimale.

On peut donc envisager de "combiner" θ^* et T dans un nouvel estimateur U qui retiendrait :

    * De θ^*, l'absence de biais,

    * Et de T  au moins une partie de l'information sur θ qui manque à θ^* grâce à un transfert de cette information dans le nouvel estimateur.

Nous obtiendrions ainsi un estimateur sans biais de g(θ) qui serait meilleur (variance plus faible), ou tout au moins pas plus mauvais que θ^*.

-----

C'est cette combinaison qu'identifie le Théorème de Rao-Blackwell.

Le Théorème de Rao-Blackwell

Soient donc :

    * θ^* un estimateur sans biais de g(θ).

    * T une statistique exhaustive pour θ.

Alors la variable aléatoire :

    1) Est une statistique, c'est à dire une fonction de l'échantillon qui ne dépend pas de θ.

    2) Son espérance est égale à g(θ), et U est donc un estimateur sans biais de g(θ).

    3) Sa variance est inférieure ou égale à celle de θ^*.

    4) De plus, si sa variance est égale à celle de θ^*, alors il existe une relation fonctionnelle entre θ^* et T.

La "Blackwellisation" d'un estimateur sans biais

La combinaison d'une statistique exhaustive et d'un estimateur sans biais dans le but d'améliorer ce dernier est parfois appelée "blackwellisation" de l'estimateur. Elle est mise en œuvre lorsque l'on dispose d'un estimateur sans biais dont la variance est par exemple supérieure à la borne de Cramér-Rao, et qu'il est donc imaginable de pouvoir améliorer.

Cependant :

    * La mise en pratique du théorème de Rao-Blackwell conduit en général à des calculs assez lourds (comme c'est souvent le cas lorsque sont impliquées des espérances conditionnelles) comme nous le verrons dans le Tutoriel ci-dessous.

    * Le théorème ne dit rien sur la qualité finale de l'estimateur, et en particulier ne garantit pas qu'il soit le meilleur estimateur sans biais possible (ESBVM), sauf dans le cas où la statistique exhaustive servant à la blackwellisation est également complète (Théorème de Lehmann-Scheffé).

_______________________________________________________________

Dans ce Tutoriel, nous démontrons le Théorème de Rao-Blackwell.

Dans une première partie, nous présentons un raisonnement intuitif permettant d'imaginer cette combinaison particulière de l'estimateur sans biais et d'une statistique exhaustive, puis procédons à la démonstration proprement dite.

L'introduction d'une statistique exhaustive, qu'un raisonnement heuristique nous avait suggérée à des fins de "compléments d'information" sur le paramètre, s'avèrera en fait être essentielle pour contourner une difficulté inattendue : l'espérance d'un estimateur sans biais conditionnellement à une autre statistique n'est en général pas une statistique (nous donnerons un contre-exemple), à moins que la statistique de conditionnement soit exhaustive.

THEOREME DE RAO-BLACKWELL

_____________________________________________________________________

Dans ce Tutoriel, nous mettons en œuvre le théorème de Rao-Blackwell sur un exemple.

Le problème est le suivant :

    * Une v.a. X suit la distribution de Poisson de paramètre λ inconnu. Nous tirons un échantillon {x₁, x₂, ..., x_n} de cette distribution et voudrions estimer la probabilité pour que X = 0.

La fonction de masse de la distribution de Poisson étant

nous voulons en fait estimer la quantité e^-λ.

Nous serons amenés à rejeter un premier estimateur "naturel" en raison de son biais et des difficultés à calculer son EQM.

Nous identifierons alors un second estimateur qui lui sera sans biais, et que nous parviendrons (avec quelque difficulté) à améliorer par une procédure de "blackwellisation".

Les calculs sont un peu lourds, mais nos efforts seront récompensés par la découverte d'un bon estimateur sans biais qu'il aurait probablement été impossible d'identifier par une méthode plus directe.

PREMIER EXEMPLE DE "BLACKWELLISATION"

Plus tard, nous réaliserons que nos désirs ont été comblés au delà de toute espérance. Nous cherchions simplement à améliorer un estimateur sans biais mais médiocre, mais l'estimateur amélioré obtenu s'avèrera être en fait le meilleur estimateur sans biais possible (ESBVM) de e^-λ. Ce succès vient de ce que la statistique exhaustive utilisée dans la procédure de blackwellisation est également complète : le théorème de Lehmann-Scheffé garantit alors que l'estimateur final est l'ESBMV de e^-λ.

L'ESBVM de e^-λ  est également obtenu :
   1) Ici par une méthode différente (ESBVM de toute fonction analytique du paramètre λ).
   2) Ici comme application du Corollaire du théorème de Lehmann-Scheffé.

_____________________________________________

Nous traitons maintenant un deuxième exemple de blackwellisation.

Le problème est la suivant :

    * Une v.a. X suit une distribution exponentielle de paramètre λ inconnu. Nous tirons un échantillon {x₁, x₂, ..., x_n} de cette distribution et voudrions        estimer la probabilité pour que X > t.

Il s'agit donc d'un problème d'estimation de durée de vie.

La fonction de répartition de la distribution exponentielle Exp(λ) étant F(x) = 1 - e^-λx, nous cherchons en fait à estimer e^-λt pour toute valeur de t.

Ce problème est sensiblement plus complexe que le précédent, et conduit à un estimateur totalement non intuitif dont, à notre connaissance, on ne sait pas calculer la variance. Nous montrerons cependant que, comme dans le Tutoriel précédent, il est l'Estimateur Sans Biais de Variance Minimale (ESBVM) de

P{X > t}= e^-λt.

Cette Table des Matières montre une similarité dans les approches de ce problème et du problème précédent. Nous commentons cette similarité ci-dessous.

DEUXIEME EXEMPLE DE "BLACKWELLISATION"

______________________________________________________________________

Ces deux problèmes appartiennent à une même classe de problèmes auxquels le Théorème de Rao-Blackwell apporte des solutions puissantes et originales. Ils ont tous la forme suivante :

    * On considère une distribution de probabilité p(x; θ).

    * On dispose d'un échantillon {x₁, x₂, ..., x_n}.

    * On veut estimer une quantité du type :

P{a ≤ X ≤ b}

Cette probabilité peut s'exprimer comme une fonction f(a, b, θ). On dispose en général de "bons" estimateurs sans biais de θ, et il est donc naturel de chercher à estimer la probabilité P{a ≤ X ≤ b} en remplaçant dans f(.) θ par son estimateur.

Malheureusement :

    * L'estimateur ainsi trouvé est toujours biaisé.

    * L'étude de ses propriétés (biais, variance, EQM) conduit à des calculs inextricables.

----

Une deuxième approche consiste alors à estimer P{a ≤ X ≤ b} simplement par la proportion des observations qui sont dans le segment [a b]. Cet estimateur "naïf" est toujours sans biais, mais comme il ne prend pas en compte la nature de la distribution, on peut penser qu'il est assez mauvais (forte variance) et peut être amélioré. C'est ce que fait le Théorème de Rao-Blackwell pour peu que l'on dispose d'une statistique exhaustive pour θ (car cette statistique est alors également exhaustive pour P{a ≤ X ≤ b}, qui est une fonction de θ).

Cette méthode s'applique avec succès à beaucoup de distributions classiques. Les estimateurs "améliorés" ainsi trouvés sont toujours non intuitifs, parfois même surprenants, et le plus souvent on ne sait pas calculer leurs variances. Mais le Théorème de Rao-Blackwell affirme cependant que cette variance est inférieure à celle de l'estimateur naïf.

______________________________________________________

Voir aussi :