Rao-Blackwell  (Théorème de)

Le Théorème de Rao-Blackwell fournit une méthode permettant d'améliorer les performances d'un estimateur sans biais d'un paramètre (c.à.d. de réduire sa variance) pourvu que l'on dispose également d'un statistique exhaustive de ce paramètre.

Idée directrice du Théorème de Rao-Blackwell

Soit q^* cet estimateur sans biais. Suivant une ligne de pensée informelle mais très commune en estimation, nous dirons que si cet estimateur n'est pas de variance minimale, c'est peut-être parce qu'il ne contient pas toute l'information utile à l'estimation du paramètre q et pourtant disponible dans l'échantillon.

Par ailleurs, si T est une statistique exhaustive pour q, elle contient "par définition" toute l'information disponible dans l'échantillon utile pour l'estimation de q. Mais une statistique exhaustive n'est pas forcément sans biais ni, a fortiori, de variance minimale.

On peut donc envisager de "combiner" q^* et T dans un nouvel estimateur U qui retiendrait :

    * De q^*, l'absence de biais,

    * Et de T  l'information sur q qui manque à q^* grâce à un transfert de cette information dans le nouvel estimateur.

Nous obtiendrions ainsi un estimateur sans biais de q qui serait meilleur (variance plus faible), ou tout au moins pas plus mauvais que q^*.

-----

C'est cette combinaison qu'identifie le Théorème de Rao-Blackwell.

Le Théorème de Rao-Blackwell

Soient donc :

    * q^* un estimateur sans biais du paramètre q.

    * T une statistique exhaustive pour q.

Alors la variable aléatoire :

    1) Est une statistique, c'est à dire une fonction de l'échantillon qui dépend pas de q.

    2) Son espérance est égale à q , et U est donc un estimateur sans biais de q.

    3) Sa variance est inférieure ou égale à celle de q^*.

    4) De plus, si sa variance est égale à celle de q^*, alors il existe une relation fonctionnelle entre q^* et T.

Rao-Blackwell et Variance Minimale

Le théorème de Blackwell admet le corollaire suivant, que nous démontrerons :

    * Si q admet une statistique exhaustive T,

    * Alors l'Estimateur sans Biais de Variance Minimale de q (s'il existe) est une fonction de T.

La "Blackwellisation"

La combinaison d'une statistique exhaustive et d'un estimateur sans biais dans le but d'améliorer ce dernier est parfois appelée "blackwellisation" de l'estimateur. Elle est mise en œuvre lorsque l'on dispose d'un estimateur sans biais dont la variance est par exemple supérieure à la borne de Cramér-Rao, et qu'il est donc imaginable de pouvoir améliorer cet estimateur.

Cependant :

    * La mise en pratique du théorème de Rao-Blackwell conduit souvent à des calculs assez lourds, comme nous le verrons dans le Tutoriel ci-dessous.

    * Le théorème ne dit rien sur la qualité finale de l'estimateur, et en particulier ne garantit pas qu'il soit le meilleur estimateur sans biais possible (Estimateur sans biais de Variance Minimale).

_______________________________________________________________

Dans ce Tutoriel, nous démontrons le Théorème de Rao-Blackwell.

Dans une première partie, nous donnons un raisonnement intuitif permettant d'imaginer cette combinaison particulière de l'estimateur sans biais et d'une statistique exhaustive, puis procédons à la démonstration proprement dite.

L'introduction d'une statistique exhaustive, qu'un raisonnement heuristique nous avait suggérée à des fins de "compléments d'information" sur le paramètre, s'avèrera en fait être essentielle pour contourner une difficulté inattendue : l'espérance d'un estimateur conditionnellement à une autre statistique n'est en général pas une statistique (nous donnerons un contre-exemple), à moins que celle-ci soit exhaustive.

THEOREME DE RAO-BLACKWELL

_____________________________________________________________________

Dans ce Tutoriel, nous mettons en œuvre le Théorème de Rao-Blackwell sur un exemple.

Le problème est le suivant :

    * Une v.a. X suit la distribution de Poisson de paramètre l inconnu. Nous tirons un échantillon {x₁, x₂, ..., x_n} de cette distribution et voudrions estimer la        probabilité pour que X = 0.

Nous serons amenés à rejeter un premier estimateur "naturel" en raison de son biais et des difficultés à calculer son EQM.

Nous identifierons alors un second estimateur qui lui sera sans biais, et que nous parviendrons (avec quelque difficulté) à améliorer par une procédure de "blackwellisation".

Les calculs sont un peu lourds, mais nos efforts seront récompensés par la découverte d'un bon estimateur sans biais qu'il aurait probablement été impossible d'identifier par une méthode plus directe.

PREMIER EXEMPLE DE "BLACKWELLISATION"

_____________________________________________

Nous traitons maintenant un deuxième exemple de blackwellisation.

Le problème est la suivant :

    * Une v.a. X suit une distribution exponentielle de paramètre l inconnu. Nous tirons un échantillon {x₁, x₂, ..., x_n} de cette distribution et voudrions        estimer la probabilité pour que X > t.

Il s'agit donc d'un problème d'estimation de durée de vie.

Cette Table des Matières montre une similarité dans les approches de ce problème et du problème précédent. Nous commentons cette similarité ci-dessous.

DEUXIEME EXEMPLE DE "BLACKWELLISATION"

Ce problème est légèrement plus complexe que le précédent, et conduit à un estimateur totalement non intuitif dont, à notre connaissance, on ne sait pas calculer la variance.

______________________________________________________________________

Ces deux problèmes appartiennent à une même classe de problèmes auxquels le Théorème de Rao-Blackwell apporte des solutions puissantes et originales. Ils ont tous la forme suivante :

    * On considère une distribution de probabilité p(x, q).

    * On dispose d'un échantillon {x₁, x₂, ..., x_n}.

    * On veut estimer une quantité du type :

P{a  X  b}

Cette probabilité peut s'exprimer comme une fonction f(a, b, q). On dispose en général de "bons" estimateurs sans biais de q, et il est donc naturel de chercher à estimer la probabilité P en remplaçant dans f(.) q par son estimateur.

Malheureusement :

    * L'estimateur ainsi trouvé est toujours biaisé.

    * L'étude de ses propriétés (bias, variance, EQM) conduit à des calculs inextricables.

----

Une deuxième approche consiste alors à estimer P simplement par la proportion des observations dans le segment [a b]. Cet estimateur "naïf" est toujours sans biais, mais comme il ne prend pas en compte la nature de la distribution, on peut penser qu'il est assez "faible" (forte variance) et peut être amélioré. C'est ce que fait le Théorème de Rao-Blackwell pour peu que l'on dispose d'une statistique exhaustive pour q (car cette statistique s'avère être alors également exhaustive pour P).

Cette méthode s'applique avec succès à beaucoup de distributions classiques. Les estimateurs "améliorés" ainsi trouvés sont toujours non intuitifs, parfois même surprenants, et le plus souvent on ne sait pas calculer leurs variances. Mais le Théorème de Rao-Blackwell affirme que cette variance est cependant inférieure à celle de l'estimateur naïf.

______________________________________________________

Voir aussi :