Estimateurs  (Combinaison d')

Supposons qu'une quantité Q (p. ex. la moyenne m d'une distribution) doive être estimée, et que l'estimation soit conduite par deux équipes indépendantes, chacune utilisant son estimateur favori :

    * L'Equipe 1 utilise l'estimateur Q₁, qui produit le nombre Q^*₁, une estimation de Q. L'estimateur Q₁ est supposé sans biais.

    * L'Equipe 2  utilise l'estimateur Q₂, qui produit le nombre Q^*₂, une autre estimation de Q. L'estimateur Q₂ est également supposé sans biais.

Comment combiner ces deux estimations en une seule estimation améliorée Q^*_c de Q ? Par "améliorée", on entend :

    * Que l'espérance de Q^*_c, considérée comme variable aléatoire, est toujours égale à Q. Autrement dit, on attend que Q^*_c soit une réalisation d'un nouvel estimateur sans biais que nous appellerons Q_c.

    * Et que la variance ² de cet estimateur soit inférieure à la variance ₁² de Q₁ et la variance ₂² de Q₂. En fait, nous serons plus exigeants, et attendrons de Q_c qu'il ait la variance la plus faible possible.

 L'idée la plus simple est de définir Q^*_c comme étant la moyenne de Q^*₁ and Q^*₂.

Q^*_c = (Q^*₁ + Q^*₂)/2

ou de façon équivalente, de définir le nouvel estimateur Q_c de la façon suivante :

Q_c  = 1/2.(Q₁ + Q₂)

Cette idée simple n'est malheureusement pas très bonne. Q_c est effectivement sans biais, mais sa variance, bien que plus petite que la plus grande valeur ₁² et ₂², peut cependant être plus grande que la plus petite de ces deux valeurs. Ainsi défini, Q_c peut donc être un estimateur de Q plus mauvais que le meilleur de Q₁ et Q₂.

Une meilleure idée est de rechercher une combinaison linéaire plus générale de Q₁ and Q₂ ,

Q_c  = ₁.Q₁ + ₂.Q₂

en exigeant que :

    * Q_c soit sans biais,

    * et de variance minimale.
 

Nous montrons ici que la solution est :

et que la variance de Q_c est alors :

qui est clairement plus petite que ₁² et ₂².

 Donc si les variances ₁² et ₂² de Q₁ de Q₂ sont connues, la meilleure estimation possible de Q est :

Q^*_c = ₁.Q^*₁ + ₂ .Q^*₂

avec les valeurs de ₁ et de ₂ ci-dessus.

Attention : ceci ne veut pas dire que Q^*_c est plus proche de la vraie valeur de Q que Q^*₁ et Q^*₂ (on ne peut affirmer qu'il est plus proche de la valeur de Q que pour au plus un des  Q^*₁ ou Q^*₂, sans d'ailleurs savoir lequel). Le résultat précédent veut seulement dire que Q_c a une distribution plus étroite que celle de Q₁ et que celle de Q₂. En d'autres termes, Q^*_c est une meilleure estimation de la valeur de Q que ne le sont Q^*₁ et Q^*₂ (ou tout autre combinaison linéaire de Q^*₁ et Q^*₂), mais qu'il est possible que, par malchance, l'erreur ( Q^*_c - Q) soit supérieure à  ( Q^*_c - Q₁) ou bien ( Q^*_c - Q₂) (mais de toutes façons pas aux deux).

________________________________

Nous montrons ici que quand :

    * Q (la quantité à estimer) est la moyenne d'une distribution,

    * et que Q^*₁ and Q^*₂  sont les moyennes empiriques de deux échantillons de tailles différentes,

alors, Q_c est non seulement la meilleure combinaison linéaire de Q₁ and Q₂, mais est est le meilleur estimateur possible de Q.

________________________________

La question de la combinaison d'estimateurs indépendants est reliée à celle de la Régression Linéaire par Moindres Carrés Pondérés. L'expression de Q_c  peut s'écrire également :

Q_c = (₁².₂² / (₁² + ₂²)).[ Q₁/ ₁² + Q₂ / ₂²]

qui montre que le meilleur estimateur de Q est une combinaison linéaire de Q₁ et Q₂ dont les coefficients sont inversement proportionnels aux variances respectives des estimateurs. Rappelons que la Droite des Moindres Carrés Pondérés, qui est le meilleur estimateur de y (la variable dépendante), est obtenue en minimisant la somme des carrés des résidus pondérés, chaque résidu étant affecté d'un "poids" inversement proportionnel à la variance locale de y.

 ________________________________

L'animation suivante illustre le concept de "meilleure combinaison linéaire d'estimateurs indépendants".

L'animation propose :

    * Deux gaussiennes, qui représentent les estimateurs Q₁ et Q₂ (Note : il n'est cependant pas nécessaire que Q₁ et Q₂ soient gaussiens).

    * Ces courbes sont centrées sur des traits verticaux épais qui représentent la quantité Q à estimer.

    * Sous chacune des courbes se trouve un trait vertical fin représentant les estimations Q^*₁ et Q^*₂.

    * Le cadre inférieur montre :

        1) Un gaussienne rouge Q_c, combinaison linéaire des deux courbes précédentes. Les coefficients de la combinaison linéaire sont positifs et de somme égale à "1". Ils sont initialisés à "0,5", mais peuvent être modifiés manuellement grâce au curseur situé à droite des cadres, et intitulé "Lambda".

Sous la courbe se trouve un trait vertical fin de couleur jaune qui est Q^*_c, la combinaison linéaire courante de  Q^*₁ et Q^*₂.

        2) Une gaussienne noire représentant la combinaison linéaire optimale de Q₁ and Q₂.

 __________

* Changez la valeur de Lambda avec le curseur, et observez que l'écart-type (largeur) de la gaussienne rouge varie, mais n'est jamais inférieur à celui de la gaussienne noire. Il y a égalité des écarts-types pour une seule valeur de Lambda, et donc une seule position du curseur. Vous pouvez atteindre cette position automatiquement en cliquant sur le petit bouton "Best" situé sous le curseur.

* Notez que dans la position optimale, l'écart-type de la gaussienne rouge est inférieur à celui de Q₁ et à celui de Q₂.

* Quand est égal à "1", la courbe rouge est identique à Q₁. Elle est identique à Q₂ quand   est égal à "0".

* Changez les largeurs (variances) de Q₁ et Q₂ en faisant glisser leurs flancs droits avec votre souris. Observez les variations des gaussiennes rouge (combinaison courante) et noire (combinaison optimale).

* Cliquez sur "Go", et observez la construction progressive de la distribution de Q^*_c qui s'adapte progressivement à la gaussienne rouge.

____________________________________

Voir aussi: