|
|
|
|
|
|
Biais
D'une façon générale, le terme "biais" désigne un écart systématique (non aléatoire) entre une grandeur et la prédiction de cette grandeur.
Un estimateur θ* d'un paramètre θ est dit "sans biais", ou "non biaisé", si son espérance est égale à la valeur du paramètre :
E[θ*] = θ
Autrement dit, la valeur d'un estimateur sans biais est "en moyenne" égale à la valeur à estimer.
Si l'espérance de l'estimateur n'est pas égale à la valeur du paramètre, l'estimateur est dit "biaisé", et son biais est, par définition, la différence entre l'espérance de l'estimateur et la vraie valeur du paramètre :
Biais = E[θ*] - θ
La valeur du biais dépend, en général, de la valeur du paramètre.
L'absence de biais est évidemment une qualité séduisante pour un estimateur, mais elle n'est pas fondamentale. La qualité d'un estimateur, pour une taille d'échantillon donnée, se mesure plutôt par la valeur moyenne du carré de son écart à la valeur à estimer, appelée Erreur Quadratique Moyenne (EQM) :
EQM = E[(θ* - θ)²]
On montre que :
EQM = Var(θ*) + Biais(θ*)²
et il est alors tout à fait possible qu'un léger biais soit plus que compensé par une faible variance (voir par exemple Régression Ridge, ainsi que l'animation sur le compromis biais-variance).
De plus, il est parfois possible de corriger le biais d'un estimateur biaisé. L'exemple le plus classique est celui de l'estimation d'une variance :
* L'estimateur issu de la méthode des moments :
s² =
1/n.Σi
(xi - 
)²
avec
= 1/n.Σixi
est biaisé :
* Mais l'estimateur "corrigé" :
S ² =
1/(n - 1).Σi
(xi - )²
est, lui, sans biais (image inférieure de l'illustration ci-dessus).
L'absence de biais facilite grandement l'étude des propriétés d'un estimateur en raison du fait que le biais d'un estimateur convergent mais biaisé peut dépendre de façon complexe de la valeur du paramètre. Les estimateurs sans biais ont donc été étudiés en profondeur.
En particulier, il est fréquent qu'un paramètre admette plusieurs, voire une infinité d'estimateurs sans biais. Par exemple :
* Pour la distribution normale N(µ, σ²) :
- La moyenne empirique, et
- La médiane empirique,
sont toutes deux des estimateurs sans biais de la moyenne µ de la distribution.
* Pour la distribution uniforme dans [0, θ] :
- Le double de la médiane empirique, et
- [(n + 1)/n].x(n) , où x(n) est l'observation la plus "à droite" de l'échantillon de taille n,
sont tous deux des estimateurs sans biais de θ.
De tous les estimateurs sans biais de θ, il convient d'utiliser celui qui a la plus faible variance. On l'appelle Estimateur Sans Biais de Variance Minimale (ESBVM) de θ, et nous le noterons θ*M.
-----
Dans le Tutoriel ci-dessous, nous établissons deux propriétés importantes d'un ESBVM :
|
1) Un tel estimateur est unique : tout autre estimateur sans biais de θ a une variance strictement supérieure à celle de θ*M.
2) Un "Estimateur sans biais de 0" est, comme sont nom l'indique, une fonction f(x) de l'échantillon dont l'espérance est égale à 0 pour toute valeur de θ. Si l'on ajoute à un estimateur sans biais de θ un estimateur sans biais de 0, le nouvel estimateur ainsi obtenu est évidemment lui aussi un estimateur sans biais de θ. On peut donc s'attendre à ce que les estimateurs sans biais de 0 jouent un rôle important dans la caractérisation des estimateurs sans biais. De fait, nous montrerons qu'une condition nécessaire et suffisante pour qu'un estimateur sans biais de θ soit de Variance Minimale est qu'il soit décorrélé avec tout estimateur sans biais de 0.
|
Quelle est la plus petite variance que l'on puisse espérer de la part d'un estimateur sans biais ?
Dans de nombreux cas, on peut établir une borne inférieure à la variance d'un estimateur sans biais. Cette borne est donnée par l'inégalité de Cramér-Rao, qui est détaillée ici. Lorsque la variance d'un estimateur sans biais est égale à la borne de Cramér-Rao, on dit que cet estimateur est "efficace".
Mais un Estimateur Sans Biais de Variance Minimale n'est pas nécessairement efficace, comme le montre un exemple exposé ici.
Si un estimateur sans biais de θ n'est pas de variance minimale, il est possible de l'améliorer (c.à.d. de réduire sa variance) si l'on dispose également d'une statistique exhaustive pour θ. Cette amélioration (aussi appelée "blackwellisation") fait l'objet du théorème de Rao-Blackwell.
Le Théorème ne garantit cependant pas, dans le cas général, que le nouvel estimateur "amélioré" soit de variance minimale.
C'est cependant le cas lorsque la statistique exhaustive utilisée pour la blackwellisation d'un estimateur sans biais est également complète. Le Théorème de Lehmann-Scheffé garantit en effet que la blackwellisation d'un estimateur sans biais par une statistique complète est un ESBVM.
En chaque point de l'espace des variables, un modèle est amené à faire une prédiction (p.ex. valeur de la variable à expliquer dans le cas des modèles prédictifs). Le modèle ajusté dépendant de l'échantillon, cette prédiction est une variable aléatoire, qui est utilisée comme estimateur de la grandeur dont on cherche à prédire la valeur.
Cet estimateur peut être :
* Sans biais (voir par exemple la Régression Linéaire Simple sous les conditions standard).
* Mais peut également être biaisé (voir Régression Ridge, ainsi que la première partie de l'animation sur le compromis biais-variance).
On peut également considérer la moyenne du biais sur l'espace des variables explicatives, pondérée par la densité de probabilité conjointe de ces variables. Cette quantité permet de juger globalement du biais du modèle, c'est à dire de sa capacité à épouser la forme de la partie déterministe du processus ayant généré les données (image inférieure de l'illustration ci-dessous).
Le lecteur consultera utilement la seconde partie de l'animation sur le compromis biais-variance
____________________________________________________________________
|
Tutoriel |
Dans ce Tutoriel, nous démontrons deux propriétés importantes des Estimateurs sans biais de Variance Minimale :
* Un tel estimateur, lorsqu'il existe, est unique.
* Un Estimateur sans biais est de Variance Minimale si et seulement si il est décorrélé avec tout estimateur sans biais de 0.
ESTIMATEURS SANS BIAIS DE VARIANCE MINIMALE
|
Unicité d'un Estimateur sans biais de Variance Minimale Décorrélation avec tout estimateur sans biais de 0 La condition est nécessaire La condition est suffisante |
||
|
TUTORIEL |
|
|
____________________________________________________
Voir aussi:
|
|
|
|
Téléchargez ce Glossaire |
|
|
|
|
|
