Erreur Quadratique Moyenne

Soient :

• X une variable aléatoire.
• c un nombre.

Notons e la différence entre X et c :

e  = X - c

e est une v.a..

-----

Il existe deux situations où e peut être interprété comme une erreur.

Erreur Quadratique Moyenne d'un estimateur

c est la valeur (inconnue) d'un paramètre d'une distribution, et X est un estimateur de c. Dans ce contexte, il est habituel de désigner l'estimateur par q^* (au lieu de X ), et la valeur du paramètre par q₀ (au lieu de c). e est l'erreur d'estimation de l'estimateur q^*.

Un bon estimateur est proche de q₀ en moyenne. Cette proximité est mesurée par la moyenne du carré de l'erreur d'estimation, que l'on appelle Erreur Quadratique Moyenne (EQM) de l'estimateur q^* :

EQM = E[(q^* - q₀)²]

Dans le Tutoriel, nous montrons que :
 

Cette expression explique pourquoi un estimateur sans biais n'est pas toujours systématiquement préférable à un estimateur biaisé si celui-ci a une faible variance. Par exemple, nous montrons ici que pour une distribution normale, l'estimateur sans biais classique de la variance a une EQM plus élevée que l'estimateur "non corrigé", et donc biasé.

En pratique, cependant, on considère surtout les estimateurs sans biais parce qu'ils sont plus faciles à identifier que les estimateurs d'EQM minimale, et qu'ils ont de "bonnes" propriétés mathématiques.

-----

Néanmoins, il est des circonstances où l'analyste va imposer un biais à un estimateur naturellement sans biais dans le but de réduire sa variance dans de telles proportions que son EQM s'en trouvera réduite. Un exemple de tel biais forcé est la Régression Ridge, où un biais est imposé aux paramètres d'un modèle de Régression Linéaire Multiple dans le but de réduire leur EQM en cas de colinéarité importante des variables explicatives. L'EQM des prédictions du modèle s'en trouvera également réduite.

Estimer la valeur d'une variable aléatoire

Le reste de cette page aborde la seconde circonstance où e peut être interprété comme une erreur.

Variable aléatoire unique

            X est une v.a., et le problème est de deviner ("estimer") la valeur d'une réalisation de X. Cette situation est en quelque sorte duale de la précédente :

• Au lieu d'estimer un nombre fixe q₀ par une v.a. q ^*,
• On "estime" une v.a. X par un nombre fixe c.

La qualité de cette estimation sera à nouveau mesurée par la moyenne du carré de l'erreur d'estimation, aussi appelée Erreur Quadratique Moyenne (EQM) de l'estimation c :

EQM = E[(X - c)²]

La question est alors d'identifier la valeur de c qui minimise l'EQM. Dans le Tutoriel, nous donnons deux démonstrations de ce que cette valeur optimale est :

En mots : "Si vous devez deviner la valeur de la prochaine réalisation de X, votre meilleur choix (au sens de l'EQM) est l'espérance de X".

L'EQM est alors appelé Erreur Quadratique Moyenne Minimale (EQMM), qui est clairement égale à la variance de X.

Conditionnement sur une deuxième variable aléatoire

            * Réalisation unique

                Nous abordons maintenant une question un peu plus difficile. Le problème est encore d'estimer la valeur d'une réalisation de X, mais nous disposons cette fois d'une information supplémentaire, à savoir la valeur y₀ de la réalisation d'une deuxième v.a. Y.

Si X et Y sont indépendantes, il est clair que cette information n'est d'aucune utilité. Mais si ces deux variables sont liées, il est alors possible d'améliorer (de façon probabiliste) notre estimation initiale c = E[X] par une nouvelle estimation c ', dont nous montrerons qu'elle est donnée par la relation :
 

En mots : "La meilleure estimation de X est maintenant l'espérance de X conditionnellement à la valeur observée de Y ".

            * Réalisations multiples

                Si nous tirons un grand nombre de paires {X, Y}, c' n'est plus un nombre, mais devient une variable aléatoire, que nous appelons X ^*. Comme chaque y₀ détermine c' de façon unique, X ^* est une fonction de Y, que nous notons X ^*(Y). Nous voulons trouver X ^*(Y) telle que :

EQM = E[(X - X ^*(Y))²]

soit minimale.

Le résultat intuitif est :
 

Nous en donnons deux démonstrations dans le Tutoriel.

Remarquez que nous estimons maintenant une v.a. X par une autre v.a. X ^*.

Propriétés de l'estimateur d'EQMM

Quelles sont les propriétés de la v.a. X ^* ? Dans le Tutoriel, nous montrons que :
 

    1) X ^* est un estimateur sans biais de E[X]. En d'autres termes, X and X ^* ont la même espérance :

E[X ^*] = E[X]

    2) La moyenne de l'erreur e = (X ^* - X)  est nulle :

E[e] = 0

    3) L'estimateur X ^* et l'erreur e sont orthogonaux :

E[X ^*.e] = 0

Nous montrerons que ceci implique que X ^* et e sont décorrélées.
 

    4) Decomposition de la variance de X :

Nous montrerons que la variance de X est la somme de la variance de l'estimateur X ^* et de la variance de l'erreur e  :

Var(X) = Var(X ^*)  + Var(e)

Notez que la variance de l'estimateur d'EQMM est toujours inférieure à la variance de la v.a. estimée : l'estimatateur X^* est toujours optimiste.

-----

Nous encourageons le lecteur à imaginer une représentation géométrique de ces résultats en s'inspirant de la représentation géométrique de la Régression Linéaire.

Régression

Bien que ces considérations probabilistes semblent fort éloignées des préoccupations de l'analyste faisant de la régression, elles sont en fait au cœur du problème.

La régression aborde la question de prédire la valeur d'une variable Y connaissant la valeur x prise par la variable indépendante X. Les résultats précédents disent que la meilleure prédiction possible (au sens de l'EQM) est donnée par la fonction :

f(x) = E[Y | X = x]

Cette expression est la définition de la fonction de régression de Y sur X.

L'analyste construit une fonction de régression empirique f ^*(x) à partir de l'échantillon (et, habituellement, d'hypothèses supplémentaires portant sur la distribution conjointe g(x, y)).

Notez que les rôles de X et Y sont ici inversés par rapport aux paragraphes précédents.

La question de l'EQM de la prédiction d'un modèle de Régression est illustrée par une animation interactive que vous trouverez ici. .

____________________________________________________________ 

• La première section du Tutoriel est une démonstration du résultat relatif à l'EQM de l'estimateur d'un paramètre.
• Les sections suivantes portent sur l'estimation d'une v.a.
• Nous donnons deux démonstrations du fait que E [X] est la meilleure estimation de X au sens de l'EQM.
• Puis nous traitons le même problème, mais en présence d'une deuxième v.a. Y.
• La dernière section démontre les résultats énoncés ci-dessus relatifs aux propriétés de l'estimateur d'EQMM.

EREEUR QUADRATIQUE MOYENNE DES ESTIMATEURS

 _________________________________________________

Voir aussi :