Gauss-Markov  (Théorème de)

En Régression Linéaire (Simple ou Multiple), les paramètres du modèle sont le plus souvent calculés par la méthode des Moindres Carrés. L'intérêt principal de cette méthode est sa simplicité mathématique qui permet d'établir facilement les propriétés statistiques des paramètres estimés, et en particulier leurs biais (nuls) et l'expression de leur matrice de covariance. Cependant, il n'y a aucune raison a priori de penser que ces estimateurs soient particulièrement bons (faible Erreur Quadratique Moyenne des prédictions du modèle).

Le Théorème de Gauss-Markov vient atténuer quelque peu notre inquiétude sur la variance de l'estimateur des Moindres Carrés du vecteur des paramètres. Il affirme en effet que, de tous les estimateurs possibles des paramètres qui sont à la fois :

    * Des fonctions linéaires des observations,

    * Et sans biais,

l'estimateur des Moindres Carrés est celui qui a la plus faible variance.

Plus précisément, nous montrerons que si :

    * β^* est le vecteur des paramètres estimé par la méthode des Moindres Carrés,

    * β⁺ est un vecteur de paramètres obtenu par une transformation linéaire quelconque du vecteur des observations, mais sans biais,

alors la matrice de covariance du vecteur β⁺ (soit Var(β⁺)) est obtenue en ajoutant à la matrice de covariance de β^* une matrice semi-définie positive que nous calculerons :

Nous en déduirons :

    1) Que les variances individuelles des composantes de β^* sont inférieures ou égales aux variances des composantes correspondantes de β ⁺.

    2) Que les valeurs ajustées du modèle, ainsi que ses prédictions, ont des Erreurs Quadratiques Moyennes (EQM) plus petites en utilisant le vecteur de paramètres β^* qu'en utilisant le vecteur de paramètres β ⁺.

_____________________________________________________

Dans ce Tutoriel, nous donnons deux démonstrations différentes du théorème de Gauss-Markov tel qu'il est décrit ci-dessus.

Nous déduirons de ce résultat que le vecteur des paramètres estimés par la méthode des Moindres Carrés est le meilleur (au sens de la variance des paramètres et de l'EQM des prédictions du modèle) parmi les vecteurs sans biais obtenus par une transformation linéaire quelconque des observations.

THEOREME DE GAUSS-MARKOV

 _____________________________________________________

Voir aussi: