Moindres Carrés (Droite des)

En Régression Linéaire Simple (RLS), le modèle est matérialisé par une droite, dite "Droite des Moindres Carrés". Cette droite est une représentation graphique condensée de la distribution des points dans le plan (x, y). Elle est utilisée par la suite pour prédire les valeurs de "y" pour de nouvelles valeurs de "x".
 

Le nom même de cette droite rend compte de la façon dont elle est déterminée. Pour toute droite D du plan :

    * On mesure la distance verticale entre un point de l'échantillon et la droite D,

    * On élève cette distance au carré,

    * On fait de même pour tous les points de l'échantillon,

    * et on additionne les résultats.

 

On montre qu'il existe une droite et une seule pour laquelle cette valeur est minimale : c'est la Droite des Moindres Carrés.

 

L'animation suivante illustre le concept de Droite des Moindres Carrés.

 

 

Le "Livre des Animations" sur votre ordinateur

 

 

 

Le nombre de points ne peut être modifié qu'en mode "Reset". Le Bruit ("Noise") est en unités arbitraires.
 

Utilisez les curseurs pour déplacer la droite "candidate" jusqu'à obtenir la valeur la plus faible possible dans l'affichage mobile.

Cette valeur est une version modifiée de la somme des carrés des distances des points à la droite :

    * Cette somme est d'abord divisée par le nombre de points, de façon à produire la valeur moyenne des carrés des distances des points à la droite.

    * Puis on prend la racine carrée de cette quantité, de façon à obtenir non pas le carré d'une distance, mais une distance, ce qui est plus parlant à l'imagination (c'est la même approche qui fait passer de la variance à l'Ecart-Type). C'est cette dernière quantité qui est affichée.

 

La quantité affichée ressemble donc à une "distance moyenne" des points à la droite, mais ce n'est pas la distance moyenne des points à la droite.

____________________


Pour un même échantillon, essayez plusieurs positions initiales de la droite. Vous vous convaincrez rapidement que vous arrivez toujours à la même droite finale : il n'existe qu'une seule droite telle que toute légère modification de la position de la droite provoque obligatoirement une remontée de la somme des carrés. Cette propriété est très importante, et est liée au fait que nous essayons de rendre compte de la distribution des points par une droite, ou plus généralement, à un modèle linéaire dans les paramètres..
Dans les situations plus complexes, où l'on cherche à rendre compte de la distribution des points par des formes plus variées, il peut arriver qu'il y ait plusieurs courbes différentes telles que toute légère perturbation d'une de ces courbes provoque une remontée de la somme des carrés. C'est le cas, par exemple, des Réseaux de Neurones.

 

 

 

La Droite des Moindres Carrés est identifiée par la méthode mathématique dite des "Moindres Carrés Ordinaires" (MCO). Elle possède des propriétés d'optimalité qui font de la Régression Linéaire Simple la méthode de modélisation la plus répandue.

Lorsque certaines des hypothèses de la RLS doivent être abandonnées au profit d'hypothèses plus générales, la Droite des Moindres Carrés peut, sous certaines conditions, être remplacée par la Droite des Moindres Carrés Pondérés (voir ici)

 

_______________________________________________________________

 

Voir aussi :

Estimation par Moindre Carrés

Régression Linéaire Simple

Moindres Carrés Pondérés

Téléchargez ce Glossaire