Moindres Carrés (Droite des)
En Régression Linéaire Simple (RLS),
le modèle est matérialisé par une droite, dite "Droite des Moindres
Carrés". Cette droite est une représentation graphique condensée
de la distribution des points dans le plan (x, y). Elle est utilisée
par la suite pour prédire les valeurs de "y" pour de nouvelles
valeurs de "x".
Le nom même de cette droite rend compte de la façon dont elle est déterminée. Pour toute droite D du plan :
* On mesure la distance verticale entre un point de l'échantillon et la droite D,
* On élève cette distance au carré,
* On fait de même pour tous les points de l'échantillon,
* et on additionne les résultats.
On montre qu'il existe une droite et une seule pour laquelle cette valeur est minimale : c'est la Droite des Moindres Carrés.
L'animation suivante illustre le concept de Droite des Moindres Carrés.
|
Le nombre de points ne peut être modifié qu'en mode
"Reset". Le Bruit ("Noise") est en unités arbitraires. Utilisez les curseurs pour déplacer la droite "candidate" jusqu'à obtenir la valeur la plus faible possible dans l'affichage mobile. Cette valeur est une version modifiée de la somme des carrés des distances des points à la droite : * Cette somme est d'abord divisée par le nombre de points, de façon à produire la valeur moyenne des carrés des distances des points à la droite. * Puis on prend la racine carrée de cette quantité, de façon à obtenir non pas le carré d'une distance, mais une distance, ce qui est plus parlant à l'imagination (c'est la même approche qui fait passer de la variance à l'Ecart-Type). C'est cette dernière quantité qui est affichée.
La quantité affichée ressemble donc à une "distance moyenne" des points à la droite, mais ce n'est pas la distance moyenne des points à la droite. ____________________
|
La Droite des Moindres Carrés est identifiée par la méthode mathématique dite des "Moindres Carrés Ordinaires" (MCO). Elle possède des propriétés d'optimalité qui font de la Régression Linéaire Simple la méthode de modélisation la plus répandue.
Lorsque certaines des hypothèses de la RLS doivent être abandonnées au profit d'hypothèses plus générales, la Droite des Moindres Carrés peut, sous certaines conditions, être remplacée par la Droite des Moindres Carrés Pondérés (voir ici)
_______________________________________________________________
Voir aussi :