Ridge  (Régression)

Régression Linéaire Multiple et colinéarité

La Régression Linéaire Multiple classique est très sensible à la quasi-colinéarité des variables explicatives : celle-ci entraîne une instabilité des valeurs des paramètres du modèle (forte variance) et une perte de leur interprétabilité. Sur le plan analytique, cette quasi-colinéarité provoque un mauvais conditionnement de la matrice X'X, où X est la matrice des données : son déterminant est presque nul, et l'inversion de la matrice provoque des difficultés de calcul numérique rendant le résultat incertain.

Dans le cas de colinéarité complète (au moins une variable est une combinaison linéaire exacte des autres variables), le calcul des paramètres du modèle devient impossible.

Le même phénomène se produit lorsqu'il y a moins d'observations que de paramètres à estimer, une situation relativement fréquente : par exemple, un spectre est couramment décrit par la liste des intensités lumineuses mesurées à quelques centaines de longueurs d'onde différentes (les variables), alors que l'analyste peut n'avoir à sa disposition que quelques dizaines de spectres (les observations).

-----

Pour le praticien, la quasi-colinéarité de certains des prédicteurs entraine une grande variance (incertitude) des prédictions, rendant celles-ci inutilisables.

La Régression Ridge

Le Régression Ridge est une variante de la Régression Linéaire Multiple dont l'objectif est de de contourner l'obstacle de la colinéarité entre variables explicatives. Elle atteint ce résultat en renonçant à la méthode des Moindres Carrés (MC) pour estimer les paramètres du modèle, et en modifiant la matrice X'X pour rendre à son déterminant une valeur appréciable.

Ce faisant, elle introduit un biais sur les estimations des paramètres (alors que les paramètres obtenus par MC sont non biaisés). Ce léger inconvénient est plus que compensé par la réduction de la variance des paramètres, et même par la réduction de leur Erreur Quadratique Moyenne (EQM). Ceci est une illustration du fait qu'un estimateur biaisé mais de faible variance peut être plus performant qu'un estimateur sans biais mais de forte variance.

De plus, les erreurs de prédiction de la Régression Ridge sont plus faibles que celles de la Régression classique en cas de quasi-colinéarité :  ces prédictions sont maintenant entachées d'un biais, mais leur variance est fortement réduite, conduisant à une réduction de l'EQM. Ainsi, la Régression Ridge s'inscrit dans le cadre du "compromis biais-variance".

Paramètre Ridge

Bien entendu, ces améliorations ont un prix :

• Un paramètre supplémentaire doit être introduit (le paramètre "ridge"). Il contrôle le degré dont la Régression Ridge s'éloigne de la Régression des MC.
  La valeur qui lui est affectée est définie lar l'analyste. Si cette valeur est trop petite, la Régression Ridge est trop semblable à la Régression MC, et ne peut donc lutter efficacement contre la colinéarité. Mais si elle est trop grande, le biais introduit sur les paramètres du modèle est trop important, et les EQM des paramètres et des prédictions augmentent.
  Il y a donc une valeur optimale du paramètre ridge, que la théorie seule ne peut déterminer efficacement. Cette valeur sera le plus souvent estimée par une suite d'essais et d'erreur par validation croisée.
• Les résultats de la Régression MC sur les intervalles de confiance et tests portant sur les paramètres et sur les prédictions du modèle sont perdus et sont, au mieux, remplacés par des résultats complexes et approximatifs.

Néanmoins, la Régression Ridge est bien plus qu'une méthode désespérée de sauvetage de la Régression Linéaire Multiple en cas de colinéarité approchée ou exacte des variables explicatives. C'est une technique majeure de régression qui a largement prouvé son utilité dans les situations de colinéarité des variables explicatives, une situation malheureusement très fréquente.

______________________________________

Nous commençons par expliquer en quoi la colinéarité des variables explicatives est une circonstance très défavorable pour la Régression Linéaire Multiple. Nous montrons alors comment un changement simple mais efficace de la méthode de calcul des paramètres du modèle permet de contourner le problème de la colinéarité.

Nous évaluons ensuite les propriétés statistiques des paramètres de la Régression Ridge, et constaterons qu'ils sont plus performants (réduction de l'Erreur Quadratique Moyenne, ou EQM) que les paramètres des Moindres Carrés lorsque les variables sont dans une situation proche de la colinéarité.

Nous abordons enfin la question délicate de la détermination de la valeur optimale du "paramètre ridge".

REGRESSION RIDGE

____________________________________________________________

Il existe un lien inattendu et très instructif entre la Régression Ridge et l'Analyse en Composantes Principale. Quand les Composantes Principales (CP) sont untilisées comme variables indépendantes dans une modèle des MC, la Régression Ridge apparaît comme une résultant d'une modification simple des paramètres du modèle : les paramètres de la régression des MC sont "rétrécis" par un facteur peu important pour les premières CP, et plus important pour les dernières CP. La Régression Ridge donne ainsi plus d'importance aux CP de forte variance, et réduit l'influence des CP de faible variance sur le modèle final.

Nous concluons en introduisant le concept de "nombre effectif de paramètres" (ou de "degrés de liberté"), qui est une mesure plus réaliste de la "souplesse" du modèle que le nombre réel de paramètres.

REGRESSION RIDGE ET

ANALYSE EN COMPOSANTES PRINCIPALES

________________________________________

Voir aussi: