Régression

Une des deux branches de la Modélisation Prédictive (l'autre étant la Classification).

Nous abordons ici les points suivants :
 

 ____________________________________________________

Définition de la Régression

        Dans l'illustration ci-dessous, l'image supérieure est une représentation graphique de la base de données historique (outrageusement simplifiée) d'un organisme de crédit automobile. Cette société veut utiliser ces données pour prédire le budget qu'un nouveau client est prêt à consacrer à l'achat d'un nouveau véhicule.

Les données se regroupant en un ruban assez étroit, il est possible de faire passer "au mieux" une courbe à travers ce nuage de points (image inférieure), et de considérer que cette courbe est un modèle approximatif mais satisfaisant de la réalité.

Cette courbe matérialise une fonction

Budget = f ^*(Âge)

 qui est appelée la fonction de régression de la variable "Budget" sur la variable "Âge".

L'astérisque est là pour rappeler qu'il ne s'agit que d'une estimation de la vraie fonction de régression (voir plus bas).

Elle sera utilisée de la façon suivante :

• L'âge du nouveau client est porté en abscisse.
• La fonction de régression fournit une prédiction du "budget auto" de ce client.

selon le schéma ci-dessous :

Nous allons provisoirement ignorer la difficulté liée au fait que la base de données ne contient qu'un échantillon de la population (supposée infinie) des clients potentiels, et considérer qu'elle contient virtuellement l'intégralité de cette population. De même, nous allons maintenant définir la vraie fonction de régression f(x) (et non son estimation f ^*(x) construite par l'analyste à partir d'un échantillon limité).

Même ces causes d'incertitude levées, il est clair que la prédiction ne peut être parfaite. Dans l'exemple précédent, l'Âge ne peut à lui seul déterminer de façon unique le comportement d'un nouveau client. Pour un Âge donné, les valeurs de y (le budget) se répartissent selon une certaine distribution (voir illustration ci-dessus). La fonction de régression f (x) donnant une réponse unique pour toute valeur de x, sa prédiction est donc presque certainement entachée d'erreur.

D'autres variables pourraient être prises en compte dans le but de réduire les erreurs sur la prédiction des valeurs de y. Ainsi, on pourrait penser inclure dans la fonction de régression le Sexe, le Revenu, le Kilométrage annuel, le Nombre d'enfants etc... Toutes ces grandeurs servant à la prédiction sont appelées "variables explicatives", ou "prédicteurs", alors que "Budget" est appelé "variable à expliquer". Ainsi, d'une façon générale, la fonction de régression est la "meilleure" fonction :

y = f(x₁, x₂, ..., x_p)

permettant de prédire la valeur de la variable à expliquer y, connaissant les valeurs des prédicteurs {x₁, x₂, ..., x_p}.

 
Il faut donc définir f(x₁, x₂, ..., x_p) de façon à minimiser ces erreurs. Cette expression est par elle même ambiguë, et il convient de définir ce que l'on entend par "minimiser les erreurs".
Le terme "régression" repose sur la définition suivante :

• La fonction de régression f(.) est celle qui, pour tout jeu de valeurs des prédicteurs {x₁, x₂, ..., x_p} produit la valeur moyenne de y pour ce jeu de valeurs.

Dans le vocabulaire de la Statistique, la fonction de régression matérialise donc l'espérance de y conditionnellement à {x₁, x₂, ..., x_p}. En notation technique, on a donc, par définition :

f(x₁, x₂, ..., x_p) = E[y , x₁, x₂, ..., x_p]

Pour la notion d'espérance conditionnelle, voir ici.

Ainsi, alors que la première illustration donnait de la fonction de régression une représentation intuitive purement géométrique, il apparaît que la notion de régression est essentiellement probabiliste.

Difficultés de la Régression

Les difficultés propres à la régression sont de deux ordres :

            1) La fonction de régression f(.) peut avoir une forme analytique quelconque (voire pas de forme analytique), et de toute façon inconnue. L'analyste devra donc faire le choix de la forme fonctionnelle f ^*(.) (le modèle de régression) destinée à approximer  f(.) en fonction de ce qu'il sait des données.

• La Régression Linéaire (Simple ou Multiple) repose sur l'hypothèse la plus simple, selon laquelle  f(.) est une fonction linéaire des prédicteurs. Le modèle f ^*(.) est alors évidemment choisi linéaire dans les prédicteurs lui aussi.
• Des formes fonctionnelles plus complexes peuvent être choisies si la distribution des données s'écarte de la linéarité, mais d'une façon bien comprise (p. ex. exponentielle décroissante dans le cas de la décroissance de la radioactivité).
• Si la forme fonctionnelle de la vraie fonction de régression est inconnue, on fera appel à des modèles de régression plus généraux, dits "non paramétriques", comme les splines ou les Réseaux de Neurones.
   

            2) La régression suppose donc que les données ont été générées par une densité de probabilité :

y = f(x) + e_x

où :

• f(x) est une fonction déterministe,
• et e_x est une variable aléatoire de moyenne nulle, mais de distribution inconnue, et dépendant possiblement de x (hétéroscédasticité).

Ceci n'empêche pas de construire une fonction de régression approchée, mais rend inopérantes certaines techniques auxiliaires importantes, en particulier des tests portant sur le fait qu'un prédicteur ait, ou non, une influence sur y.

Il est alors souvent fait l'hypothèse simplificatrice que la variance de e_x est la même dans tout l'espace des prédicteurs (homoscédasticité). De plus, si e_x est supposé normalement distribué, alors les tests ci-dessus mentionnés redeviennent justifiés si le modèle est linéaire dans les paramètres (mais pas forcément dans les variables, voir ici).

-----

En dehors de ces difficultés spécifiques, la régression doit également faire face, comme toute modélisation, à la très importante question du choix des variables à incorporer dans le modèle. Nous ne rappelerons jamais assez que :

• Ajouter des variables augmente :
• La quantité d'information disponible pour prédire les données (dans le cas d'une modélisation prédictive),
• Le nombre de paramètres du modèle, et donc sa souplesse,

ce qui lui permet de mieux rendre compte des données disponibles.

• Mais que le prix à payer pour ces capacités accrues est une plus grande instabilité du modèle, et donc une moins grande crédibilité de ses verdicts sur des données nouvelles.

Il existe donc un "juste milieu", difficile à trouver (sauf dans les cas les plus simples comme la Régression Linéaire Simple), et dont le non respect est la cause majeure d'échec de la modélisation.

Calcul des paramètres du modèle

        Le choix de la forme fonctionnelle f ^*(.) du modèle de régression étant fait, il faut alors calculer les valeurs de paramètres de cette fonction de façon à ce qu'elle approche au mieux la vraie fonction de régression  f(.).

Il existe deux méthodes principales de calcul des paramètres d'un modèle de régression :

• La méthode dite "des Moindres Carrés", qui minimise la somme des carrés des erreurs de prédiction du modèle sur les données disponibles (pour plus d'information sur la Méthode des Moindres Carrés, voir ici  ).
  La méthode des Moindres Carrés est celle adoptée par les Régressions Linéaires Simple et Multiple.
   
• La méthode dite "du Maximum de Vraisemblance", qui ajuste les valeurs des paramètres de façon à rendre maximale la vraisemblance des données pour le modèle. (Pour plus d'information sur la Méthode du Maximum de Vraisemblance, voir ici  ).
  C'est la méthode retenue par la Régression Logistique.

Validation du modèle

        En tout état de cause, le modèle matérialisé par la fonction f ^*(.) sera construit à partir de données aléatoires en nombre fini, et ne peut donc, au mieux, qu'être une estimation de la vraie fonction de régression f(.), qui reste à jamais inconnue. Comme pour tout modèle, il sera donc essentiel d'estimer ses performances réelles (c'est à dire sur des données n'ayant pas contribué à son élaboration).

La Régression Linéaire est un des rares cas où, moyennant certaines hypothèses raisonnables sur le mécanisme ayant généré les données, il est possible d'estimer par le calcul les performances du modèle.

Dans le cas général, il conviendra :

• De construire plusieurs modèles qui diffèrent en général par le choix de f ^*(.),
• De soumettre ces modèles à des épreuves de validation,
• Et de retenir, parmi les modèles candidats, celui ayant les meilleures performances estimées.

_________________________________________

Voir aussi: