PRESS

Acronyme de : PREdicted Sum of Squares.

Rôle du PRESS

PRESS est un des nombreux critères d'évaluation de la qualité d'un modèle de Régression. Il est utilisé pour choisir entre plusieurs modèles concurrents sur un même jeu de données, par exemple dans un contexte de sélection de variables.

En Régression Linéaire Multiple, le R² traditionnel n'est pas utilisable comme critère de comparaison entre modèles (sauf éventuellement entre modèles comprenant le même nombre de variables explicatives) car sa valeur diminue "mécaniquement" lorsqu'on augmente le nombre de variables (voir ici). Le R² ajusté compense quelque peu cette faiblesse, mais encore de façon imparfaite, car chaque observation servant à calculer le R² ajusté a également participé à l'élaboration du modèle (estimation des paramètres), et l'on sait que ce type d'approche rend les estimations de qualité de modèle systématiquement optimistes.

Définition du PRESS

Le PRESS est une mesure de l'ajustement du modèle aux données plus "honnête" que la Somme des Carrés des Résidus (utilisée dans la définition de R²). Il est défini de la façon suivante :

• L'observation n°1 est éliminée des données, et un modèle est construit avec les n - 1 données restantes.
• On calcule alors la prédiction de ce modèle pour l'observation n°1, que l'on note y^*₍₁₎, les indices entre parenthèses signifiant traditionnellement que l'observation correspondante n'a pas participé à l'élaboration du modèle.
• On note r₍₁₎ = y₁ - y^*₍₁₎  le résidu "leave-one-out" relatif à l'observation n°1. C'est l'erreur commise par le modèle restreint pour la prédiction de y₁.

L'opération est répétée pour chacune des observations disponibles. On dispose alors de n résidus leave-one-out.

PRESS est défini comme la somme des carrés de ces "résidus" :

A l'inverse du R², le PRESS ne diminue pas systématiquement lorsqu'on ajoute progressivement des variables au modèle : pour une séquence quelconque de variables, il commence par baisser, puis remonte après avoir atteint une valeur minimale pour une certain nombre de variables. Il peut donc être utilisé dans les procédures classiques des sélection de variables.

Plus généralement, sur la base de ce critère, le "meilleur" modèle est celui qui a la plus petite valeur de PRESS.

Calcul du PRESS

L'utilité du PRESS dépasse le cadre de la Régression Linéaire Multiple, et ce critère peut être utilisé pour tout modèle de Régression.

PRESS et Validation Croisée

Son inconvénient majeur est qu'il requiert la construction d'autant de modèles qu'il y a d'observations, ce qui peut conduire à des calculs exagérément longs. Au lieu de procéder au calcul de chacun des résidus leave-one-out, on peut alors :

• Partitionner l'ensemble des données en K groupes d'observations tirées au hasard sans remise, avec K beaucoup plus petit que le nombre d'observations.
• Construire K modèles, chaque modèle laissant de côté un des groupes d'observations.
• Calculer, pour chaque modèle, la somme des carrés des résidus leave-one-out sur les observations du groupe témoin.
• Additionner les résultats des K modèles.

Le résultat est une approximation du vrai PRESS.

C'est ainsi que procède la Validation Croisée lorsqu'elle a pour objectif  l'estimation de l'erreur de prédiction d'un modèle prédictif.

PRESS en Régression Linéaire

La situation est plus favorable dans le cas de la Régression Linéaire. On montre alors que le PRESS authentique peut être calculé rigoureusement en ne construisant pourtant qu'un seul modèle, le modèle complet (sur la base de toutes les observations). Les résidus leave-one-out r_(i) sont alors calculables avec la relation :

où h_i est le i^ème  élément diagonal de la matrice  X(X'X)^-1X', dite "Hat matrix" (voir ici).

Cette expression n'est valable que pour un modèle calculé par la méthode des Moindres Carrés Ordinaires. Dans le cas de la Régression Ridge, on peut utiliser cette même expression, en remplaçant h_i par le i^ème élément diagonal de la matrice de projection ridge X(X'X - lI)^-1X'. Le résultat est alors une approximation du vrai PRESS.

Il peut être utilisé non seulement pour procéder à la sélection des variables, mais aussi, pour un jeu de variables donné, pour estimer la valeur optimale du paramètre ridge l.

 ____________________________________________________________

Voir aussi: