"Leave One Out"

Voir "Validation".

Levier

En Régression Linéaire (Simple ou Multiple), toute prédiction y_i^* peut s'exprimer comme une combinaison linéaire des observations y_j :

 y_i^* = S_j h_ij y_j

Le coefficient de l'observation y_i, soit h_ii , s'appelle le levier de l'observation i. Plus grand est h_ii, plus importante est la contribution de y_i à y_i^*.

On montre que :

• Tout levier est compris entre 0 et 1 :

0 h_ii 1

• La somme des leviers est égale à p, le nombre de paramètres du modèle de régression (c'est à dire, en général, le nombre de prédicteurs + 1).

Les leviers ne dépendent que des {x_j}, et sont donc des quantités fixes, non aléatoires.

On montre qu'une observation ayant un levier élevé (c.à.d. sensiblement supérieur à la moyenne p/n, où n est le nombre d'observations) est situé "en périphérie" du domaine des prédicteurs. Une telle observation s'appelle un "point de levier".
 

Le levier utilisé seul est d'une utilité limitée, car il ne prend pas en compte le résidu de l'observation. Par contre, les mesures classiques d'influence d'une observation sur les prédictions du modèle (p. ex. DFFITS, distance Cook) combinent étroitement leviers et résidus. Les observations ayant des leviers élevés apparaissent alors comme celles ayant le la plus grande influence sur les prédictions du modèle.

-----

Ces quantités sont explicitées et leur propriétés énoncées dans un des Tutoriels sur la Régression Linéaire.

 ____________________ 

Linéaire (Modèle)

Attention, ce terme a un double sens.

1. Un modèle est dit "linéaire dans les variables" si les variables n'y interviennent que sous la forme de combinaisons linéaires.
2. Un modèle est dit "linéaire dans les paramètres" si les paramètres n'y interviennent que par des combinaisons linéaires.

 
Quelques exemples :

• Une Régression Linéaire Multiple est un modèle prédictif linéaire dans les paramètres et dans les variables.
• L'Analyse en Composantes Principales est un modèle descriptif linéaire dans les variables.
• Un polynôme de degré supérieur à 1 est linéaire dans les paramètres, mais pas dans les variables.
• Un Réseau de neurones n'est linéaire ni dans les paramètres, ni dans les variables.

D'une façon générale, les modèles linéaires dans les paramètres sont plus simples mais généralisent moins bien que des modèles plus puissants, non linéaires dans les paramètres, comme les Réseaux de neurones.