|
|
|
|
|
|
Projection (Matrice de)
Soit E un espace vectoriel, et S un sous-espace de E.
Soit x un vecteur que nous projetons orthogonalement sur S et appelons u le vecteur projeté. Comment calculer u ?
Le statisticien ne peut pas ignorer le problème car il se pose naturellement en plusieurs circonstances importantes :
* L'Analyse en Composantes Principales (ACP) repose sur le concept de projection orthogonale.
* La Régression Linéaire est fondamentalement un problème de projection orthogonale.
* Les propriétés distributionnelles et d'indépendance des formes quadratiques dans des vecteurs multinormaux que l'on retrouve dans les problèmes de décomposition de la variance (ANOVA et Régression Linéaire) font également appel à la notion de projection orthogonale.
Les questions de projection orthogonale se représentent et se traitent naturellement dans la cadre de l'Algèbre Linéaire.
La "Projection orthogonale sur S" est un opérateur linéaire, et peut donc être représentée par une matrice PS. Nous montrerons que si ZS est une matrice dont les colonnes forment une base orthonormée du sous-espace S, alors la projection orthogonale u d'un vecteur x est donnée par :
|
u = PS x = (ZSZ'S) x |
Ce résultat laisse à penser que la matrice de projection PS dépend du choix particulier de la base orthonormée de S. Il n'en est rien, et nous montrerons que PS ne dépend pas du choix de cette base. Autrement dit, soit WS une autre matrice dont les colonnes forment également une base orthonormée de S. Nous montrerons que :
|
WSW'S = ZSZ'S |
Les matrices de projection définies par ZS et WS sont donc identiques.
Notons Sz l'ensemble des vecteurs orthogonaux à tous les vecteurs de S. C'est un sous-espace vectoriel de E appelé le supplémentaire orthogonal de S (voir l'illustration ci-dessus). Nous montrerons que PSz, la matrice de l'opérateur de projection orthogonale sur ce sous-espace est donnée par :
|
PSz = (In - PS ) |
où In est la matrice identité d'ordre n, avec n la dimension de l'espace complet E.
Comment calculer la matrice PS si la base XS de S dont on dispose n'est pas orthonormée ?
* Une possibilité est de construire une base orthonormée à partir de XS, par exemple en utilisant la procédure d'orthogonalisation de Gram-Schmidt, puis en utilisant cette base pour calculer PS.
* Mais il est également possible de calculer directement PS. Nous montrerons que si XS est une matrice dont les colonnes forment une base (non orthonormée) de S, alors :
|
PS = XS(X'S XS)-1X'S |
Le lecteur familiarisé avec la Régression Linéaire Multiple reconnaîtra dans ce résultat la "matrice chapeau" ("hat matrix") qui permet l'ajustement du modèle aux données.
Nous montrerons que, malgré les apparences, PS ne dépend pas de XS: une matrice de projection ne dépend que du sous-espace de projection, et ne dépend pas de la base choisie dans ce sous-espace pour calculer la matrice.
-----
S'il s'avère, en définitive, que XS est en fait une base orthonormée de S, ce résultat se réduit à celui énoncé pour les bases orthonormées (Pourquoi ?).
Nous montrerons qu'une matrice de projection est toujours symétrique.
Parmi les matrices symétriques, les matrices de projection ont deux propriétés caractéristiques :
Une matrice de projection PS est idempotente :
|
P ²S = PS |
qui s'interprète simplement en disant que si le vecteur u est le projeté d'un autre vecteur x, alors le projeté de u est u. Autrement dit, on ne peut pas itérer utilement une projection.
-----
Mais nous montrerons également la réciproque, plus difficile : si la matrice symétrique P de rang r est idempotente, alors elle est la matrice de projection sur un certain sous-espace S de dimension r de E, que nous identifierons.
Nous montrerons que toute valeur propre d'une matrice de projection est égale soit à 0, soit à 1, et nous identifierons les vecteurs propres.
Mais nous établirons également la réciproque : si chacune des valeurs propres d'une matrice symétrique est égale à 0 ou à 1, alors cette matrice est une matrice de projection sur un sous-espace que nous identifierons.
___________________________________________________________
|
Tutoriel |
Dans ce Tutoriel, nous établissons :
* La forme de la matrice de projection orthogonale sur un sous-espace, que la base disponible dans ce sous-espace soit orthonormée ou non. De plus, nous montrons que cette matrice est unique, et ne dépend donc pas de la base choisie dans ce sous-espace.
* Nous établissons ensuite deux propriétés caractéristiques des matrices de projection (après avoir montré qu'une matrice de projection est toujours symétrique) :
- Idempotence.
- Chacune des valeurs propres est égale soit à 0 soit à 1.
* Enfin nous montrons comment l'action d'un opérateur représenté par une matrice symétrique peut s'interpréter en termes de projections orthogonales.
MATRICES DE PROJECTION
|
La matrice de projection Matrice de projection dans une base orthonormée Calcul de la matrice Projection sur le supplémentaire orthogonal La matrice de projection est unique Matrice de projection dans une base non orthonormée Calcul de la matrice La matrice de projection est unique Propriétés caractéristiques d'une matrice de projection Une matrice de projection est symétrique Idempotence La condition est nécessaire La condition est suffisante Valeurs propres égales à 0 ou à 1 La condition est nécessaire La condition est suffisante Décomposition spectrale d'une matrice symétrique et projections |
||
|
TUTORIEL |
|
|
____________________________________________________________
Voir aussi :
|
|
|
|
Téléchargez ce Glossaire |
|
|
|
|
|
