Matrice symétrique

Définition

Une matrice carrée A = [a_ij] est dite symétrique si, pour tout i et pour tout j :

a_ij = a_ji

Deux éléments symétriques par rapport à la première diagonale sont donc égaux. Une matrice symétrique A est donc égale à sa transposée A'.

Les matrices symétriques forment une famille particulièrement riche en "bonnes" propriétés. En particulier, les valeurs propres d'une matrice symétrique (réelle) sont réelles, ainsi que ses vecteurs propres qui, de plus, forment un repère orthogonal (voir ci-dessous).

Matrices symétriques, Statistique et Modélisation

La Statistique et l'Analyse des Données utilisent des matrices symétriques dans de nombreuses circonstances :

    * Une matrice de covariance est symétrique par définition (et de plus (semi-) définie positive, voir ci-dessous).

    * Une matrice de projection (voir ci-dessous) projette l'espace des données sur un sous-espace. L'Analyse en Composantes Principales (ACP) et la Régression Linéaire font largement appel aux projections des données sur des sous-espaces, et donc aux matrices de projection.

    * La Régression Ridge peut être interprétée comme une modification de la Régression sur Composantes Principales utilisant la décomposition spectrale (voir ci-dessous) de la matrice de covariance des données.

    * L'étude des formes quadratiques en des variables normales repose également sur les propriétés des matrices de projection.

Valeurs propres et vecteurs propres des matrices symétriques

Les valeurs propres et vecteurs propres d'une matrice symétrique sont réels

Les matrices symétriques possèdent de nombreuses propriétés importantes. Dans le Tutoriel ci-dessous, nous démontrerons les propriétés suivantes, essentielles pour notre propos :

    * Les valeurs propres d'une matrice symétrique sont réelles. Rappelons que le simple fait que les coefficients d'une matrice carrée soient réels ne garantit nullement que les valeurs propres de cette matrice le soient.

    * Une valeur propre (réelle), même si elle admet un vecteur propre complexe, admet également nécessairement un vecteur propre réel. Par la suite, nous ne considérerons que ces vecteurs propres réels, et nous pouvons donc affirmer que les vecteurs propres d'une matrice symétrique sont réels.

Les vecteurs propres d'une matrice symétrique sont orthogonaux

Nous montrerons que les vecteurs propres associés à deux valeurs propres différentes sont orthogonaux. Ceci implique entre autres que si toutes les valeurs propres de la matrice sont différentes, alors les vecteurs propres (convenablement normalisés) forment une base orthonormée de l'espace.

Ce résultat est vrai même dans le cas de valeurs propres multiples, mais il est alors beaucoup plus difficile, et nous l'accepterons sans démonstration.

-----

Donc en toute généralité :

Décomposition spectrale d'une matrice symétrique

Appelons U la matrice carrée d'ordre p dont les colonnes sont les vecteurs propres d'une matrice symétrique A. Nous montrerons que :

où D = diag(₁, ₂ , ... , _n ) est la matrice diagonale des valeurs propres de A.

Cette expression fondamentale s'appelle la décomposition spectrale de la matrice symétrique A.

Les vecteur propres de A formant une base orthonormée, la matrice U est une matrice orthogonale.

-----

Le développement de l'expression ci-dessus conduit à :

A = _iiu_iu_i'

où {u_i} est l'ensemble des vecteurs propres de A.

Noter la similarité formelle avec la Décomposition en Valeurs Singulières d'une matrice.

Nous verrons que cette expression s'interprète en termes de projections orthogonales d'un vecteur sur les vecteurs propres de A.

-----

Ce résultat est à la base de tous les résultats portant sur la diagonalisation d'une matrice de covariance, en particulier :

    * Pour l'Analyse en Composantes Principales,

    * Pour la Régression Ridge.

_____________________________________________

Deux sous-familles de la famille des matrices symétriques possèdent des propriétés et des interprétations utiles pour le statisticien :

    * Les matrices de projection,

    * Et les matrices (semi-) définies positives.

Matrices de projection

Cette illustration représente :

    * Un sous-espace S d'un espace vectoriel E.

    * Un vecteur x et sa projection orthogonale u sur S.

La "projection orthogonale sur S" est un opérateur linéaire qui peut être représenté par une matrice. Une matrice représentant un opérateur de projection s'appelle une matrice de projection, qui est toujours symétrique.

En raison de leur grande importance en Statistique, une entrée de ce Glossaire est consacrée aux matrices de projection.

Matrice (semi-) définie positive

Une matrice carrée symétrique A est dite semi-définie positive si, pour tout vecteur x différent du vecteur nul, on a :

Si l'inégalité est toujours stricte, la matrice est dite définie positive.

-----

Les matrices définies positives jouent un rôle important en Statistique (essentillement en raison du fait que'une matrice de covariance est toujours (semi-)définie positive), et une entrée de ce Glossaire leur est consacrée.

________________________________________________________________

Nous examinons dans ce Tutoriel les propriétés des matrices symétriques dont nous aurons besoin dans le reste de ce site, en particulier :

    * En ACP.

    * En Régression Linéaire (Simple ou Multiple).

    * En Régression Ridge.

    * Dans l'étude de la distribution normale multivariée.

    * Dans l'étude des forme quadratiques de variables normales.

Ce Tutoriel ne traite que des propriétés générales des matrices symétriques.

    * Les propriétés des matrices de projection sont abordées ici.

    * Les propriétés des matrices définies positives sont abordées ici.

MATRICES SYMETRIQUES

_______________________________________________________

Voir aussi :