Covariance  (Matrice de)

La variance d'une variable est une mesure de la dispersion de ses valeurs autour de sa valeur moyenne. Comment cette notion se généralise-t-elle au cas où n variables sont prises en compte simultanément ? Comment la dispersion d'une densité de probabilité multidimensionnelle autour de sa valeur moyenne peut-elle être exprimée numériquement ?

Définition de la matrice de covariance

Il n'existe pas de méthode générale pour atteindre ce but, excepté dans le cas d'une distribution multinormale. La distribution est alors entièrement déterminée par :

    * Son vecteur moyen µ,

    * Et par l'ensemble des covariances deux-à-deux Cov(X_i, X_j), y compris les variances Var(X_i) (Rappel : Cov(X_i, X_i) =  Var(X_i)).

Tous ces nombres sont alors regroupés dans un tableau carré appelé Matrice de Covariance selon le schéma suivant :

Pour des raisons de clarté, "Cov" est notée"C", et Var "V" dans l'illustration ci-dessus.

La Matrice de Covariance est souvent notée  S. Son terme général est donc :

S[i, j] = Cov(X_i, X_j)

La matrice est symétrique par rapport à la première diagonale, car la Covariance est elle-même symétrique en X_i et X_j.

Si les variables sont toutes de variance unité, alors la Matrice de Covariance est identique à la Matrice de Corrélation.

Propriétés de la matrice de covariance

Ce qui suit requiert quelques connaissances élémentaires d'Algèbre Linéaire, et peut être sauté en première lecture.

La Matrice de Covariance est plus qu'un tableau de nombres. C'est en fait une matrice au sens mathématique du terme. Plus spécifiquement :

    1) La Martrice de Covariance peut en général être inversée dans la Matrice de Covariance Inverse S^-1 , une matrice telle que :

S.S^-1   = S^-1 .S  = I

où :

    * Le produit "." est au sens du produit de matrices,

    * et I est la matrice identité de dimension n, qui a des "1" sur la première diagonale, et des "0" partout ailleurs.

La Matrice de Covariance ne peut pas être inversée quand elle n'est pas régulière, c'est à dire quand elle ne représente pas une densité authentiquement de dimension n. Ainsi, la Matrice de Covariance d'une "galette" plate immergée dans un espace à 3 dimensions ne peut pas être inversée.

La Matrice de Covariance Inverse joue un rôle central pour les distributions multinormales. Rappelons que la densité normale à 1 dimension est :

La variance s² apparaît à deux endroits :

    * Dans le facteur de normalisation sous la forme de l'écart-type s.

    * Au dénominateur de l'exposant.

Une equation similaire, bien que plus complexe, décrit les distributions multinormales. La densité de probabilité s'écrit alors :

où  " , , " est la notation pour "déterminant". L'expression de la densité normale à 1 dimension est clairement un cas particulier de l'expression ci-dessus.

Les techniques comme l'Analyse Discriminante font appel à ce genre d'expression pour décrire la densité à l'intérieur de chacune des classes.

    2) La Matrice de Covariance peut en général être diagonalisée (avec les mêmes restrictions que pour l'inversion). Voir l'animation interactive  .

        * Les Vecteurs Propres de la matrice sont appelés les "Composantes Principales" de la distribution. La Première Composante Principale est la direction de plus grand étirement de la distribution. La Seconde Composante Principale est, de toutes les directions orthogonales à la Première Composante Principale, celle de plus grand étirement de la distribution etc...

        * Les Valeurs Propres sont les variances des projections de la distribution sur les Vecteurs Propres.

Dans un changement de repère tels que les Composantes Principales deviennent les nouveaux axes définissant de nouvelles variables, ces nouvelles variables sont décorrélées, et la nouvelle Matrice de Covariance est diagonale.

Si les unités dans lesquelles ces nouvelles variables sont mesurées sont changées de façon à ce que toutes portent la même variance, la distribution devient alors à symétrie sphérique, comme un "amas globulaire" (pour astronomes seulement !). La distribution est alors dite "sphérisée".

Ceci n'est pas vrai si le changement d'unités est effectué sur les axes originaux de façon à ce que ceux-ci portent tous la même variance (par exemple, standardisation des variables). La distribution résultante, bien qu'ayant la même variance sur tous les axes, n'a pas nécessairement la symétrie sphérique. Vous pouvez expérimenter cette idée dans l'animation interactive  ).

Ces questions sont développées dans le Tutoriel sur l'Analyse en Composantes Principales.

____________________________________________________________

Voir aussi :