Vecteur aléatoire

Soit {X₁, X₂ ,  ..., X_n} une collection de n variables aléatoires.

Il est souvent commode de considérer cette collection comme un objet unique X = {X₁, X₂ ,  ..., X_n}, que l'on appellera un vecteur aléatoire. C'est particulièrement le cas lorsque cet ensemble de variables sera soumis à des transformations linéaires, et que le recours à l'Algèbre Linéaire s'imposera alors naturellement.

De même qu'une variable aléatoire est décrite par sa distribution de probabilité, un vecteur aléatoire est décrit par la distribution de probabilité conjointe des n variables qui le composent.

L'illustration ci-dessus représente schématiquement la distribution de probabilité d'un vecteur de dimension 2.

-----

On définit les moments, et plus particulièrement l'espérance et la variance d'un vecteur aléatoire exactement comme on le fait pour une variable aléatoire simple (voir ci-dessous). Cependant, un vecteur aléatoire possédant une "structure interne" que n'a pas une variable aléatoire unique, ces définitions conduisent à des résultats à la fois plus complexes et plus riches que ceux relatifs à une variable aléatoire. En particulier :

    * Les constantes multiplicatives doivent être remplacées par des matrices constantes (non aléatoires), ou des vecteurs constants.

    * Les variances doivent être remplacées par des matrices de covariance.

Espérance d'un vecteur aléatoire

Définition

Par définition, l'espérance d'un vecteur aléatoire est le vecteur des espérances des v.a. composant le vecteur :

µ = E[X] est le centre de gravité de la distribution de probabilité conjointe des {X₁, X₂ ,  ..., X_n}.

Linéarité

On vérifie immédiatement la linéarité de l'espérance d'un vecteur aléatoire.

    * Si X et Y sont deux vecteurs aléatoires, et si A et B sont deux matrices constantes, alors :

E[AX + BY] = AE[Y] + BE[Y] 

    * De même, si b est un vecteur constant :

E[AX + b] = AE[X] + b

Espérance du double transformé d'un vecteur aléatoire

Soient :

    * X un vecteur aléatoire,

    * A et B deux matrices constantes.

    * c un vecteur constant.

Nous montrerons que :

Nous aurons besoin de ce résultat pour établir l'expression de la matrice de covariance du transformé linéaire d'un vecteur aléatoire (voir ci-dessous).

Variance d'un vecteur aléatoire

Matrice de covariance

La définition de la variance d'un vecteur aléatoire est calquée sur celle de la variance d'une variable aléatoire. Notons µ le vecteur E[X]. Alors, par définition :

Var(X) = E[(X - µ)(X - µ)']

Var(X) est une matrice carrée symétrique (semi-) définie positive appelée matrice de covariance du vecteur X, ou matrice de covariance de la collection de variables {X₁, X₂ ,  ..., X_n}. Elle est généralement notée .

Nous montrerons que cette expression s'écrit également :

qui est l'équivalent pour les vecteurs aléatoires de :

Var(X) = E[X ²] - µ²

pour les variables aléatoires.

Matrice de covariance du transformé linéaire d'un vecteur

Soient :

    * X un vecteur aléatoire,

    * A une matrice constante,

    * b un vecteur constant.

Nous montrerons que :

qui est l'équivalent pour les vecteurs aléatoires de :

Var(aX + b) = a²Var(X)

pour les variables aléatoires.

-----

Le résultat ci-dessus permet donc de calculer la matrice de covariance du transformé linéaire d'un vecteur aléatoire. Il est d'une grande utilité : par exemple, il nous permettra d'établir que le terme ^-1 apparaissant dans la forme de la distribution normale multivariée joue le même rôle que 1/² dans la forme de la distribution normale univariée.

Variance d'un produit scalaire

Si la matrice A' est réduite à un unique vecteur ligne a', et si le vecteur b est réduit à une unique composante b, alors a'X + b est une variable aléatoire simple, et le "Var" du terme à gauche du signe "=" est alors simplement la variance d'une v.a. et non plus une matrice de covariance.

Si b = 0, l'expression ci-dessus donne la variance du produit scalaire entre un vecteur aléatoire et un vecteur fixe.

Variance de la projection d'un vecteur

En particulier, si a est un vecteur unitaire, Var(a'X) est la variance de la projection P du vecteur aléatoire X sur la droite D définie par le vecteur unitaire fixe a.

On a donc :

où  est la matrice de covariance de X.

Ce résultat est très souvent utilisé en pratique, en particulier dans l'étude de la distribution normale multivariée et en Anayse Discriminante.

Sphérisation d'un vecteur aléatoire, transformation de Mahalanobis

La transformation de Mahalanobis est la généralisation multivariée de la standardisation d'une variable aléatoire.

Nous montrons ici que tout vecteur aléatoire X de matrice de covariance Σ non dégénérée peut être transformé par une transformation linéaire en un vecteur X' :

    * Centré (moyenne nulle),

    * Et de matrice de covariance unité. Les variables marginales de X' sont donc décorrélées et de variance unité.

Cette transformation s'appelle la "transformation de Mahalanobis", et le vecteur transformé est dit être "sphérisé".

La transformation de Mahalanobis est particulièrement utile dans l'étude de la distribution normale multivariée : la transformation de Mahalanobis la transforme en la distribution multinormale standard sur laquelle les calculs sont en général beaucoup plus simples que sur la distribution originale. Les résultats de ces calculs peuvent ensuite être "remontés" vers la distribution multinormale initiale par la transformation inverse.

Covariance de deux vecteurs aléatoires

Soient :

    * X un vecteur de dimension mx1:

X = {X₁, X₂ ,  ..., X_m }

    * Y un vecteur de dimension nx1:

Y = {Y₁, Y₂ ,  ..., Y_n}

Définition

On définit la covariance Cov(X, Y) de ces deux vecteurs exactement comme on définit la covariance de deux variables aléatoires :

Cov(X, Y) = E[(X₁ - µ_X )(X₂ - µ_Y )']

où µ_X et µ_Y sont les vecteurs moyens de X et de Y.

Le développement de cette expression montre que Cov(X, Y) est une matrice à m lignes et n colonnes dont le terme générique est :

[Cov(X, Y)]_ij = Cov(X_i, Y_j )

où le terme Cov du membre de droite est la covariance ordinaire entre deux variables aléatoires.

-----

La notion de covariance de deux vecteurs aléatoires apparaîtra naturellement lors du partitionnement de la matrice de covariance d'une distribution normale multivariée (voir ici).

Propriétés de la covariance de deux vecteurs aléatoires

On vérifie simplement les résultats suivants :

            - Transposition

Cov(Y, X) = [Cov(X, Y)]'

            - Variance d'une somme

Si X et Y sont de même dimension :

 Var(X Y) = Var(X) + Var(Y)  2.Cov(X, Y)

car Cov(X, Y) est alors une matrice symétrique.

            - Orthogonalité

Si X et Y sont de même dimension, alors ils sont dits orthogonaux si :

X 'Y = 0

On vérifie qu'alors :

Cov(X, Y) = 0

et donc que :

Var(X Y) = Var(X) + Var(Y)

_____________________________________________________________

Dans ce Tutoriel :

    * Nous établissons la deuxième forme de la matrice de covariance d'un vecteur aléatoire.

    * Puis nous calculons l'espérance du double transformé linéaire d'un vecteur aléatoire.

    * Nous aurons besoin de ce résultat pour établir le résultat important permettant de calculer la matrice de covariance du transformé linéaire d'un vecteur aléatoire.

VECTEURS ALEATOIRES

_____________________________________________________

Voir aussi: