Vecteur aléatoire

Soit {X₁, X₂ ,  ..., X_n} une collection de n variables aléatoires.

Il est souvent commode de considérer cette collection comme un objet unique X = {X₁, X₂ ,  ..., X_n}, que l'on appellera un vecteur aléatoire. C'est particulièrement le cas lorsque cet ensemble de variables sera soumis à des transformations linéaires, et que le recours à l'Algèbre Linéaire s'imposera alors naturellement.

De même qu'une variable aléatoire est décrite par sa distribution de probabilité, un vecteur aléatoire est décrit par la distribution de probabilité conjointe des n variables qui le composent.

L'illustration ci-dessus représente schématiquement la distribution de probabilité d'un vecteur de dimension 2.

-----

On définit les moments, et plus particulièrement l'espérance et la variance d'un vecteur aléatoire exactement comme on le fait pour une variable aléatoire simple (voir ci-dessous). Cependant, un vecteur aléatoire possédant une "structure interne" que n'a pas une variable aléatoire unique, ces définitions conduisent à des résultats à la fois plus complexes et plus riches que ceux relatifs à une variable aléatoire. En particulier :

    * Les constantes multiplicatives doivent être remplacées par des matrices constantes (non aléatoires), ou des vecteurs constants.

    * Les variances doivent être remplacées par des matrices de covariance.

Espérance d'un vecteur aléatoire

Définition

Par définition, l'espérance d'un vecteur aléatoire est le vecteur des espérances des v.a. composant le vecteur :

µ = E[X] est le centre de gravité de la distribution de probabilité conjointe des {X₁, X₂ ,  ..., X_n}.

Linéarité

On vérifie immédiatement la linéarité de l'espérance d'un vecteur aléatoire.

    * Si X et Y sont deux vecteurs aléatoires, et si A et B sont deux matrices constantes, alors :

E[AX + BY] = AE[Y] + BE[Y] 

    * De même, on a :

E[AXB] = AE[X]B

qui est l'équivalent pour les vecteurs aléatoires de E[aX] = aE[X] pour les variables aléatoires.

Nous démontrons ce résultat au cours du calcul de la matrice de covariance d'une distribution normale multivariée.

    * Enfin, si b est un vecteur constant :

E[AX + b] = AE[X] + b

Variance d'un vecteur aléatoire

Matrice de covariance

La définition de la variance d'un vecteur aléatoire est calquée sur celle de la variance d'une variable aléatoire. Notons µ le vecteur E[X]. Alors, par définition :

Var(X) = E[(X - µ)(X - µ)']

Var(X) est une matrice carrée symétrique (semi-) définie positive appelée matrice de covariance du vecteur X, ou matrice de covariance de la collection de variables {X₁, X₂ ,  ..., X_n}. Elle est généralement notée .

Cette expression s'écrit également :

Var(X) = E[XX'] - µµ'

qui est l'équivalent pour les vecteurs de  :

Var(X) = E[X ²] - µ²

pour les variables aléatoires.

Variance de la transformée d'un vecteur

Si b est un vecteur constant :

qui est l'équivalent pour les vecteurs aléatoires de :

Var(aX + b) = a²Var(X)

pour les variables aléatoires.

Nous démontrons ce résultat au cours du calcul de la matrice de covariance d'une distribution normale multivariée.

Variance d'un produit scalaire

Si la matrice A' est réduite à un unique vecteur ligne a', et si le vecteur b est réduit à une unique composante b, alors a'X + b est une variable aléatoire simple, et le "Var" du terme à gauche du signe "=" est alors simplement la variance d'une v.a. et non plus une matrice de covariance.

Si b = 0, l'expression ci-dessus donne la variance du produit scalaire entre un vecteur aléatoire et un vecteur fixe.

Variance de la projection d'un vecteur

En particulier, si a est un vecteur unitaire, Var(a'X) est la variance de la projection P du vecteur aléatoire X sur la droite D définie par le vecteur unitaire fixe a.

On a donc :

où  est la matrice de covariance de X.

Ce résultat est très souvent utilisé en pratique, en particulier dans l'étude de la distribution normale multivariée et en Anayse Discriminante.

Covariance de deux vecteurs aléatoires

Soient :

    * X un vecteur de dimension mx1:

X = {X₁, X₂ ,  ..., X_m }

    * Y un vecteur de dimension nx1:

Y = {Y₁, Y₂ ,  ..., Y_n}

Définition

On définit la covariance Cov(X, Y) de ces deux vecteurs exactement comme on définit la covariance de deux variables aléatoires :

Cov(X, Y) = E[(X₁ - µ_X )(X₂ - µ_Y )']

où µ_X et µ_Y sont les vecteurs moyens de X et de Y.

Le développement de cette expression montre que Cov(X, Y) est une matrice à m lignes et n colonnes dont le terme générique est :

[Cov(X, Y)]_ij = Cov(X_i, Y_j )

où le terme Cov du membre de droite est la covariance ordinaire entre deux variables aléatoires.

-----

La notion de covariance de deux vecteurs aléatoires apparaîtra naturellement lors du partitionnement de la matrice de covariance d'une distribution normale multivariée (voir ici).

Propriétés de la covariance de deux vecteurs aléatoires

On vérifie simplement les résultats suivants :

            - Transposition

Cov(Y, X) = [Cov(X, Y)]'

            - Variance d'une somme

Si X et Y sont de même dimension :

 Var(X Y) = Var(X) + Var(Y)  2.Cov(X, Y)

car Cov(X, Y) est alors une matrice symétrique.

            - Orthogonalité

Si X et Y sont de même dimension, alors ils sont dits orthogonaux si :

X 'Y = 0

On vérifie qu'alors :

Cov(X, Y) = 0

et donc que :

 Var(X Y) = Var(X) + Var(Y)

 ____________________________________________________________

Voir aussi: