Espérance conditionnelle

Distribution de probabilité conjointe

Soient X et Y deux variables aléatoires.

Cas discret

Si X et Y sont discrètes, la paire (X, Y) est complètement décrite par sa distribution de probabilité conjointe p(x, y) :

p(x_i , y_j ) = P{X = x_i , Y = y_j }

ave la relation de normalisation :

Σ_i Σ_j p(x_i , y_j ) = 1  

Cas continu

Quand les deux variables sont continues, la paire (X, Y) est entièrement décrite par sa densité de probabilité conjointe p(x, y) définie par :

p(x, y)dxdy = P{x X x + dx, y Y y + dy}

avec la relation de normalisation :

Distributions de probabilité conditionnelles

Cas général

Considérons le cas discret, et choisissons une valeur particulière de X que nous appellerons x. Tirons sans discontinuer des réalisations de (X, Y) mais en ne retenant que les tirages pour lesquels X = x, et en ignorant les autres. Dans ces conditions, Y suit une distribution de probabilité appelée "distribution de probabilité de Y conditionnellement à X = x. Cette distribution est notée p_{Y  | X} {Y = y | X = x}, ou  p_{Y  | X} {y | x} en abrégé.

Nous avons :

où :

    * p(x, y)  la distribution conjointe de (X, Y).

    * p_X (x) est la distribution (marginale) de X.

-----

Le cas "continu" reçoit une définition similaire.

Cas particulier : X et Y sont indépendantes

Si X et Y sont indépendantes, la distributions de Y conditionnellement à X = x est la même quelle que soit la valeur de x, et est simplement égale à la distribution (marginale) de Y. Ceci consuit alors à l'expression suivante :

que nous démontrons ci-dessous.

Espérance conditionnelle

Cas général

Sous la condition X = x, Y a une certaine espérance que nous appelons l'espérance de Y conditionnellement à X = x. C'est un nombre, pas une variable aléatoire. Il ets noté E [Y | X = x] et est égal, par définition, à :

avec une expression similaire pour les variables continues :

Cas particulier : X et Y sont indépendantes

Si X et Y sont indépendantes, l'espérance de Y conditionnellement à X = x est égale à l'espérance (inconditionnelle) de Y :

un résultat que nous démontrons ci-dessous.

Espérance itérée

Si X n'est plus maintenue fixe, mais retrouve son statut de variable aléatoire, l'espérance de Y conditionnellement à X devient une variable aléatoire. Cette variable a une espérance, qui est donnée par :

Ce résultat s'appelle le "Théorème de l'Espérance Itérée", ou de la "Double Espérance", et nous en donnons ici deux démonstrations.

-----

En raison de sa grande efficacité pour la résolution de nombreux types de problèmes, nous dédions un jeu spécial de Tutoriels au Théorème de l'Espérance Itérée.

Espérance du produit de deux variables aléatoires

Cas général

Soient X et Y deux variables aléatoires. Quelle est l'espérance E[XY] de leur produit ?

Nous montrerons que :

Vous trouverez ici un exemple d'utilisation de ce résultat dans le cas de variables non indépendantes.

Cas particulier : X et Y sont indépendantes

Si X et Y sont indépendantes, nous montrerons que ce résultat se simplifie en :

ou, en mots :

L'espérance du produit de deux v.a. indépendantes est égale au produit de leurs espérances.

Réciproque

Réciproquement, si deux v.a. sont telles que l'espérance de leur produit est égale au produit de leurs espérances, peut-on en déduire que les deux variables sont indépendantes ? La réponse est "Non". Nous montrerons que, sous cette condition, les variables sont décorrélées, mais l'indépendance exigera la condition suivante, plus forte :

X et Y sont idépendantes si et seulement si pour toute paire de fonctions {f(.), g(.)} nous avons E[f(X).g(Y)] = E[f(X)].E[g(Y)]

que nous démontrerons.

Espérance conditionnelle et Régression

Rappelons que la Régression consiste à prédire aussi précisément que possible les valeurs prises, pour toute valeur de x, par une fonction y = f(x) corrompue par un bruit aléatoire ε(x), lorsque cette fonction n'est connue que par un nombre fini de paires (x_i , y_i). En raison du bruit, les valeurs observées sont des variables aléatoires, ainsi que les valeurs prédites.

Le résultat central concernant la Régression est que, pour toute valeur x du régresseur, la meilleur prédiction y de Y (au sens des Moindres Carrés) est donnée par :

Ce résultat est développé et démontré ici.

___________________________________________________________

Nous commençons par donner trois exemples de calcul d'une espérance conditionnelle :

    * Le premier porte sur deux variables discrètes dont les probabilités conjointes sont données explicitement, ce qui est souvent le cas.

    * Nous calculons ensuite l'espérance du nombre de Piles dans une suite de m lancers d'une pièce, conditionnellement au nombre total de Piles dans une suite de n lancers étant égal à un nombre donné x.

    * Le troisième exemple porte sur deux variables continues. Leur densité de probabilité conjointe est donnée sous forme analytique, et l'espérance de Y conditionnellent à X = x apparaîtra donc sous la forme d'une fonction de x.

-----

Après avoir démontré quelques résultats élémentaires sur les variables indépendantes, nous aborderons le problème important de l'espérance du produit de deux v.a.. Nous démontrerons les deux résultats énoncé ci-dessus, puis démontrerons la condition nécessaire et suffisante pour que deux v.a. soient indépendantes.

ESPERANCE CONDITIONNELLE

_______________________________________________________

Voir aussi: