Espérance itérée

Soient X et Y deux variables aléatoires. Si Y est maintenu constant (Y = y), l'espérance de X conditionnellement à Y = y, notée E[X | Y = y], est un nombre (voir ici).   

Si maintenant Y n'est plus maintenu constant, E[X | Y = y] devient une variable aléatoire, notée E[X | Y ]. L'espérance de cette variable a une propriété importante exprimée par la relation suivante :
 

Cette expression s'appelle le "Théorème de l'Espérance Itérée".

Elle exprime de façon compacte le fait suivant :

• Soient X et Y deux variables aléatoires. L'espérance (inconditionnelle) de X peut être calculée de la façon suivante :
• Pour toute valeur y de Y, calculer E[X | Y = y], c'st à dire l'espérance de X conditionnellement à Y = y. C'est une fonction de Y, notée :

 E[X | Y]

• Calculer la moyenne de cette fonction.
• Le résultat est égal à l'espérance de X.

Elle se traduit par les relations suivantes :

• Dans le cas discret :

           E[X] = Σ_y E[X | Y = y].P{Y = y}

• Dans le cas continu :

Elle est interprétable graphiquement de la façon suivante :

    1) L'image supérieure montre p(x, y), la distribution de probabilité conjointe de (X, Y).

    2) p(x, y) est découpée en tranches infinitésimales définies par (y₀ , y₀ +dy ). Pour chacune de ces tranches :

• La position sur l'axe des x est E[x | Y = y₀] (ligne bleue verticale de l'image inférieure),
• et le poids est p_Y (y₀), la densité de probabilité marginale de Y pour y = y₀.    

    3) Le barycentre de p(x, y) est le barycentre des barycentres des tranches.

    4) L'espérance de X est la projection sur l'axe des x du barycentre de p(x, y).

Ces points sont formalisés dans le Tutoriel ci-dessous.

 ___________________

Le Théorème de l'Espérance Itérée fournit un moyen indirect mais puissant de calculer l'espérance d'une v.a. X grâce à son couplage avec une autre v.a. "auxiliaire" Y judicieusement choisie, via l'espérance conditionnelle  E[X | Y]. Cette approche est utile dans des situations où le calcul direct de E[X] est difficile.

Cette même relation peut également être utilisée pour calculer des probabilités, ou même des quantités plus complexes, comme des fonctions génératrices, comme nous le verrons dans les Tutoriels ci-dessous.

___________________________________________________ 

 Dans ce premier Tutoriel :

• Nous donnons deux démonstrations du Théorème de l'Espérance Itérée.
• La première est une démonstration directe.
• La seconde fait appel au Théorème sur l'espérance d'une fonction d'une v.a. (LOTUS).
• Nous donnons ensuite un exemple académique où l'espérance d'une v.a. est calculée d'abord par la méthode "traditionnelle", puis par le Théorème de l'Espérance Itérée. Cet exemple est traité en détail de façon à illustrer les rôles respectifs des distributions marginales et conditionnelles, ainsi que de l'espérance conditionnelle.
• Nous calculons enfin l'espérance de la longueur de la deuxième coupe dans le problème de la "distribution uniforme récursive" (voir ici).

THEOREME DE L'ESPERANCE ITEREE

PREMIERS EXEMPLES

 ___________________________________________________

Nous passons ensuite à deux exemples un peu plus complexes :

• Nous calculons la moyenne de la distribution géométrique. Ce calcul, court et élégant, ne fait appel ni à la fonction de distribution ni à la fonction génératrice des moments de cette distribution, mais exclusivement à sa propriété d'absence de mémoire. A la réflexion, ceci ne doit pas être considéré comme étonnant car l'absence de mémoire est une propriété caractéristique de la distribution géométrique (pour les distributions discrètes).

• Nous donnons ensuite un exemple d'utilisation de cette relation pour calculer une espérance (inconditionnelle). Celle-ci apparaît au cours du calcul de la Covariance de  N_i et N_j , où N_i est le nombre d'observations dans la modalité i d'une distribution multinomiale (et de même pour N_j ).

AUTRES EXEMPLES D'APPLICATION

DU THEOREME DE L'ESPERANCE ITEREE

______________________________________________________________________

Dans le Tutoriel suivant, nous abordons deux problèmes classiques portant sur un nombre aléatoire N de variables aléatoires indépendantes {X_i}de même espérance.

    * Nous calculons l'espérance de la somme d'un nombre aléatoire de telles variables aléatoires, le résultat étant remarquablement simple.

Nous retrouverons ce résultat ici, dans le cas particulier des variables entières non négatives iid en faisant appel aux propriétés de la fonction génératrice.

    * Puis nous calculons l'espérance du produit d'un nombre aléatoire de telles variables aléatoires. Dans le cas général, le résultat ne peut pas se mettre sous une forme analytique simple. Mais nous montrons que dans le cas particulier où N a une distribution de Poisson, le résultat a une forme analytique simple.

Dans les deux cas, le Théorème de l'Espérance Itérée joue un rôle central dans le calcul.

ESPERANCES DE LA SOMME ET DU PRODUIT

D'UN NOMBRE ALEATOIRE DE V.A.

__________________________________________________________ 

Les applications précédentes portaient sur le calcul d'espérances. Mais le Théorème de l'Espérance Itérée peut également être utilisé pour le calcul de probabilités, comme nous le montrons maintenant.

• Nous commençons par établir un résultat général reliant la probabilité d'un évènement A aux probabilités de cet évènement conditionnellement aux valeurs d'une variable "auxiliaire" X.
• Nous donnons ensuite deux exemples d'application de ce résultat :
• Etant données deux v.a. X et Y, nous calculons la probabilité de l'évènement {X < Y}. Puis nous appliquons ce résultat au cas où X et Y sont exponentiellement distribuées (nous abordons ici cette même question par une autre méthode). Le problème apparaît naturellement dans le contexte de la fiabilité des systèmes complexes.
• Etant données deux v.a. X et Y, nous calculons la probabilité de l'évènement {X + Y < a}. Nous en déduisons la fonction de répartition de leur somme (nous abordons ici cette même question par une autre méthode). Nous appliquons le résultat au cas où X et Y sont exponentielles i.i.d..

CALCULER DES PROBABILITES

PAR LE THEOREME DE L'ESPERANCE ITEREE

 ____________________________________________________________

Nous utilisons maintenant le Théorème de l'Espérance Itérée pour calculer des fonction génératrices des moments (f.g.m.). Plus précisément, nous allons revenir sur le problème de la somme d'un nombre aléatoire de v.a. (voir ici).

Nous avons déjà calculé l'espérance d'une telle somme sous l'hypothèse d'égalité des espérances des variables. Nous allons maintenant calculer la f.g.m. de cette somme sous l'hypothèse plus contraignante que les variables sont i.i.d. (ce résultat sera p.ex. utilisé ici).

-----

Nous retrouverons alors bien sûr le résultat déjà obtenu pour l'espérance de la somme, mais nous pourrons franchir une étape supplémentaire en calculant la variance de cette somme.

FONCTION GENERATRICE DES MOMENTS

DE LA SOMME D'UN NOMBRE ALEATOIRE DE V.A. I.I.D.

___________________________________________________________________________

Après ce Tutoriel un peu dense, nous pouvons nous détendre un peu avec un petit problème connu sous le nom de "Problème du Mineur". Nous commençons par une version simplifiée de ce problème :

• On lance un dé jusqu'à obtenir un "1", puis on arrête.
• On note toutes les valeurs obtenues et on les additionne (y compris le "1" final). Appelons X cette somme.
• X est une v.a.. Quelle est sa fonction génératrice des moments ?

Le Théorème de l'Espérance Itérée va à nouveau apporter simplement la solution.

-----

Nous généraliserons alors le problème, et montrerons que :

• Le "Problème du Mineur" standard, ainsi que
• Le calcul de la fonction génératrice des moments de la distribution géométrique,

sont des cas particuliers du problème général.

Comme c'était le cas pour le calcul de la moyenne, le calcul de la f.g.m. de la distribution géométrique ne fera appel qu'à la propriété d'absence de mémoire de cette distribution.

LE PROBLEME "DU MINEUR"

_____________________________________________

Voir aussi: