Indépendantes  (Variables aléatoires)

Définition de l'indépendance

Soient X et Y deux variables aléatoires. Le comportement de la paire {X, Y} est entièrement décrit par leur fonction de densité de probabilité conjointe (ou distribution conjointe de probabilité dans le cas discret)  f_XY (x, y). En général, après le tirage d'une réalisation de {X, Y}, la valeur observée x de X fournit une certaine quantité d'information sur la valeur de Y. Cette information est matérialisée par la distribution de Y conditionnellement à X = x. Par exemple, si X et Y sont toutes deux discrètes, cette distribution conditionnelle est :

P{Y = y | X = x}

qui prend, en général, des valeurs différentes pour chaque valeur de x.

Mais il peut se faire que cette distribution conditionnelle ne dépende pas de x. Autrement dit, quelle que soit la valeur de x, la distribution de Y conditionnellement à X = x est toujours la même. En conséquence, connaître x n'apporte aucune information sur la valeur de Y. Les deux variables X et Y sont alors dites être indépendantes.

Ceci nous conduit à la définition formelle de l'indépendance de deux variables aléatoires :

Nous montrons ci-dessous que cette définition est équivalente à celle où les rôles de X et de Y sont inversés.

L'indépendance a des conséquences profondes et en général favorables.

Indépendance et distribution de probabilité conjointe

La première conséquence est que l'indépendance place une contrainte forte sur la forme mathématique de la distribution conjointe de X et de Y.

Car supposons que X et Y aient toutes deux des densités, respectivement f_X (x) et f_Y (y). Alors leur densité de probabilité conjointe f_{X Y} (x, y) est :

f_{X Y} (x, y) = f_{Y |X} (y | x).f_X (x)

par la propriété fondamentale des distribution conditionnelles.

La densité marginale de Y est alors obtenue en intégrant cette densité conjointe par rapport à x :

Mais si la densité conditionnelle de Y ne dépend pas de x, on peut la sortir de l'intégrale et nous avons alors

donc

f_{Y |X} (y | x) = f_Y (y)

et par conséquent

f_{X Y} (x, y) = f_X (x).f_Y (y)

soit, en mots

Si X et Y sont indépendantes, leur densité de probabilité conjointe est égale au produit de leurs densités marginales.

-----

Réciproquement, supposons que la fdp conjointe de X et de Y soit le produit de leurs deux fdp marginales. Alors

 f_{Y |X} (y | x).f_X (x) = f_{X Y} (x, y) = f_X (x).f_Y (y)

Donc

f_{Y |X} (y | x) = f_Y (y)

qui ne dépend pas de x, et les deux variables sont donc indépendantes.

-----

En conclusion

Dans notre première définition de l'indépendance, X et Y jouaient des rôles différents. Mais nous voyons maintenant que cette définition est en fait symétrique en X et en Y.

Remarquons également que lorsque X et Y sont indépendantes, la distribution de Y conditionnellement à la valeur x de X non seulement ne dépend pas de x, mais est en fait égale à la distribution marginale de Y (avec un résultat similaire pour X).

______________________

Les mêmes calculs et conclusions s'appliquent aux variables discrètes .

Factorisation de la distribution conjointe

Il arrive fréquemment que le calcul de f_{X Y} (x, y), la distribution conjointe de X et de Y, conduise à une expression du type :

f_{X Y} (x, y) = g(x)h(y)

c'est à dire au produit d'une fonction non négative de x et d'une fonction non négative de y.

Voir par exemple :    
    * Le calcul des distribution marginales de la distribution normale bivariée après rotation des axes.
   * La transformation de deux variables Gamma en une variable Beta.

Notez que g(x) et h(y) ne sont pas uniques. Par exemple, pour toute constante positive C, on a également  f_{X Y} (x, y) = [Cg(x)][h(y)/C] = g' (x)h' (y).

La similitude formelle avec le résultat précédent suggère que X et Y sont indépendantes, et que g(x) et h(y) sont, à des constantes multiplicatives près, les distributions marginales de X et de Y.

Nous montrerons qu'il en est bien ainsi à une réserve près, explicitée dans le résultat suivant :

La démonstration fera également apparaître que g(x) est bien, à un facteur près, la densité marginale de X (avec un résultat similaire pour Y ).

La réserve évoquée ci-dessus porte sur le fait que le support de {X, Y} doit être le produit cartésien des supports de X et de Y. Si cette condition n'est pas respectée, le résultat n'est plus valide comme nous le montrerons avec un contre-exemple.

Un autre contre-exemple est celui de la distribution conjointe des statistiques d'ordre de la distribution uniforme (voir ici). Cette fdp conjointe est constante, et est donc égale, à un facteur multiplicatif près, au produit de ses distributions marginales. Mais son support n'est pas le produit cartésien des supports des marginales (ce n'est pas [0, 1]ⁿ ). Et de fait, les statistiques d'ordre ne sont évidemmenet jamais des variables indépendantes.

-----

Ce résultat est encore vrai pour des variables discrètes.

Indépendance et fonction de répartition

La condition d'indépendance s'exprime en termes de distributions de probabilité, mais également en termes de fonction de répartition.

Rappelons que la fonction de répartition de la paire {X, Y}est la fonction F_{X Y} (x, y) définie par :

F_{X Y} (x, y) = P{X ≤ x, Y ≤ y}

Nous montrerons que :

Indépendance et probabilités

Nous montrerons qu'une conséquence de ce résultat est que le "paradigme du produit" s'applique encore à l'appartenance de {X, Y} à un rectangle du plan (x, y).

Plus précisément, nous montrerons que :

En d'autres termes, X et Y sont indépendantes si et seulement si les deux évènements :

    * A = X est dans [a, b]

    * B = Y est dans [c, d]

sont indépendants.

Indépendance et espérance

Nous montrons ici que :

sous réserve que les espérances mises en jeu existent.

Le théorème direct est facile, la réciproque un peu plus difficile.

-----

Un cas particulier est bien sûr f(x) = x et g(y) = y. La partie directe du théorème s'énonce alors :

Une conséquence de ce théorème est que deux variables indépendantes sont décorrélées (montrez que leur covariance est nulle).

La réciproque est fausse, et la décorrélation de deux variables n'implique nullement leur indépendance. Il n'y a que dans le cas de la distribution normale multivariée que la décorrélation des marginales implique leur indépendance.

Indépendance et Fonction Génératrice des Moments

Soit M_XY (t, s) la fonction génératrice des moments (fgm) de la paire {X, Y}. Nous montrerons que :

De plus, nous verrons que M_XY (t, 0) = M_X (t), la fgm de X (avec un résultat similaire pour Y).

En d'autres termes :

X et Y sont indépendantes si et seulement si leur fgm conjointe est égale au produit de deurs fgm respectives.

Indépendance multivariée

Tout ce qui précède se généralise facilement au cas de n variables aléatoires.

Cependant, il est important de faire la différence entre "Un ensemble de n variables indépendantes" et "Un ensemble de n variables indépendantes deux-à-deux", qui est une notion plus faible.

En d'autres termes, si {X_i} est un ensemble de variables aléatoires, on peut avoir :

X_j et X_k indépendantes pour toute paire  (j, k)       j ≠ k

et pourtant les n variables ne pas être indépendantes dans leur ensemble.

Nous exhiberons comme contre-exemple un ensemble de trois v.a. non indépendantes, et pourtant indépendantes deux-à-deux.

"Variables indépendantes" en Modélisation

L'expression "variables indépendantes" se rencontre parfois dans un contexte très différent.

Un modèle prédictif a des variables "d'entrée" et de "sortie" :

Les variables d'entrée sont parfois appelées "variables indépendantes", le terme "indépendantes" signifiant alors qu'il est possible, au moins en principe, d'en fixer arbitrairement les valeurs, celles-ci n'étant pas déterminées par les valeurs d'autres variables.

Afin d'éviter toute confusion avec le sens universellement accepté du mot "indépendantes" tel qu'il est décrit dans cette page, il est alors préférable d'utiliser un autre terme, comme "prédicteur", ou "régresseur" dans le cas d'un modèle de régression.

___________________________________________________________

Dans ce Tutoriel, nous montrons que l'indépendance de deux variables aléatoires peut s'exprimer de plusieurs façons équivalentes (en plus de la définition et de la factorisation de leur distribution conjointe dans le produit de leurs distributions marginales) :

    * Leur distribution conjointe se factorise sur le produit de leurs supports en deux fonctions positives respectivement de x et de y.

    * Leur fonction de répartition conjointe est le produit de leurs fonctions de répartition respectives.

    * La probabilité pour que la paire {X, Y} soit dans un rectangle donné est égale au produit des probabilités pour que X et Y soient dans les côtés respectifs de ce rectangle.

    * L'espérance du produit de deux fonctions quelconques de X et de Y est égale au produit des espérances respectives de ces fonctions (quand elles existent).

    * La fgm de {X, Y} est égale au produit des fgm de X et de Y.

-----

Nous concluons en présentant un ensemble de trois variables aléatoires non indépendantes bien qu'indépendantes deux-à-deux.

FORMULATIONS EQUIVALENTES

DE L'INDEPENDANCE

 _____________________________________________________

Voir aussi :