Loi des Grands Nombres  (Faible)

Une pièce de monnaie est lancée deux fois seulement. Bien que "Pile" et "Face" aient toutes deux la même probabilité 0,5, il ne doit pas être considéré comme très surprenant que ces deux lancers produisent deux "Piles", ou bien alors deux "Faces", au lieu de produire exactement une fois "Pile" et une fois "Face", comme l'égalité des probabilités de "Pile" et de "Face" le suggèrerait.

Par contre, si la pièce est lancée 1000 fois, on s'attend à ce que le nombre de "Piles" soit très proche de 500.

Loi Faible des Grands Nombres

Cette intuition est confirmée par la Loi Faible des Grands Nombres. Cette Loi énonce que si une épreuve est répétée un grand nombre de fois, il devient très improbable que la moyenne des résultats des n premières épreuves s'écarte sensiblement de l'espérance du résultat d'une épreuve (évènement) quand n augmente sans limite.

En termes plus techniques, la Loi Faible des Grands Nombres (LFGN) s'énonce ainsi :

    * Soit {X_i} une suite infinie de v.a. indépendantes et identiquement distribuées (i.i.d.) de moyenne commune µ.

    * Pour chaque entier n, on considère la v.a. Y_n égale à la moyenne des n premières X_i.

    * Alors, pour un e donné, la probabilité pour qu'une réalisation de Y_n s'écarte de l'espérance commune µ des X_i de plus de e tend vers 0 quand n tend vers l'infini.

 Ceci s'exprime par la relation :
 

ou, en mots :

    * Aussi petit soit e, il suffit d'augmenter suffisamment n pour que la probabilité pour que la moyenne des n premières X_i diffère de µ de plus que e soit aussi petite que l'on veut.

Dans le vocabulaire de l'Estimation, la LFGN énonce que la moyenne empirique est un estimateur convergent de la moyenne de la population.

Dans le vocabulaire de l'Analyse, la Loi serait formulée ainsi :

    * Pour tout e >0,

    * Pour tout d >0,

    * Il existe un entier N(e, d) tel que si n > N(e, d), alors :

Interprétation géométrique de la Loi Faible des Grands Nombres

La Loi Faible des Grands Nombres reçoit une interprétation graphique simple. Pour chaque valeur de n, la v.a. Y_n a une distribution de probabilité (que nous supposerons continue) qui se traduit par une courbe. L'aire sous cette courbe est toujours égale à 1, quelle que soit la valeur de n.

On recouvre maintenant µ par un segment de longueur 2e. On notera A_n l'aire sous la courbe de densité de probabilité de Y_n se situant en-dehors du segment recouvrant µ (zone hachurée).

A_n est la probabilité pour que l'écart entre Y_n et µ soit supérieur à e (en valeur absolue).

Alors la Loi Faible des Grands Nombres affirme que, pour un e donné, A_n tend vers 0 quand n tend vers l'infini. Autrement dit, les ailes de la densité de probabilité de Y_n deviennent négligeables quand n tend vers l'infini (image inférieure).

Loi Faible des Grands Nombres et "Pile ou Face"

Le jeu de Pile ou Face permet d'illustrer la Loi Faible des Grands Nombres.

Soit :

    * Une pièce honnête,

    * Et l'ensemble de toutes les séquences possibles résultant d'une série de n lancers de cette pièce. Il y a exactement 2ⁿ telles séquences et, en raison de l'honnêteté de la pièce, elles ont toutes la même probabilité 2^-n d'apparaître à la suite d'une série de n lancers de la pièce.

Supposons ces séquences numérotées de 1 à 2ⁿ. Appelons m_i la moyenne du nombre de Piles par lancer de la séquence n°i.

m_i = 1/n.Nombre de Piles dans la séquence

Pour un nombre réel positif arbitrairement petit e, comptons le nombre N(n, e) de séquences telles que m_i s'écarte de 1/2 de plus de e. Nous laissons en exercice le soin au lecteur de montrer que la proportion

N(n, e) /2ⁿ

de séquences "anormales"  tend vers 0 quand n tend vers l'infini. Il est donc possible de démontrer directement la Loi Faible des Grands Nombres dans le cas particulier du jeu de Pile ou Face.

La démonstration met en évidence deux points intéressants :

• La notion de probabilité n'intervient que lorsque nous énonçons que toutes les séquences possibles ont la même probabilité 2^-n. Tout le reste n'est qu'une question de combinatoire, et plus particulièrement de dénombrement (nous avons rencontré cette même situation lorsque nous avons calculé la distribution de probabilité de la loi binomiale). En fait, en termes très généraux, la Loi Faible des Grands Nombres appliquée au jeu de Pile ou Face pourrait s'énoncer : "Quand n tend vers l'infini, la proportion des nombres entiers de 0 à 2ⁿ - 1 dont le développement binaire contient à peu près le même nombre de 0 que de 1 tends vers 1".   

• Nous n'avons jamais à considérer des suites infinies de lancers. La Loi Faible des Grands Nombres dit simplement que pour un e donné, il existe un entier n(e) tel que pour tout ensemble complet de séquences pour un n supérieur à n(e), la proportion de séquences "anormales" est inférieure à e.

-----

Pourtant, le lecteur pourra s'amuser à démontrer que si l'on ne considère que les séquences contenant un nombre pair 2n de lancers, le nombre de séquences contenant exactement n Piles et n Faces tend vers 0 quand n tend vers l'infini.

-----

Supposez que vous lanciez 20 fois une pièce honnête, et que le résultat de ces lancers soit 20 fois Piles. Même un statisticien confirmé devra lutter contre la tentation de penser :

Bien entendu, il n'y a pas d' "ajustement des probabilités". La Loi des Grands Nombres ne se préoccupe pas de savoir si une séquence commençante, quelle que soit sa longueur, est équilibrée ou pas. Tout ce qu'elle dit est que plus vous jouez longtemps, et plus vous augmentez la probabilité d'obtenir une séquence approximativement équilibrée, mais elle ne dit rien sur le temps qu'il faut pour voir apparaître cet équilibre. Bien des joueurs ont couru à leur ruine pour avoir mal interprété la Loi des Grands Nombres.

Limitations de la Loi Faible des Grands Nombres

Moments

Les expressions ci-dessus font explicitement référence à la moyenne commune µ des variables.

De plus, la LFGN apparaîtra comme une conséquence de l'inégalité de Bienaymé-Tchebychev, qui exige que les variables considérées aient également une variance.

La LFGN ne s'applique donc qu'à des variables ayant au moins leurs deux premiers moments finis.

-----

Ainsi, la LFGN ne s'applique pas à des échantillons tirés d'une distribution de Cauchy, celle-ci n'ayant pas de moyenne (ni a fortiori de variance). Nous avions déjà remarqué que la distribution de la moyenne empirique d'un échantillon tiré d'une distribution de Cauchy ne dépend pas de la taille de cet échantillon, et qu'il n'y a donc pas de phénomène de "rétrécissement" de la distribution de la moyenne empirique quand la taille de l'échantillon augmente.

Indépendance

Nous avons mentionné que la Loi Faible des Grands Nombres s'applique à des variables indépendantes et identiquement distribuées. L'hypothèse d'indépendance revient si souvent en Statistique qu'on en finit presque par oublier qu'elle est extrêmement restrictive.

Ainsi, nous donnons dans le Tutoriel ci-dessous un contre-exemple dans lequel on considère des variables identiquement distribuées, mais non indépendantes. Ce non respect de la condition d'indépendance conduira à un échec de la Loi Faible des Grands Nombres.

Généralisation de la Loi Faible des Grands Nombres

La Loi Faible des Grands Nombres fait référence à la convergence en probabilité de la moyenne empirique. Toutes les v.a. qui interviennent dans sa définition sont non seulement indépendantes, mais également identiquement distribuées.

Cette dernière restriction peut être levée. Une généralisation de la Loi Faible des Grands Nombres considère toutes les v.a. mises en jeu comme indépendantes, mais ayant chacune sa propre distribution, et donc sa propre moyenne et sa propre variance, sans aucune restriction.

La Loi relative à la moyenne empirique bénéficie du fait que la variance de cette moyenne tend vers 0 lorsque la taille de l'échantillon tend vers l'infini. Cet avantage disparaît si les variances des variables proposées sont arbitraires.

La Loi doit alors être complexifiée de façon à construire une suite de variables dont on puisse garantir la convergence en probabilité.

Nous énonçons et démontrons dans le Tutoriel ci-dessous cette Loi Faible des Grands Nombres généralisée, puis nous en servons pour démontrer le Théorème Fondamental de la Statistique.

Pourquoi "Faible" ?  La Loi Forte des Grands Nombres

Pourquoi cette Loi est-elle considérée comme "faible" ?

Le terme "Faible" fait référence au type de convergence de la moyenne empirique vers la moyenne de la distribution. A première vue, il semblerait qu'il n'y ait pas de meilleure façon de converger que celle que nous avons décrite, et qui s'appelle la convergence "en probabilité".

Mais en fait, le type de convergence de la moyenne empirique vers la moyenne de la distribution est bien plus "fort" que la simple convergence en probabilité : cette convergence est dite "presque sure", et la Loi Faible des Grands Nombres n'est qu'une version atténuée de la Loi Forte des Grands Nombres.

___________________________________________________________

Nous démontrons ici la Loi Faible des Grands Nombres.

Nous démontrons dans un premier temps l'inégalité de Markov, puis sa généralisation, l'inégalité de Bienaymé-Tchebychev. La LFGN sera une conséquence directe de cette dernière inégalité.

Nous insistons sur la condition d'indépendance des variables en exhibant un exemple dans lequel la non-indépendance des variables rend la LFGN inapplicable bien que ces variables soient identiquement distribuées.

Nous démontrerons ensuite une version généralisée de la Loi Faible des Grands Nombres, puis utiliserons cette Loi généralisée pour :

    * Démontrer le Théorème Fondamental de la Statistique.

    * Esquisser une démonstration du fait que les moments de l'échantillon sont des estimateurs convergents des moments correspondants de la distribution.

LA LOI FAIBLE DES GRANDS NOMBRES

_______________________________________________________

Voir aussi :