Loi forte des grands nombres

Nous vous suggérons de lire dans un premier temps l'entrée relative à la Loi Faible des Grands Nombres.

Lois des Grands Nombres "Faible" et "Forte"

Soit {X_n} une suite de variables aléatoires indépendantes et identiquement distribuées de moyenne commune µ. Soit également ε un nombre positif arbitrairement petit.

qui énonce le fait que la probabilité pour que la moyenne de l'échantillon s'écarte de la moyenne de la distribution de plus de ε tend vers 0 quand la taille de l'échantillon tend vers l'infini (convergence "en probabilité").

La Loi Forte des Grands Nombres porte sur la même question, mais énonce que, aussi petit soit ε

qui exprime le fait que la moyenne empirique converge presque sûrement vers la moyenne de la distribution.

L'expression encadrée n'est pas toujours perçue comme étant parfaitement limpide, et nous allons expliquer ce qu'elle signifie vraiment.

Faiblesse de la théorie élémentaire des probabilités

La théorie élémentaire des probabilités permet de traiter un nombre considérable de problèmes sans avoir besoin de recourir à une formalisation mathématique lourde.

Cependant, elle est impuissante à traiter deux sortes de problèmes (d'ailleurs intimement liés) :

* Décrire des évènements non impossibles, mais si rares qu'il n'est pas possible de leur affecter une probabilité, aussi faible soit-elle. Par exemple, il n'est pas possible d'affecter une probabilité à l'évènement "x = x₀" où x₀ est un nombre réel donné à l'avance.

* Décrire toutes les propriétés de suites infinies d'évènements. Par exemple, si un point se déplace sur une droite selon une marche au hasard, la question se pose de savoir s'il reviendra jamais à son point de départ. Sous des conditions très générales, la réponse est "Oui, presque certainement", ce qui signifie qu'il n'est pas possible d'affecter une probabilité, aussi faible soit-elle, à l'évènement : "Le point ne reviendra jamais à son point de départ", bien que cet évènement ne soit pas impossible.

Il est remarquable que la Théorie des Probabilités soit parvenue à décrire ce genre de situations dans le cadre d'une théorie générale, incluant la théorie élémentaire des probabilités comme cas particulier. Un traitement approprié de la Loi Forte des Grands Nombres exige de recourir à cette théorie générale, qui se situe malheureusement au-delà des limites de ce Glossaire.

Il existe cependant une situation dans laquelle les concepts profonds de "probabilité 0" et "probabilité 1" peuvent être traités rigoureusement sans avoir recours à l'arsenal impressionnant de la théorie générale des probabilités. Nous décrivons maintenant ce cas particulier, qui sera étudié en détail dans les Tutoriels ci-dessous.

Le jeu de Pile ou Face

Correspondance avec les nombres réels

Considérons une suite infinie de lancers d'une pièce honnête. Ecrivons la suite des résultats de ces lancers, avec la convention selon laquelle les "Pile" sont représentés par des "0", et les "Face" sont représentés par des "1". La suite de lancers ressemblera à quelque chose comme

Le mathématicien interprétera cette suite de 0 et de 1, précédée de "0," comme étant le développement binaire (ou "dyadique") d'un nombre réel dans ]0, 1] , et établira donc la correspondance

En fait, nous montrerons que la correspondance n'est pas absolument parfaite, mais le léger écart à la perfection est sans conséquence.

Théorie élémentaire des probabilités

Cette approche est très productive. En particulier, elle permet de généraliser l'approche intuitive de la théorie élémentaire des probabilités qui affecte à l'évènement "x est dans l'intervalle A = ]a, b[ de ]0, 1] la probabilité b - a :

Ainsi, la probabilité pour un point tiré au hasard dans ]0, 1] d'être dans un intervalle donné est égale à la longueur de cet intervalle.

Plus généralement, la probabilité pour un point tiré au hasard dans ]0, 1] d'être dans la réunion d'un nombre fini d'intervalles disjoints est égale à la somme des longueurs de ces intervalles.

"Mesure" d'un ensemble de points

Si l'histoire s'arrêtait là, la correspondance entre "théorie des probabilités" et "propriétés des intervalles de ]0, 1]" ne serait qu'une simple curiosité amusante et sans conséquence.

Cependant, comme annoncé plus haut, et comme nous le montrons ci-dessous, il existe des problèmes très réels de nature probabiliste qui ne peuvent pas s'interpréter en termes de réunions finies d'intervalles en raison du fait que les évènements auxquels on souhaite affecter des probabilités sont bien représentables par des ensembles de points de ]0, 1], mais que ces ensembles ne sont pas des réunions d'intervalles, et n'ont donc pas de "longueur" dans les sens ordinaire du terme.

Un remarquable succès des mathématiques est d'être parvenue à généraliser la notion de "longueur d'un intervalle " à celle de mesure d'à peu près tout ensemble de points (y compris, bien sûr, les intervalles comme cas particulier). Il devient alors possible de poursuivre l'analogie entre "probabilité" et "mesure d'un ensemble de points" dans des situations où la théorie élémentaire des probabilités ne s'applique plus.

Ensembles de mesure nulle

La "Théorie de la Mesure" est un corpus considérable de concepts et de résultats qu'il n'est malheureusement pas possible d'aborder dans ce Glossaire, à l'exception d'un cas particulier très important, celui des "ensembles de mesure nulle", que nous avons déjà brièvement évoqué ici. En particulier, nous avons montré que Q, l'ensemble des nombres rationnels, est de mesure nulle, avec comme conséquence qu'un nombre tiré au hasard est "presque sûrement" irrationnel (un résultat qui n'est même pas exprimable en théorie élémentaire des probabilités).

Ce résultat est presque trivial car l'ensemble des rationnels est dénombrable : il est facile d'exhiber une bijection entre Q et N, l'ensemble des entiers. Il est également tout aussi simple de montrer que tout ensemble dénombrable de points est de mesure nulle.

Certains ensembles sont "trop gros" pour pouvoir être mis en bijection avec N, l'ensemble des entiers. Ainsi, il n'existe pas de bijection entre N et R, l'ensemble des nombres réels, ce dernier ayant "trop d'élements" pour qu'une telle bijection soit possible.

Un ensemble pouvant être mis en bijection avec R est dit "avoir la puissance du continu". L'ensemble des points de ]0, 1] a la puissance du continu.

L'exemple de Loi Forte des Grands Nombres que nous allons étudier sera confronté à un ensemble :

* Ayant la puissance du continu (et donc pouvant être mis en bijection avec ]0, 1]),

* Et pourtant de mesure nulle, c'est à dire pouvant être "enfermé" dans une "boîte" aussi petite que l'on veut.

De tels ensembles, relativement communs en théorie de la mesure, semblent se situer au-delà des capacités de représentation de l'esprit humain.

La Loi Forte des Grands Nombres et le jeu de Pile ou Face

Nous ne démontrerons pas la version complète de la Loi Forte des Grands Nombres, mais seulement celle relative au jeu de Pile ou Face. Cette version restreinte capture néanmoins l'essentiel de l'esprit de la Loi Forte des Grands Nombres complète.

Nombres normaux

Considérons une suite infinie de lancers d'une pièce honnête comme décrit précédemment. On s'attend certainement à ce que cette suite génère autant de "0" que de "1". Plus précisément, on s'attend à ce que la proportion de 1 dans une suite ouvrante de n positions du développement binaire du nombre réel associé à la suite infinie de lancers tende vers 1/2 quand n tend vers l'infini. Cette intuition est confirmée par la Loi Faible des Grands Nombres.

Une suite infinie de 0 et de 1 ayant asymptotiquement une proportion de 1 égale à 1/2 représente un nombre réel qualifié de normal.

Nombre non normaux

Il est facile de construire des suites infinies de 0 et de 1 telles que cet équilibre asymptotique ne soit jamais atteint. Une telle suite est le développement binaire d'un nombre réel qualifié de non normal. Un nombre non normal représente une suite infinie de lancers pour laquelle la proportion de 1 (Face) ne tend pas vers 1/2 lorsque l'on considère des séquences ouvrantes de plus en plus longues.

L'intuition nous dit qu'un tel évènement, bien que possible, doit être extrêmement rare. Pourtant, il n'est pas possible de lui affecter une probabilité, et la description des suites infinies mais déséquilibrées de lancers est au-delà des possibilités de la théorie élémentaire des probabilités.

Théorème de Borel sur les nombres normaux

Oublions pour un moment les probabilités. L'ensemble des nombres non normaux de ]0, 1] est défini sans ambiguïté. Le théorème de Borel sur les nombres normaux, que nous démontrons ci-dessous, énonce que

Ce résultat est loin d'être évident, car nous montrerons que cet ensemble a la puissance du continu.

Le théorème de Borel est un résultat de Théorie des Ensembles, et plus précisément de Théorie de la Mesure.

Théorème de Borel et Loi Forte des Grands Nombres

Nous pouvons maintenant revenir aux probabilités. Une suite infinie de lancers d'une pièce est équivalent au tirage au hasard d'un nombre réel dans ]0, 1]. Gardant présente à l'esprit la correspondance entre "probabilité d'un évènement" et "mesure de l'ensemble de points représentant cet évènement", le théorème de Borel affirme que

La probabilité pour qu'une suite infinie de lancers d'une pièce produise un résultat déséquilibré est égale à 0.

Ceci est, en termes informels, la Loi Forte des Grands Nombres dans le cas particulier d'une suite de variables de Bernoulli indépendantes avec p = 0,5.

Si nous revenons maintenant à la formulation mathématique de la Loi des Grands Nombres :

* Le terme entre accolades exprime le fait que la suite infinie de lancers est déséquilibrée,

* Et P{} = 0 exprime le fait que cet évènement se produit avec une probabilité nulle, dans le sens où l'ensemble de points représentant l'évènement "la suite est déséquilibrée" est de mesure nulle.

La Loi Forte des Grands Nombres générale

Dans le cas de Pile ou Face, la Loi Forte des Grands Nombres est en fait un théorème de théorie de la mesure. L'interprétation que nous en avons donnée en termes probabilistes est basée sur l'interprétation d'une "probabilité nulle" comme étant la probabilité pour qu'un point tiré au hasard appartienne à un ensemble de mesure nulle.

Sous sa forme générale, la Loi Forte ne bénéficie plus de l'interprétation géométrique du développement dyadique des nombres réels. Pour la démontrer, il devient indispensable de définir la notion de probabilité, ce qui ne peut se faire que dans un cadre axiomatique qui n'est pas abordé dans ce Glossaire.

Néanmoins, la démonstration de la Loi Forte suit alors dans ses grandes lignes celle que nous donnons dans le cas particulier du jeu de Pile ou Face. Le lecteur ayant bien compris cette démonstration verra sa compréhension de la démonstration de la Loi Forte générale grandement facilitée.

La Loi Forte est plus forte que la Loi Faible

On montre que la Loi Forte implique la Loi Faible, et que cette dernière peut donc être déduite de la Loi Forte.

Par contre, la réciproque est fausse : on peut exhiber des exemples (à vrai dire assez artificiels) de suites de variables aléatoires vérifiant la Loi Faible des Grands Nombres, mais ne vérifiant pas la Loi Forte. Ceci justifie les qualificatifs de "Faible" et "Forte" appliqués à ces deux Lois.

Etablir ces résultats nécessite malheureusement d'avoir préalablement développé un certain nombre de concepts de la théorie générale des probabilités (même dans le cas particulier simple du jeu de Pile ou Face), et nous les énonçons donc sans démonstration.

Les Lois "Faible" et "Forte" sont de natures différentes

Malgré la similitude de leurs formulations mathématiques, et une certaine difficulté que peut rencontrer le néophyte à distinguer clairement l'une de l'autre, les deux Lois des Grands Nombres sont de natures fondamentalement différentes. Cette question donne lieu à d'intéressants développements, dont nous ne retiendrons que le plus simple :

* La Loi Faible ne considère jamais de séquences infinies de réalisations d'une variable aléatoire. Elle ne traite que de l'évolution de la probabilité de tel ou tel type de séquences finies lorsque l'on fait tendre vers l'infini la longueur de ces séquences.

Dans le cas du jeu de Pile ou Face, la Loi Faible des Grands Nombres est en fait un résultat portant sur le dénombrement des différents types de séquences de 0 et de 1 dans des mots binaires de n bits, comme nous le verrons dans la nouvelle démontration de cette Loi donnée ci-dessous. Elle énonce simplement que la proportion de nombres binaires de n bits dont le déséquilibre entre le nombre de 0 et de 1 dépasse un certain seuil tend vers 0 quand n tend vers l'infini.

* La Loi Forte ne considère, elle, que des suites infinies et même, plus précisément, l'ensemble de toutes les suites infinies de réalisations d'une variable aléatoire. Elle énonce que l'ensemble de ces suites infinies présentant un déséquilibre asymptotique de la moyenne, aussi petit soit-il, est de probabilité nulle dans un sens qui généralise celui d' "ensemble de mesure nulle" que nous avons décrit dans le cas du jeu de Pile ou Face (théorème de Borel).

En tout état de cause, le pont entre la notion de probabilité et le monde réel est la Loi Faible des Grands Nombres, la Loi Forte restant cantonnée dans le monde des mathématiques pures. Par nature, l'observation de variables aléatoires ne porte que sur un nombre fini de réalisations, et aucune expérience ne peut donc distinguer une "convergence presque sure" d'une convergence "en probabilité" (tant est qu'une expérience physique puisse cerner la notion de probabilité, question qui ne semble pas devoir recevoir dans un délai prévisible une réponse universellement acceptée).

Dans ce Tutoriel, nous analysons les propriétés des développements dyadiques" des nombres réels de ]0, 1], c'est à dire de la représentation d'un nombre réel par une suite infinie de 0 et de 1.

Ces propriétés sont au cœur de la correspondance entre la théorie des probabilités et sa représentation dans le monde des ensembles de points de ]0, 1]. En particulier, dans le Tutoriel suivant, nous donnerons une nouvelle démonstration de la Loi Faible des Grands Nombres dans le cadre du développement dyadique des nombres réels.

Dans ce Tutoriel, nous donnons une nouvelle démonstration de la Loi Faible des Grands Nombres dans le cas particulier du jeu de Pile ou Face.

Nous utiliserons dans un premier temps la correspondance entre "probabilité" et "longueur d'un intervalle" pour exprimer la Loi Faible des Grands Nombres en termes de fonctions dyadiques. Nous identifierons alors une borne supérieure de la proportion de séquences dyadiques ouvrantes présentant un certain niveau de déséquilibre, de la même façon que l'inégalité de Bienaymé-Tchebichev mettait une borne supérieure à la probabilité pour que la moyenne empirique s'écarte de la moyenne de la distribution de plus qu'une certaine quantité. Nous ferons alors tendre vers l'infini la longueur des séquences ouvrantes et remarquerons que la proportion de séquences ouvrantes présentant un certain niveau de déséquilibre tend vers 0. Revenant à l'interprétation probabiliste des développements dyadiques, nous concluerons que nous avons démontré la Loi Faible des Grands Nombres.

Pourquoi se donner le mal de démontrer à nouveau cette Loi ? La raison est que l'inégalité de Bienaymé-Tchebichev, bien qu'appropriée pour démontrer la Loi Faible des Grands Nombres, n'est pas très contraignante. La nouvelle borne supérieure que nous identifierons, bien qu'aussi faible que celle de B-T, pourra par la suite être rendue facilement plus contraignante. Lors de la démonstration du Théorème de Borel dans le Tutoriel suivant, nous aurons besoin de la version "renforcée" de cette borne supérieure.

Nous en arrivons enfin à la démonstration du théorème de Borel : l'ensemble des nombres non normaux est de mesure nulle.

Nous commencerons par renforcer la borne supérieure posée par l'inégalité de Bienaymé-Tchebitchev sur la probabilité figurant dans la Loi Faible des Grands Nombres.

Ceci fait, nous identifierons une suite infinie d'ensembles dont l'intersection est incluse dans l'ensemble des nombres normaux. Par complémentation, ceci conduira à une suite d'ensembles dont l'union recouvre l'ensemble des nombres non normaux. Nous montrerons que la somme des mesures des ensembles de cette union peut être rendue arbitrairement petite et donc que l'ensemble des nombres non normaux, bien qu'ayant la puissance du continu, peut être enfermé dans une "boîte" arbitrairement petite, et est donc de mesure nulle. Ceci est la Loi Forte des Grands Nombres dans le cas particulier d'une suite de variables de Bernoulli indépendantes avec p = 0,5.

La démonstration est un petit peu difficile, mais l'effort consenti pour la comprendre est récompensé par la découverte d'une propriété fondamentale (mesure nulle) d'un objet (l'ensemble des nombres non normaux) dont la structure, par sa complexité, semble inaccessible à l'intuition.

Loi Faible des Grands Nombres
Convergence presque sure

Téléchargez ce Glossaire