Animation interactive

Normale  (Distribution)

Aussi appelée "Loi normale" ou "Distribution gaussienne", ou "Loi gaussienne".

 

De loin la distribution de probabilité la plus connue.

Définition de la distribution normale

Une variable aléatoire X est dite avoir une distribution normale si sa densité de probabilité (ddp) est égale à :

 

 

 

pour une certaine paire de valeurs des paramètres µ et .

Le terme :

devant l'exponentielle est un coefficient de normalisation qui garantit que l'intégrale de f(x) est égale à 1, et que f(x) est donc bien une densité de probabilité. Sa valeur est justifiée dans le Tutoriel ci-dessous.

-----

    * µ est clairement un "paramètre de position", ou de "tendance centrale".

    * alors que  est un "paramètre d'échelle", ou "paramètre de dispersion".

 

Bien que le "vrai" paramètre soit , les applications sont habituellement concernées par ², et en conséquence, la distribution normale de paramètres µ et  sera notée N(µ, ²).

-----

 

Vous retrouverez la forme en cloche symétrique de la distribution normale en de nombreuses occasions sur ce site, ainsi que dans tout texte portant sur la Statistique. Nous en donnons ici un premier exemple avec :

   * Une distribution normale (courbe supérieure verte), ainsi qu'un échantillon issu de cette distribution. La moyenne de cet échantillon est marquée d'un point rouge à partir duquel s'étend une ligne verticale rouge vers le bas.

   * Une autre distribution normale (courbe rouge inférieure), qui est la distribution théorique de la moyenne des échantillons tirés de la normale verte (nous démontrons ce résultat dans le Tutoriel ci-dessous).

 

 

 

Le "Livre des Animations" sur votre ordinateur

 

 

    * Changez la valeur de l'écart-type de la courbe verte avec le curseur vertical situé dans l'angle supérieur droit de l'animation ("SD"), et observez les variations de largeur des deux gaussiennes.

    * Changez la taille de l'échantillon ("Sample size"), et observez le rétrécissement de la gaussienne rouge quand la taille de l'échantillon augmente.

    * Les autres contrôles s'expliquent d'eux-mêmes.

Distribution normale standard

Nous verrons à de multiples reprises que la distribution normale particulière N(0, 1) joue un rôle central en Statistique. Elle porte le nom de distribution normale standard.

 

Soit X ~ N(µ, σ²). Alors la transformation

 

montre que X ' ~ N(0, 1), une distribution qui ne dépend pas des valeurs de µ et de σ.

Alors, pour tout nombre a :

 

et les inférences sur X peuvent se ramener à des inférences sur X ', dont l'unique distribution a été tabulée une fois pour toutes.

Moments

Soit X une v.a. de distribution N(µ, σ²). Nous montrerons directement que :

Moyenne

 

E[X] = µ

 

Variance

 

Var(X) = σ²

 


La distribution normale est donc entièrement définie par les valeurs de ses deux premier moments.

Moments de tous ordres

Un calcul plus général nous conduira ensuite à l'expression donnant tous les moments d'ordre pair E[X 2k] de la distribution normale standard :

 

 

 

 

Le calcul des moments centrés de la distribution normale de variance quelconque se ramène directement à ce résultat.

La fdp de la distribution normale centrée étant paire, ses moments d'ordre impair sont nuls.

Fonction génératrice des moments

Nous montrerons que la fonction génératrice des moments de la distribution normale est :

 

 

 

Il s'est avéré que le calcul direct des moments de tous ordres était simple et ne nécessitait pas de faire appel à la fonction génératrice des moments. Cependant, celle-ci joue un rôle fondamental dans l'établissement des propriétés :

    * D'une somme de variables normales indépendantes (voir ici).

    * De la distribution normale multivariée.

Propriétés des variables aléatoires normalement distribuées

Transformée linéaire d'une variable normale

Soit X ~ N(µ, σ²), et soient a et b deux nombres réels quelconques. Soit X ' = aX + b. Nous montrerons que :

 

X ' ~ N(aµ + b, a²σ²)

 

Remarquons que, comme pour toute v.a. :

    * La moyenne est soumise à la même transformation linéaire que la variable elle-même.

    * La variance est multipliée par a² et n'est pas affectée par la translation b.

 

Donc la partie véritablement originale de ce résultat est que la transformée linéaire d'une variable normale est normale.

Combinaison linéaire de variables normales indépendantes

Soient {Xi ~ N(µi, σi²)} un ensemble de n variables normales indépendantes. Soit également {a1, a2, ..., an} un ensemble de n nombres réels. Enfin, soit

une combinaison linéaire des Xi.

En faisant appel aux propriétés de la fonction génératrice des moments, nous montrerons que

 

Y ~ N(Σi aiµi, Σiai²σ²i)

 

 

Remarquons que, comme pour tout ensemble de v.a. indépendantes :

    * La moyenne de la distribution de la combinaison linéaire est la même combinaison linéaire des moyennes des distributions originales.

    * La variance de la distribution de la combinaison linéaire est la même combinaison linéaire des variances des distributions originales, mais les coefficients de la combinaison étant élevés au carré.

 

Donc la partie véritablement originale de ce résultat est que toute combinaison linéaire de variables normales indépendantes est normalement distribuée.

-----

Dans le cas particulier où ai = 1 pour tout i, ce résultat devient :

    * La somme de variables normales indépendantes est également normale. La moyenne de la somme est égale à la somme des moyennes, et la variance de la somme est égale à la somme des variances.


Nous établissons également ce résultat ici en calculant le produit de convolution de deux distributions normales.

-----

Des variables normales non indépendantes peuvent très bien avoir des combinaisons linéaires normalement distribuées (par exemple, X + X avec X normale). Mais nous donnons ici des exemples de combinaison linéaires non normalement distribuées de variables normales non indépendantes.

Théorème de Cramér-Levy

Le résultat précédent admet une réciproque connue sous le nom de Théorème de Cramér-Levy : si deux v.a. indépendantes X et Y ont leur somme (X + Y) normalement distribuée, alors ces deux variables sont elle-mêmes normalement distribuées. Ce résultat est difficile, et n'est pas abordé dans ce Glossaire.

Statistique des échantillons normaux

Soit N(µ, ²) la distribution normale de moyenne µ et de variance ², dont nous tirons des échantillons {Xi} de taille n. Notons :

    * la moyenne empirique (moyenne des valeurs de l'échantillon) :

= 1/n.i Xi

    * S² la variance empirique (variance des valeurs de l'échantillon) :

S² = 1/(n - 1).i(Xi -


Rappelons que le facteur (n - 1) fait de S² un estimateur sans biais de la variance ² de la distribution, un résultat absolument général qui est vrai pour toute distribution.

Elaborer des tests et des intervalles de confiance sur µ et ² exige de connaître les distributions de  et de S².

Distribution de la moyenne empirique

L'animation ci-dessus montre que la moyenne empirique a également une distribution :

    * Normale,

    * Dont la moyenne est identique à la moyenne de la distribution (ce résultat est vrai pour toute distribution),

    * Et de variance ²/n (ce résultat est également vrai pour toute distribution).

~ N(µ, ²/n)  

 

Nous démontrons ce résultat dans le Tutoriel ci-dessous.

Distribution de la variance empirique, distribution du Chi-2

La distribution de la variance empirique S² est telle que :

(n - 1)S²/ ² ~ n - 1

 

où "n - 1" désigne la distribution du Chi-2 à (n - 1) degrés de liberté (voir ici). Ce résultat est fondamental, et est démontré ici.

Indépendance de la moyenne et de la variance empiriques

Nous montrons ici que :

    * La moyenne empirique

    * Et la variance empirique S²

sont des variables aléatoires indépendantes.

-----

Cette propriété est en fait caractéristique de la distribution normale mais la réciproque, difficile, n'est pas abordée dans ce Glossaire.

Distribution t (de Student)

La moyenne empirique  étant distribuée comme N(µ, ²/n), la moyenne empirique standardisée :

 

est distribuée comme N(0, 1). De ce résultat découlent les intervalles de confiance et les tests t les plus simples portant sur la valeur de la moyenne d'une distribution normale de variance connue.

Mais le plus souvent, la variance ² est inconnue, ce qui rend impossible la standardisation de la moyenne de l'échantillon. On peut cependant estimer ² par la variance de l'échantillon, et construire ainsi une quantité T qui ne dépend pas de ², et dont on connait la distribution : c'est la distribution t de Student à (n - 1) degrés de liberté (où n est la taille de l'échantillon).

 

Il est alors possible d'élaborer des intervalles de confiance et des tests portant :

    * Sur la valeur de la moyenne d'une distribution normale de variance inconnue,

    * Sur la différence des moyennes de deux distributions normales de même variance inconnue.

Distribution F (de Fisher)

Le rapport des variances de deux échantillons issus de deux distributions normales indépendantes et de même variance suit une distribution appelée distribution F (de Fisher).

Les propriétés de la distribution F sont détaillées ici.

-----

D'autres quantités suivent également la distribution F, qui a un rôle central :

    * En Analyse de la Variance (ANOVA).

    * En Régression Linéaire Simple ou Multiple dans les tests portant sur la validité des modèles ajustés.

Origine de la distribution normale

La distribution normale fut introduite initialement comme forme limite de la distribution binomiale B(n, p) pour de grandes valeurs de n. L'authentique distribution binomiale est alors impossible à calculer exactement en raison de la présence de factorielles qui conduisent rapidement à la manipulation de nombres gigantesques. Le besoin se fit alors sentir d'une formule approximative plus facile à manipuler. Dès la première moitié du 18ème siècle, de Moivre (avec l'aide de son ami Stirling) fut le premier à identifier la forme analytique que l'on appelle aujourd'hui " distribution normale". Plus précisément, il montra que si X est une v.a. B(n, p), alors :

(avec q = 1 - p), où l'on reconnait np comme étant la moyenne de la distribution binomiale, et npq sa variance.

La distribution normale était née.


La distribution de Poisson est une autre approximation de la distribution binomiale pour les grandes valeurs de n, qui est plus précise que la distribution normale lorsque p (ou 1 - p) a une valeur très petite.

Le Théorème Central Limite

Mais il s'avéra plus tard que la distribution normale a une origine plus profonde. Ce que de Moivre observa avec la distribution binomiale est en fait un cas particulier d'une situation beaucoup plus générale.

Soit {Xi}une suite infinie de v.a. indépendantes. Nous pouvons construire une autre suite infinie de v.a. définie par :

 

Yn est donc définie comme la somme des n premières Xi.

On montre alors que, sous des conditions assez peu contraignantes sur les {Xi}, la variable :

 

converge en loi vers N(0, 1) quand n tend vers l'infini.

Ce résultat fondamental est connu sous le nom de "Théorème Central Limite", ou "Théorème de la Limite Centrale".

Vous vous convaincrez aisément que le résultat obtenu par de Moivre est un cas particulier du Théorème Central Limite, les variables Xi étant des variables de Bernoulli indépendantes de même paramètre p.

-----

Le Théorème Central Limite "explique" pourquoi tant de distributions observées dans les applications ressemblent à des distributions normales. Il arrive fréquemment qu'une grandeur soit le résultat de l'addition d'un très grand nombre de petites causes aléatoires mais indépendantes et de distributions de probabilité identiques. Alors, quelle que soit la nature de cette distribution, la grandeur observée aura une distribution normale.

La distribution normale apparaît donc comme une distribution universelle.

Statistiques exhaustives

Nous montrons ici que :

    * La moyenne empirique est une statistique exhaustive pour la moyenne µ de la distribution normale quand la valeur de la variance σ² est connue.

    * Σi (xi - µ)² est une statistique exhaustive pour la variance σ² quand la valeur de la moyenne µ est connue.

    * La paire (, Σi xi²) est exhaustive pour la paire (µ, σ²) quand les valeurs de ces paramètres sont toutes deux inconnues.

-----

Nous montrons ici que ces statistiques sont non seulement exhaustives, mais également exhaustives minimales.

Famille exponentielle

Nous montrons ici que la distribution normale appartient à la famille exponentielle. Nous en déduirons que est un estimateur efficace de la moyenne µ.

Distribution normale multivariée

La notion de "normalité" s'étend au cas de la distribution conjointe de plusieurs variables, et la distribution normale multivariée est probablement la distribution multivariée la plus importante. Ses propriétés sont détaillées ici.

Simulation de la distribution normale

Pouvoir simuler une variable aléatoire normale est évidemment une question importante en raison de l'omniprésence de la distribution normale. La technique de simulation d'une variable normale la plus répandue est la transformation de Box-Muller.

_____________________________________________________

 

 

Tutoriel 1

 

Dans ce premier Tutoriel, nous établissons les propriétés élémentaires de la distribution normale.

    * Nous calculons dans un premier temps la valeur du coefficient de normalisation de la distribution normale.

    * Puis nous calculons la moyenne et la variance de la distribution normale à partir de leurs définitions. Le calcul de la moyenne est simple, celui de la variance un peu plus difficile. Nous découvrirons sans surprise que la moyenne est égale à µ et que la variance est égale à ².

    * Nous utilisons ensuite une méthode un peu plus générale pour calculer la formule unique donnant les moments (pairs) de tous ordres de la distribution normale standard.

    * Enfin nous calculons la fonction génératrice des moments de la distribution normale. Nous calculerons alors à nouveau la moyenne et la variance de la distribution normale à partir de cette fgm.

-----

Nous insistons sur l'importance de la distribution normale standard N(0, 1), qui est la pierre angulaire des intervalles de confiance et des tests t les plus simples.

 

 

 

PROPRIETES ELEMENTAIRES

DE LA DISTRIBUTION NORMALE

Coefficient de normalisation

Moyenne et variance (Calcul direct)

Moyenne

Variance

Fonction génératrice des moments

Premiers moments

Moyenne

Variance

Moments de tous ordres

Distribution normale standard

Définition

Fonction de répartition

Importance de la distribution normale standard

Exemple 1

Exemple 2

TUTORIEL

______________________________________________

 

 

Tutoriel 2

 

Nous procédons maintenant à l'estimation des paramètres de la distribution normale.

Nous utilisons d'abord la Méthode des moments, puis la méthode du Maximum de Vraisemblance (MV). Nous verrons que la solution par MV est unique (ce qui n'est pas toujours le cas). Nous verrons également que l'estimateur de la variance par la méthode des moments est meilleur que celui du MV, qui souffre d'un léger biais (cette situation est plus une exception qu'une règle).

Ces résultats sont illustrés par une animation interactive.

 

 

ESTIMATION DES PARAMETRES

DE LA DISTRIBUTION NORMALE

Estimation par la méthode des moments

Estimation par la méthode du Maximum de Vraisemblance

La log-vraisemblance

Estimateur du MV de la moyenne

Estimateur du MV de la variance

Estimateur

Biais de l'estimateur de la variance

_______________________________

 

 Animation interactive

* Echantillon tiré d'une distribution normale.

* Ajustement manuel d'une distribution normale
    jusqu'à son Maximum de Vraisemblance.

TUTORIAL

 ________________________________________________________

 

 

Tutoriel 3

 

Nous établissons maintenant deux propriétés importantes des variables aléatoires normalement distribuées :
   * La transformée linéaire d'une v.a. normale est normale, et nous calculons ses paramètres.
   * La somme de v.a. normales indépendantes est normale, et nous calculons ses paramètres. La condition d'indépendance est importante, et nous donnons ici deux exemples de paires {X, Y} de variables normales mais non indépendantes, et dont les sommes Z = X + Y ne sont pas normalement distribuées.


Nous déduirons de ces résultats la distribution de la moyenne empirique de la distribution normale.

 

 

SOMME DE VARIABLES ALEATOIRES NORMALES

Transformation linéaire d'une variable normale

Première solution : propriétés générales des transformations de variables

Deuxième solution : fonction génératrice des moments

Combinaison de v.a. normales indépendantes

Remarque préliminaire

Somme de v.a. normales indépendantes

Combinaison linéaire de v.a. normales indépendantes

Distribution de la moyenne empirique d'une distribution normale

TUTORIEL

__________________________________________________________________________

 

 

Tutoriel 4

 

L'animation et l'exercice suivants illustrent la notion de "paramètre aléatoire".

Nous définissons la v.a. X en décrivant la façon dont une de ses réalisations est obtenue.

   * Y est une v.a. de distribution normale N(0, s²). Soit m la valeur d'un tirage de Y.
   * Soit maintenant la distribution normale N(m, ²). Nous en tirons une observation, que nous considérons comme une réalisation de X.

Autrement dit, la distribution de X peut être interprétée comme étant :

    * Une distribution normale N(µ, ²),

    * Dont le paramètre µ est lui-même une v.a. de distribution normale : µ ~ N(0, s²).

-----

Quelle est la distribution de X ?

Dans le Tutoriel  ci-dessous, nous donnons deux solutions :

    1) Une solution "courte", qui fait appel aux résultats du Tutoriel précédent.

    2) Une solution "longue" mais instructive,  qui est un exemple de calcul d'une densité de probabilité connaissant la densité conditionnellement à une variable auxiliaire, ainsi que la distribution de cette variable de conditionnement.

 

 

 

Le "Livre des Animations" sur votre ordinateur

 

 

 

    * La distribution de  µ est la gaussienne verte dans la partie supérieure de l'animation. Son écart-type (s) peut être modifié par le curseur vertical situé à la droite de cette courbe.

    * La distribution N(0, ²) est la gaussienne bleue située dans la partie médiane de l'animation. Son écart-type () peut être modifié par le curseur vertical situé à la droite de cette courbe.

    * La distribution théorique de X est la courbe rouge située dans la partie inférieure de l'animation. Observez que tout changement de s ou de  se traduit par une modification de la distribution de X.

-----

    * Cliquez à plusieurs reprises sur "Next". Un point vert est tiré de la distribution N(0, s²). Ce point définit la position de la moyenne de la distribution bleue, d'où est ensuite tiré un point bleu.

Le but de l'exercice est de calculer la distribution des points bleus..

-----

    * Cliquez sur "Go", et observez la construction progressive de l'histogramme de la distribution de X.

 

 

DISTRIBUTION NORMALE DONT LA MOYENNE

EST ELLE-MÊME UNE V.A. NORMALE

Première solution

Deuxième solution : calcul d'une densité connaissant la densité conditionnelle
et la distribution de la variable de conditionnement

Animation interactive

TUTORIEL

 

_____________________________________________________

 

Voir aussi :

Distribution binomiale

Théorème Central Limite

Tests t

Distribution normale bivariée

Distribution normale multivariée

Téléchargez ce Glossaire