|
|
|
|
|
|
|
Animation interactive |
|
Normale (Distribution)
Aussi appelée "Loi normale" ou "Distribution gaussienne", ou "Loi gaussienne".
De loin la distribution de probabilité la plus connue.
Une variable aléatoire X est dite avoir une distribution normale si sa densité de probabilité (ddp) est égale à :
|
|
pour une certaine paire de valeurs des paramètres
µ et
.
Le terme :
devant l'exponentielle est un coefficient de normalisation qui garantit que l'intégrale de f(x) est égale à 1, et que f(x) est donc bien une densité de probabilité. Sa valeur est justifiée dans le Tutoriel ci-dessous.
-----
* µ est clairement un "paramètre de position", ou de "tendance centrale".
* alors que est
un "paramètre d'échelle", ou "paramètre de dispersion".
Bien que le "vrai" paramètre soit ,
les applications sont habituellement concernées par ²,
et en conséquence, la distribution normale de paramètres µ et
sera notée N(µ,
²).
Vous retrouverez la forme en cloche symétrique de la distribution normale en de nombreuses occasions sur ce site, ainsi que dans tout texte portant sur la Statistique. Nous en donnons ici un premier exemple avec :
* Une distribution normale (courbe supérieure verte), ainsi qu'un échantillon issu de cette distribution. La moyenne de cet échantillon est marquée d'un point rouge à partir duquel s'étend une ligne verticale rouge vers le bas.
* Une autre distribution normale (courbe rouge inférieure), qui est la distribution théorique de la moyenne des échantillons tirés de la normale verte (nous démontrons ce résultat dans le Tutoriel ci-dessous).
|
Le "Livre des Animations" sur votre ordinateur |
|
* Changez la valeur de l'écart-type de la courbe verte avec le curseur vertical situé dans l'angle supérieur droit de l'animation ("SD"), et observez les variations de largeur des deux gaussiennes.
* Changez la taille de l'échantillon ("Sample size"), et observez le rétrécissement de la gaussienne rouge quand la taille de l'échantillon augmente.
* Les autres contrôles s'expliquent d'eux-mêmes.
Nous verrons à de multiples reprises que la distribution normale particulière N(0, 1) joue un rôle central en Statistique. Elle porte le nom de distribution normale standard.
Soit X ~ N(µ, σ²). Alors la transformation
montre que X ' ~ N(0, 1), une distribution qui ne dépend pas des valeurs de µ et de σ.
Alors, pour tout nombre a :
et les inférences sur X peuvent se ramener à des inférences sur X ', dont l'unique distribution a été tabulée une fois pour toutes.
Soit X une v.a. de distribution N(µ, σ²). Nous montrerons directement que :
|
E[X] = µ |
|
Var(X) = σ² |
La distribution normale est donc entièrement définie par les valeurs de
ses deux premier moments.
Un calcul plus général nous conduira ensuite à l'expression donnant tous les moments d'ordre pair E[X 2k] de la distribution normale standard :
|
|
Le calcul des moments centrés de la distribution normale de variance quelconque se ramène directement à ce résultat.
La fdp de la distribution normale centrée étant paire, ses moments d'ordre impair sont nuls.
Nous montrerons que la fonction génératrice des moments de la distribution normale est :
|
|
Il s'est avéré que le calcul direct des moments de tous ordres était simple et ne nécessitait pas de faire appel à la fonction génératrice des moments. Cependant, celle-ci joue un rôle fondamental dans l'établissement des propriétés :
* D'une somme de variables normales indépendantes (voir ici).
* De la distribution normale multivariée.
|
X ' ~ N(aµ + b, a²σ²) |
Remarquons que, comme pour toute v.a. :
* La moyenne est soumise à la même transformation linéaire que la variable elle-même.
* La variance est multipliée par a² et n'est pas affectée par la translation b.
Donc la partie véritablement originale de ce résultat est que la transformée linéaire d'une variable normale est normale.
Soient {Xi ~ N(µi, σi²)} un ensemble de n variables normales indépendantes. Soit également {a1, a2, ..., an} un ensemble de n nombres réels. Enfin, soit
Y = Σi aiXi
une combinaison linéaire des Xi.
En faisant appel aux propriétés de la fonction génératrice des moments, nous montrerons que
|
Y ~ N(Σi aiµi, Σiai²σ²i) |
Remarquons que, comme pour tout ensemble de v.a. indépendantes :
* La moyenne de la distribution de la combinaison linéaire est la même combinaison linéaire des moyennes des distributions originales.
* La variance de la distribution de la combinaison linéaire est la même combinaison linéaire des variances des distributions originales, mais les coefficients de la combinaison étant élevés au carré.
Donc la partie véritablement originale de ce résultat est que toute combinaison linéaire de variables normales indépendantes est normalement distribuée.
-----
Dans le cas particulier où ai = 1 pour tout i, ce résultat devient :
* La somme de variables normales indépendantes est également normale. La moyenne de la somme est égale à la somme des moyennes, et la variance de la somme est égale à la somme des variances.
Nous établissons également ce résultat ici
en calculant le produit de convolution de deux distributions normales.
-----
Des variables normales non indépendantes peuvent très bien avoir des combinaisons linéaires normalement distribuées (par exemple, X + X avec X normale). Mais nous donnons ici des exemples de combinaison linéaires non normalement distribuées de variables normales non indépendantes.
Le résultat précédent admet une réciproque connue sous le nom de Théorème de Cramér-Levy : si deux v.a. indépendantes X et Y ont leur somme (X + Y) normalement distribuée, alors ces deux variables sont elle-mêmes normalement distribuées. Ce résultat est difficile, et n'est pas abordé dans ce Glossaire.
Soit N(µ, ²)
la distribution normale de moyenne µ et de variance ²,
dont nous tirons des échantillons {Xi} de taille n.
Notons :
* 
la moyenne empirique (moyenne des valeurs de l'échantillon) :
= 1/n.
i
Xi
* S² la variance empirique (variance des valeurs de l'échantillon) :
S² = 1/(n - 1).i(Xi -
)²
Rappelons
que le facteur (n - 1) fait de S² un estimateur sans biais de
la variance ² de
la distribution, un résultat absolument général qui est vrai pour toute distribution.
Elaborer des tests et
des intervalles de confiance sur µ et
² exige
de connaître les distributions de et
de S².
L'animation ci-dessus montre que la moyenne empirique a également une distribution :
* Normale,
* Dont la moyenne est identique à la moyenne de la distribution (ce résultat est vrai pour toute distribution),
* Et de variance ²/n
(ce résultat est également vrai pour toute distribution).
|
|
Nous démontrons ce résultat dans le Tutoriel ci-dessous.
La distribution de la variance empirique S² est telle que :
|
(n - 1)S²/
|
où "
n
- 1" désigne la distribution du Chi-2 à
(n - 1) degrés de liberté (voir ici).
Ce résultat est fondamental, et est démontré ici.
Nous montrons ici que :
* La moyenne empirique
* Et la variance empirique S²
sont des variables aléatoires indépendantes.
-----
Cette propriété est en fait caractéristique de la distribution normale mais la réciproque, difficile, n'est pas abordée dans ce Glossaire.
La moyenne empirique étant distribuée comme N(µ,
²/n),
la moyenne empirique standardisée :
est distribuée comme N(0, 1). De ce résultat découlent les intervalles de confiance et les tests t les plus simples portant sur la valeur de la moyenne d'une distribution normale de variance connue.
Mais le plus souvent, la variance
² est
inconnue, ce qui rend impossible la standardisation de la moyenne de l'échantillon.
On peut cependant estimer
² par la variance
de l'échantillon, et construire ainsi une quantité T qui ne dépend
pas de
², et dont on connait la distribution
: c'est la distribution t
de Student à (n - 1) degrés de liberté (où n est la taille
de l'échantillon).
Il est alors possible d'élaborer des intervalles de confiance et des tests portant :
* Sur la valeur de la moyenne d'une distribution normale de variance inconnue,
* Sur la différence des moyennes de deux distributions normales de même variance inconnue.
Le rapport des variances de deux échantillons issus de deux distributions normales indépendantes et de même variance suit une distribution appelée distribution F (de Fisher).
Les propriétés de la distribution F sont détaillées ici.
-----
D'autres quantités suivent également la distribution F, qui a un rôle central :
* En Analyse de la Variance (ANOVA).
* En Régression Linéaire Simple ou Multiple dans les tests portant sur la validité des modèles ajustés.
La distribution normale fut introduite initialement comme forme limite de la distribution binomiale B(n, p) pour de grandes valeurs de n. L'authentique distribution binomiale est alors impossible à calculer exactement en raison de la présence de factorielles qui conduisent rapidement à la manipulation de nombres gigantesques. Le besoin se fit alors sentir d'une formule approximative plus facile à manipuler. Dès la première moitié du 18ème siècle, de Moivre (avec l'aide de son ami Stirling) fut le premier à identifier la forme analytique que l'on appelle aujourd'hui " distribution normale". Plus précisément, il montra que si X est une v.a. B(n, p), alors :
(avec q = 1 - p), où l'on reconnait np comme étant la moyenne de la distribution binomiale, et npq sa variance.
La distribution normale était née.
La distribution de Poisson
est une autre approximation de la distribution binomiale pour les grandes
valeurs de n, qui est plus précise que la distribution normale lorsque
p (ou 1 - p) a une valeur très petite.
Mais il s'avéra plus tard que la distribution normale a une origine plus profonde. Ce que de Moivre observa avec la distribution binomiale est en fait un cas particulier d'une situation beaucoup plus générale.
Soit {Xi}une suite infinie de v.a. indépendantes. Nous pouvons construire une autre suite infinie de v.a. définie par :
Yn est donc définie comme la somme des n premières Xi.
On montre alors que, sous des conditions assez peu contraignantes sur les {Xi}, la variable :
converge en loi vers N(0, 1) quand n tend vers l'infini.
Ce résultat fondamental est connu sous le nom de "Théorème Central Limite", ou "Théorème de la Limite Centrale".
Vous vous convaincrez aisément que le résultat obtenu par de Moivre est un cas particulier du Théorème Central Limite, les variables Xi étant des variables de Bernoulli indépendantes de même paramètre p.
-----
Le Théorème Central Limite "explique" pourquoi tant de distributions observées dans les applications ressemblent à des distributions normales. Il arrive fréquemment qu'une grandeur soit le résultat de l'addition d'un très grand nombre de petites causes aléatoires mais indépendantes et de distributions de probabilité identiques. Alors, quelle que soit la nature de cette distribution, la grandeur observée aura une distribution normale.
La distribution normale apparaît donc comme une distribution universelle.
Nous montrons ici que :
* La moyenne empirique 
est
une statistique exhaustive pour la moyenne µ de la distribution
normale quand la valeur de la variance σ² est connue.
* Σi (xi - µ)² est une statistique exhaustive pour la variance σ² quand la valeur de la moyenne µ est connue.
* La paire (,
Σi xi²) est exhaustive
pour la paire (µ, σ²) quand les valeurs de ces paramètres sont
toutes deux inconnues.
-----
Nous montrons ici que ces statistiques sont non seulement exhaustives, mais également exhaustives minimales.
Nous montrons ici
que la distribution normale appartient à la famille exponentielle. Nous en déduirons
que
est un estimateur efficace
de la moyenne µ.
La notion de "normalité" s'étend au cas de la distribution conjointe de plusieurs variables, et la distribution normale multivariée est probablement la distribution multivariée la plus importante. Ses propriétés sont détaillées ici.
Pouvoir simuler une variable aléatoire normale est évidemment une question importante en raison de l'omniprésence de la distribution normale. La technique de simulation d'une variable normale la plus répandue est la transformation de Box-Muller.
_____________________________________________________
|
Tutoriel 1 |
Dans ce premier Tutoriel, nous établissons les propriétés élémentaires de la distribution normale.
* Nous calculons dans un premier temps la valeur du coefficient de normalisation de la distribution normale.
* Puis nous calculons la
moyenne et la variance de la distribution normale à partir de leurs définitions. Le calcul de la moyenne
est simple, celui de la variance un peu plus difficile. Nous découvrirons sans
surprise que la moyenne est égale à µ et que la variance est égale à
².
* Nous utilisons ensuite une méthode un peu plus générale pour calculer la formule unique donnant les moments (pairs) de tous ordres de la distribution normale standard.
* Enfin nous calculons la fonction génératrice des moments de la distribution normale. Nous calculerons alors à nouveau la moyenne et la variance de la distribution normale à partir de cette fgm.
-----
Nous insistons sur l'importance de la distribution normale standard N(0, 1), qui est la pierre angulaire des intervalles de confiance et des tests t les plus simples.
PROPRIETES ELEMENTAIRES
DE LA DISTRIBUTION NORMALE
|
Coefficient de normalisation Moyenne et variance (Calcul direct) Moyenne Variance Fonction génératrice des moments Premiers moments Moyenne Variance Moments de tous ordres Distribution normale standard Définition Fonction de répartition Importance de la distribution normale standard Exemple 1 Exemple 2 |
||
|
TUTORIEL |
|
|
______________________________________________
|
Tutoriel 2 |
Nous procédons maintenant à l'estimation des paramètres de la distribution normale.
Nous utilisons d'abord la Méthode des moments, puis la méthode du Maximum de Vraisemblance (MV). Nous verrons que la solution par MV est unique (ce qui n'est pas toujours le cas). Nous verrons également que l'estimateur de la variance par la méthode des moments est meilleur que celui du MV, qui souffre d'un léger biais (cette situation est plus une exception qu'une règle).
Ces résultats sont illustrés par une animation interactive.
ESTIMATION DES PARAMETRES
DE LA DISTRIBUTION NORMALE
|
Estimation par la méthode des moments Estimation par la méthode du Maximum de Vraisemblance La log-vraisemblance Estimateur du MV de la moyenne Estimateur du MV de la variance Estimateur Biais de l'estimateur de la variance _______________________________
|
||||||
|
TUTORIAL |
|
|||||
________________________________________________________
|
Tutoriel 3 |
Nous établissons maintenant deux propriétés importantes
des variables aléatoires normalement distribuées :
* La transformée linéaire d'une v.a. normale est
normale, et nous calculons ses paramètres.
* La somme de v.a. normales
indépendantes est normale, et nous
calculons ses paramètres. La condition d'indépendance est importante, et
nous donnons ici
deux exemples de paires {X, Y} de variables normales mais non indépendantes,
et dont les sommes Z = X + Y ne sont pas normalement distribuées.
Nous déduirons de ces résultats la distribution de
la moyenne empirique de la distribution normale.
SOMME DE VARIABLES ALEATOIRES NORMALES
|
Transformation linéaire d'une variable normale Première solution : propriétés générales des transformations de variables Deuxième solution : fonction génératrice des moments Combinaison de v.a. normales indépendantes Remarque préliminaire Somme de v.a. normales indépendantes Combinaison linéaire de v.a. normales indépendantes Distribution de la moyenne empirique d'une distribution normale |
||
|
TUTORIEL |
|
|
__________________________________________________________________________
|
Tutoriel 4 |
L'animation et l'exercice suivants illustrent la notion de "paramètre aléatoire".
Nous définissons la v.a. X en décrivant la façon dont une de ses réalisations est obtenue.
* Y est une v.a. de distribution
normale N(0, s²). Soit m la valeur d'un tirage de Y.
* Soit maintenant la distribution normale N(m,
²). Nous en tirons une observation, que nous
considérons comme une réalisation de X.
Autrement dit, la distribution de X peut être interprétée comme étant :
* Une distribution normale
N(µ, ²),
* Dont le paramètre µ est lui-même une v.a. de distribution normale : µ ~ N(0, s²).
-----
Quelle est la distribution de X ?
Dans le Tutoriel ci-dessous, nous donnons deux solutions :
1) Une solution "courte", qui fait appel aux résultats du Tutoriel précédent.
2) Une solution "longue" mais instructive, qui est un exemple de calcul d'une densité de probabilité connaissant la densité conditionnellement à une variable auxiliaire, ainsi que la distribution de cette variable de conditionnement.
|
Le "Livre des Animations" sur votre ordinateur |
|
* La distribution de µ est la gaussienne verte dans la partie supérieure de l'animation. Son écart-type (s) peut être modifié par le curseur vertical situé à la droite de cette courbe.
* La distribution N(0,
²) est la gaussienne bleue située dans la partie
médiane de l'animation. Son écart-type () peut
être modifié par le curseur vertical situé à la droite de cette courbe.
* La distribution théorique de
X est la courbe rouge située dans la partie inférieure de l'animation.
Observez que tout changement de s ou de se
traduit par une modification de la distribution de X.
-----
* Cliquez à plusieurs reprises sur "Next". Un point vert est tiré de la distribution N(0, s²). Ce point définit la position de la moyenne de la distribution bleue, d'où est ensuite tiré un point bleu.
Le but de l'exercice est de calculer la distribution des points bleus..
-----
* Cliquez sur "Go", et observez la construction progressive de l'histogramme de la distribution de X.
DISTRIBUTION NORMALE DONT LA MOYENNE
EST ELLE-MÊME UNE V.A. NORMALE
|
Première solution Deuxième solution : calcul d'une densité connaissant
la densité conditionnelle Animation interactive |
||
|
TUTORIEL |
|
|
_____________________________________________________
Voir aussi :
|
|
|
|
Téléchargez ce Glossaire |
|
|
|
|
|
