Estimation par intervalle

Si vous n'êtes pas familarisé avec la notion d'estimation, nous vous suggérons de lire dans un premier temps l'entrée relative à l'estimation ponctuelle.

Etant donné un échantillon de taille n issu d'une distribution f(x, θ), un estimateur "ponctuel" θ^* du paramètre θ produit un nombre θ_*, l'estimation de la valeur θ₀ du paramètre θ de la distribution. Si cet estimateur possède les propriétés attendues d'un bon estimateur, l'estimation θ_* est notre meilleur pari sur la valeur vraie θ₀ du paramètre θ. Cependant, θ_* n'est qu'un nombre "nu", sans aucune information sur sa proximité avec θ₀. Tout ce que nous savons est que, en termes vagues, θ_* n'est probablement pas très éloigné de θ₀, mais cette intuition n'est supportée par aucune information numérique sur les termes "probablement " et "éloigné". Par exemple, la moyenne de l'échantillon

a toutes les vertus que l'on peut attendre d'un bon estimateur de la moyenne µ d'une distribution. Pourtant, la connaissance de la moyenne de l'échantillon ne donne par elle-même aucune information sur sa distance à la moyenne µ.

Nous voudrions donc une procédure qui nous permette de savoir, en termes probabilistes, où se trouve la valeur θ₀ du paramètre θ. C'est l'objectif que se fixe l'estimation par intervalle.

Intervalle de confiance et niveau de confiance

Plus précisément, étant donné un échantillon, nous voulons identifier un intervalle sur la droite des valeurs du paramètre :

* Dont les extrémités soient déterminées uniquement par l'échantillon (et qui soient donc des v.a., et plus précisément, des statistiques),

"La probabilité pour que cet intervalle recouvre la vraie valeur θ₀ est égale à P."

où P est une probabilité arbitrairement fixée par l'analyste (en général, 0,90 ou 0,95).

Cette phrase mérite quelques explications. Supposons que nous sachions construire un tel segment. Nous tirons alors un grand nombre de n-échantillons. Pour chaque échantillon, un nouvel intervalle est construit par notre procédure. Alors, dans 100.P% des cas, cet intervalle recouvrira θ₀.

Pour un échantillon donné, nous aurons donc identifié une région limitée qui recouvre θ₀ avec la probabilité P. Si P est grand (disons, 0,95), nous avons identifié une région qui recouvre presque certainement θ₀.

Remarquez que nous avons résisté à la tentation de dire "La probabilité pour que θ₀ soit dans l'intervalle est P". En effet, θ₀ est inconnu, mais n'est pas une variable aléatoire : seul l'intervalle est aléatoire.

Un intervalle tel que décrit ci-dessus, lorsqu'il peut être identifié, s'appelle un intervalle de confiance, et la probabilité P s'appelle le niveau de confiance associé à cet intervalle de confiance.

Remarquons que la construction d'un intervalle de confiance ne requiert pas, en principe, de procéder dans un premier temps à une estimation ponctuelle du paramètre.

Définition formelle d'un intervalle de confiance

La définition générale d'un estimateur ponctuel est "Une fonction quelconque de l'échantillon (càd une "statistique"). Qu'une statistique particulière présente un intérêt dans le but d'estimer la valeur d'un paramètre dépend de ses propriétés (p.ex. convergence, absence de biais, Erreur Quadratique Moyenne).

Que la paire de fonctions [G(x), D(x)] présente un intérêt dans le but de localiser la valeur θ₀ du paramètre dépend :

* De la possibilité d'affecter une probabilité de recouvrement de θ₀ (niveau de confiance) pour chaque échantillon x,

* Du fait que les intervalles [G(x), D(x)] restent raisonnablement courts (voir ci-dessous) pour des niveaux de confiance élevés.

Généralisation de la notion de "Niveau de confiance"

La définition du "niveau de confiance" donnée ci-dessus suppose que l'on soit dans la circonstance particulièrement favorable où il est possible d'affecter, à un intervalle donné, une probabilité de recouvrement de la valeur θ₀ du paramètre. En particulier, ceci suppose que cette probabilité ait la même valeur quelle que soit la valeur de θ₀.

Il arrive fréquemment que l'on soit dans la situtation moins favorable suivante : pour une valeur θ₀ donnée, il existe bien une probabilité P_θ de recouvrement de θ₀ par l'intervalle, mais cette probabilité dépend de θ₀ (qui est bien sûr inconnu), et ne peut donc être calculée. La notion de "niveau de confiance" perd alors son sens.

Cependant, il est alors parfois possible de calculer la plus petite valeur P que prend la probabilité P_θ sur l'ensemble du domaine de θ :

Au vu d'un échantillon, on peut alors construire un intervalle et affirmer que la probabilité pour que cet intervalle recouvre θ₀ est au moins égale à P.

Intervalles de confiance sur la moyenne d'une distribution normale

Nous décrivons ci-dessous ce qui est peut-être le plus simple des intervalles de confiance : celui portant sur l'estimation de la moyenne d'une distribution normale.

Soit N(µ, σ²) une distribution normale (courbe rouge de l'illustration ci-dessous), dont un n-échantillon est tiré. La variance σ² est supposée connue, mais pas la moyenne µ. Nous utilisons la moyenne de l'échantillon m comme estimateur de la moyenne µ de la distribution. Elle a la distribution N(µ, σ²/n) (courbe bleue).

La distribution de m peut être changée en une distribution normale standard (moyenne nulle, variance unité) par la transformation T :

Plaçons deux points G' et D' sur cette distribution normale standard de telle façon que l'aire sous chacune des ailes de la gaussienne soit, disons, 0,025 (régions rouges). La transformation inverse de T transforme ces points en G et D. La moyenne m a la probabilité 0,95 d'être en dehors des régions rouges, et il en est de même pour m'.

Plus généralement, si on note la probabilité P (arbitrairement choisie par l'analyste) par 1 - α, alors :

où z_α_/2 est l'abscisse telle que l'aire sous la gaussienne standard à droite de z_α_/2 soit égale à α /2.

-----
Ces deux expressions sont équivalentes mais ont des interprétations différentes :

* La première expression est la probabilité pour que la v.a. m soit à l'intérieur d'un intervalle fixe, centré sur µ, et de longueur 2(.z_α_/2 .σ.n^-^1/2 ).

* La deuxième expression est la probabilité pour qu'un certain intervalle aléatoire centré sur m, lui aussi de longueur 2(.z_α_/2 .σ.n^-^1/2 ), recouvre µ.

* Et qui recouvre la moyenne µ de la distribution avec une probabilité donnée P = 1 - α,

L'intervalle s'appelle l'intervalle de confiance associé à m (segment vert dans l'illustration ci-dessus) pour le niveau de confiance 1 - α.

La longueur de l'intervalle de confiance, 2(.z_α_/2 .σ.n^-^1/2 ), est proportionnelle à l'écart-type de la distribution, et donc à l'écart-type de la distribution de m, l'estimation de µ. On peut donc dire que :

* L'estimation ponctuelle porte sur la tendance centrale de la distribution de l'estimateur paramètre.

* L'estimation par intervalle porte à la fois sur la tendance centrale et sur l'étendue de la distribution de l'estimateur du paramètre.

On remarquera que dans ce cas particulier très simple, la longueur de l'intervalle de confiance ne dépend de l'échantillon que par l'intermédiaire de la taille n de cet échantillon. Pour un niveau de confiance donné, on peut donc calculer le nombre d'observations à collecter de façon à ce que les intervalles de confiance aient une longueur donnée. Inversement, si le nombre d'observations est imposé (par des limites pratiques de temps ou de budget), la longueur des intervalles de confiance est imposée par le niveau de confiance choisi.

Pivot

Dans l'exemple ci-dessus, ce qui a rendu facile l'identification d'intervalles de confiance est la découverte d'une grandeur

Plus généralement, on appelle "fonction pivotale", ou pivot, une quantité dont la distribution ne dépend pas de la valeur du paramètre considéré. Notons qu'un pivot n'est pas une statistique parce que sa définition ne dépend pas seulement des observations dans l'échantillon, mais également de la valeur θ₀ du paramètre (ici, µ).

peut être utilisé pour construire un intervalle de confiance pour ce paramètre. Toute paire de nombres G' et D' définit deux "régions d'exclusion" (les régions rouges de l'exemple ci-dessus) sous la courbe de la distribution du pivot. La somme des aires de ces deux régions est un nombre α, et le même argument que précédemment montre que les transformés inverses de G' et D' , soit G et D, définissent un intervalle de confiance au niveau de confiance 1 - α.

Longueur, niveau de confiance et taille d'échantillon

Lorsqu'il existe une procédure permettant d'associer une probabilité de recouvrement (niveau de confiance) à un intervalle, les trois grandeurs :

Longueur de l'intervalle et niveau de confiance

Nous avons mentionné que la valeur du niveau de confiance était en général fixée a priori. Pour un échantillon donné, si l'analyste décide d'augmenter la valeur du niveau de confiance, il en résultera une augmentation de la longueur de l'intervalle de confiance. En effet, pour augmenter la probabilité pour que la valeur vraie du paramètre soit recouverte par l'intervalle, il faut nécessairement allonger celui-ci, et donc augmenter l'incertitude avec laquelle est localisée cette vraie valeur.

A l'inverse, réduire la longueur de l'intervalle de confiance ne peut être obtenu qu'au prix d'une diminution du niveau de confiance : plus petit est l'intervalle, moins grande est la probabilité pour qu'il recouvre la valeur du paramètre (image inférieure de l'illustration ci-dessous) :

Lorsque l'on fait tendre vers 0 le niveau de confiance, la longueur de l'intervalle de confiance tend également vers 0. Ses deux extrémités convergent alors vers une limite commune que l'on appelle l'estimateur (ponctuel) de Hodges-Lehmann du paramètre θ.

Longueur et taille d'échantillon

Bien que le principe de l'estimation par intervalle n'exige pas une estimation ponctuelle préalable, nous verrons que la plupart des intervalles de confiance classiques sont obtenus en "coiffant" une estimation ponctuelle θ_* par un intervalle dont le milieu est cette estimation ponctuelle. Un intervalle de confiance se présente alors sous la forme

Δ dépend du niveau de confiance (voir ci-dessus), mais il dépend aussi de la taille de l'échantillon pour un niveau de confiance donné. Plus précisément, il diminue lorsque la taille de l'échantillon augmente. Ceci n'est pas surprenant : plus grand est le nombre d'observations dont on dispose, et plus grande est la précision avec laquelle la valeur de θ_* est connue, et donc plus court est l'intervalle de confiance.

Confiance et taille d'échantillon

De même, si l'on impose aux intervalles de confiance d'avoir une longueur donnée, le niveau de confiance tend à augmenter lorsque la taille des échantillons augmente. Dans les cas favorables (voir ci-dessous), il est alors possible de calculer quel doit être le nombre d'observations collectées (taille de l'échantillon) de façon à obtenir des estimations qui aient à la fois un niveau de confiance donné et une longueur d'intervalle de confiance donnée.

Intervalle de longueur minimale

Il existe en général une infinité d'intervalles de confiance (paires [G(x), D(x)]) conduisant à un même niveau de confiance pour tout échantillon x.

Reprenons l'exemple de l'estimation par intervalle de la moyenne de la distribution normale. Toute paire de points (G, D) telle que la somme des aires (rouges) sous les ailes de la distribution du pivot soit égale à α définit un intervalle de confiance au niveau de confiance 1 - α (image inférieure de l'illustration ci-dessous).

Nous avons choisi arbitrairement la solution "symétrique" pour des raisons de simplicité. Cependant, l'objectif recherché par l'estimation par intervalle étant de localiser le plus précisément possible la valeur θ₀ du paramètre, il est souhaitable, pour un niveau de confiance donné, d'identifier parmi tous les intervalles de confiance possibles celui ayant la plus petite longueur.

On peut montrer que dans le cas où la distribution de l'estimateur θ^* est unimodale et symétrique, alors l'intervalle obtenu en éliminant dans chacune des deux ailes de la distribution une aire égale à α/2 est bien l'intervalle le plus court pour le niveau de confiance 1 - α choisi.

Dans des situations plus générales, cette stratégie ne conduit pas nécessairement à l'intervalle de confiance le plus court.

Lorsqu'il n'est pas possible d'identifier clairement l'intervalle de confiance le plus court, on peut parfois se rabattre sur une stratégie de rechange qui consiste à identifier un intervalle (càd une paire de fonctions [G(x), D(x)]) conduisant à la plus petite longueur moyenne.

Enfin, une autre solution de rechange, lorsqu'un pivot est disponible, consiste à définir un intervalle de confiance en choisissant une paire de fonctions [G(x), D(x)] conduisant non pas à minimiser la longueur de l'intervalle de confiance, mais la longueur de son image dans l'espace du pivot (voir ici).

Dans les problèmes simples, comme celui de la définition d'un intervalle de confiance pour la moyenne de la distribution normale, ces trois définition sont équivalentes, mais ce n'est pas toujours le cas pour des situations plus complexes.

Intervalles de confiance approximatifs

Il arrive souvent qu'on ne connaisse aucun pivot pour un paramètre donné, mais que l'on parvienne à identifier des pivots permettant la construction d'intervalles de confiance approximatifs.

Pivots asymptotiques

Il est parfois possible de définir une quantité qui, bien que n'étant pas un pivot (parce que dépendant du paramètre à estimer), a une distribution qui tend, pour de grands échantillons, vers une distribution qui ne dépend plus de ce paramètre. On utilise alors cette distribution pour construire un intervalle de confiance qui, bien que non exact, donne des intervalles de confiance de plus au plus précis quand la taille de l'échantillon tend vers l'infini.

Pivots approximatifs

Il est également parfois possible de trouver une quantité pivotale qui ne soit pas construite à partir de l'estimateur, mais dont on puisse montrer qu'elle est une bonne approximation de cet estimateur. On peut alors l'utiliser pour construire un intervalle de confiance approximatif.

L'exemple le plus connu de ce type de situation est l'approximation de Welch (voir ci-dessous), qui sert à construire un intervalle de confiance approximatif pour la différence des moyennes de deux distributions normales quand les variances de ces distributions sont inconnues et inégales.

Intervalles de confiance et modélisation

* Ils permettent de quantifier l'incertitude portant sur la valeur des paramètre d'un modèle ajusté (qui sont des estimations ponctuelles), par exemple en Régression Linéaire.

* De même, ils permettent de quantifier l'incertitude portant sur les prédictions d'un modèle prédictif. Dans le cas de la régression, cette incertitude se traduit par un "ruban de confiance" encadrant la courbe des prédictions du modèle (image inférieure de l'illustration ci-dessous) :

On constate que la densité des observations joue un rôle central dans la largeur du ruban de confiance, celui-ci tendant à se resserer dans les régions à forte densité, et à s'élargir dans les régions de faible densité.

Avertissement : les Tutoriels décrits ci-dessous sont les mêmes que ceux décrits à la page "Intervalle de confiance".

Le Tutoriel suivant décrit les méthodes mises en œuvre dans le calcul d'intervalles de confiance exacts pour les moyennes de distributions normales. Nous abordons une seule fois la question de la taille minimale de l'échantillon pour atteindre un niveau de confiance donné pour une longueur donnée de l'intervalle de confiance. Cette question se retrouve à l'identique dans tous les problèmes d'intervalle de confiance.

Dans le cas le plus général (variances inconnues et inégales), on ne connait pas d'intervalle de confiance exact pour la différence des moyennes de deux distributions normales indépendantes. Mais il est possible de calculer deux types d'intervalles approximatifs :

Estimation ponctuelle

Téléchargez ce Glossaire