Statistiques d'ordre

Soit X une variable aléatoire ayant une densité de probabilité. Si l'on tire plusieurs échantillons contenant chacun n observations, la position de l'observation la plus à gauche dépend de l'échantillon : c'est donc une variable aléatoire.

Plus généralement, pour une valeur de n donnée, on définit X_(k), la "statistique d'ordre de rang k" de X, comme la variable aléatoire dont la valeur est l'abscisse de l'observation occupant la position n°k à partir de la gauche.

Distribution des statistiques d'ordre

Nous montrerons que la densité de probabilité de la statistique d'ordre de rang k, soit f₍_k₎(x), est donnée par :

Cette expression peut paraître complexe, mais sa structure et son interprétation sont en fait assez simples :

1) Le premier terme (fraction) est un facteur de normalisation garantissant que l'intégrale de f₍_k₎(x) est égale à 1.

comme produit d'une fonction monotone croissante entre 0 et 1, et d'une fonction monotone décroissante dans le même intervalle, a la forme d'une courbe en cloche de valeur 0 à ses extrémités. Nous laissons au lecteur le soin de montrer que le sommet de cette courbe est défini par :

3) On voit donc que la densité f₍_k₎(x) est le produit de f(x) par une courbe en cloche, cette dernière traduisant le fait que la statistique d'ordre est contrainte par ses voisines immédiates à rester le plus souvent dans une région définie par son rang (et par la taille de l'échantillon). Dans cette région, la distribution de la statistique d'ordre est alors une image assez fidèle de f(x).

Animation

L'animation suivante illustre le concept de Statistique d'Ordre d'une distributon continue à support borné.

Le cadre inférieur ("Order statistics") affiche la courbe représentant la fonction de densité de probabilité de la statistique d'ordre k de la distribution choisie.

La forme de cette densité dépend de :

* La taille de l'échantillon (modifiable par les boutons "Sample size").

* Le rang k de la statistique d'ordre sélectionnée (modifiable par les boutons "Rank").

L'échelle verticale est arbitraire, et ajustée de façon à ce que la hauteur du mode soit toujours la même pour toute densité, taille d'échantillon ou rang.

__________________

* Dans le cas de la distribution uniforme, les fonctions de densité de probabilité des statistiques d'ordre sont des distributions Beta. Pour les statistiques d'ordre extrêmes (la plus petite et la plus grande), ces fonction sont simplement des fonctions puissance (qui sont également des distributions Beta).

Quand il n'y a que deux observations (Sample size = 2), les densités des deux statistiques d'ordre sont linéaires.

* La densité de probabilité d'une statistique d'ordre d'une densité arbitraire est donnée ici.

- A l'exception des statistiques extrêmes, la distribution d'une statistique d'ordre est nulle à chacune des extrémités du support (ici, fini) de f(x), ceci en raison de fait que F(x)^k^{- 1} ou [1 - F(x)]^{n
- k} tend alors vers 0. Dans le cas d'un support infini, même les deux statistiques extrêmes ont évidemment leurs densités qui tendent vers 0 à l'infini, et ce plus rapidement que f(x).

- Créez une densité fortement modulée (par exemple deux bosses, une à chacune des extrémités du domaine). Balayez le domaine des rangs depuis 1 jusqu'à "Sample size". Observez que la modulation de la densité que vous avez créée est mieux respectée dans la région où l'on s'attend à trouver la statistique d'ordre.

Dans cette région, le terme F(x)^k^{- 1}.[1 - F(x)]^{n
- k} est stationnaire (sommet de la courbe en cloche, voir ci-dessus), et le facteur le plus déterminant de la forme de la courbe f₍_k₎(x) est alors f(x).

Choisissez une taille d'échantillon et un rang de statistique d'ordre, cliquez sur "Go" et observez la construction de l'histogramme de la statistique d'ordre correspondante.

Exemples de statistiques d'ordre

* La plus petite observation X₍₁₎, ou "min". Par le résultat précédent, sa densité de probabilité est :

* La plus grande observation X_(n), ou "max". Par le résultat précédent, sa densité de probabilité est :

* L'étendue, définie comme l'écart entre les deux observations extrêmes:

Statistiques d'ordre et estimation

Les statistiques d'ordre interviennent dans de nombreuses questions portant sur l'estimation d'un paramètre, et dont voici quelques exemples.

Distribution uniforme U[0, θ]

* Nous montrons ici que la statistique (n + 1)X_(n)/n est un estimateur sans biais de θ.

Distribution uniforme U[θ, θ + 1]

* Nous montrons ici que la statistique T = {X₍₁₎, X_(n)} est exhaustive minimale pour θ, et ici que cette statistique n'est cependant pas complète.

Familles "de position"

* Nous montrons ici que les différences entre deux statistiques d'ordre de rangs quelconques d'une famille"de position" de distributions sont des statistiques libres.

Dans ce Tutoriel, nous établissons la fonction de densité de probabilité des statistiques d'ordre d'une population de densité f(x) et de fonction de répartition F(x).

Nous procédons par étapes pour familiariser le lecteur avec les types de raisonnement fréquemment rencontrés dans l'étude des statistiques d'ordre, et qui sont parfois perçus comme difficiles à appréhender en première lecture.

* Nous commençons donc par le cas le plus simple, celui du calcul des distributions des statistiques d'ordre de la distribution uniforme dans [0, 1]. Nous le faisons de deux façons différentes:

- Puis en calculant dans un premier temps la fonction de répartition d'une statistique d'ordre, puis en dérivant cette fonction de façon à obtenir la densité de probabilité. Cette approche est plus rigoureuse, mais moins visuelle que la précédente.

Dans les deux approches, la distribution binomiale B(n, p) joue un rôle central.

* Nous montrons alors que les densités de probabilité des statistiques d'ordre de la distribution uniforme Uniforme[0,

] se déduisent simplement des résultats précédents par un simple changement de variable.

* L'intérêt pédagogique de la distribution uniforme vient de ce que sa fonction de densité et sa fonction de répartition sont très simples. Mais les raisonnements que nous avons tenus pour la distribution uniforme s'étendent facilement à toute distribution de densité f(x) et de fonction de répartition F(x) quelconques, les notations étant simplement plus encombrantes.

Nous reprenons donc les calculs faits précédemment pour la distribution uniforme pour une distribution quelconque sans nous laisser impressionner par les notations.

Ce Tutoriel aborde la question des densités de probabilité conjointes des statistiques d'ordre.

* Nous calculons dans un premier temps la distribution conjointe de l'ensemble de toutes les statistiques d'ordre d'une distribution donnée. Comme pour tous les questions touchant à des ensembles de variables aléatoires, cette densité conjointe contient toute l'information relative à ces variables. Dans le cas des statistiques d'ordre, tous les résultats relatifs aux statistiques d'ordre peuvent, au moins en principe, être obtenus à partir de la distribution conjointe de l'ensemble des statistiques d'ordre.

Cela étant, la manipulation de densités conjointes implique souvent la mise en œuvre d'intégrales multiples pour lesquelles l'ordre et les limites d'intégration doivent être manipulés avec précaution. Nous illustrons ce point à l'aide de la distribution conjointe des statistiques d'ordre de la distribution uniforme, qui est constante et égale à n! Nous vérifierons à titre d'exercice que l'intégrale de cette densité sur le domaine défini par x₁ < x₂ < ... < x_n est bien égale à 1. Ceci nous donnera l'occasion d'un premier contact avec la manipulation d'intégrales multiples impliquant des densités de probabilité conjointe.

* Nous utiliserons alors cette densité conjointe de toutes les statistiques d'ordre pour retrouver la distribution d'une statistique d'ordre de rang donné. Le calcul sera fait en considérant cette densité comme une des densités marginales de la densité conjointe.

* Dans le même ordre d'idées, nous utiliserons la distribution conjointe de l'ensemble des statistiques d'ordre pour calculer la distribution conjointe de deux statistiques d'ordre. Ce résultat est fondamental pour de nombreuses questions touchant aux statistiques d'ordre.

* Mais son obtention donnera lieu à la manipulation d'intégrales multiples assez lourdes, et nous trouverons reposant de pouvoir l'obtenir à nouveau par une méthode élémentaire, à défaut d'être très rigoureuse, dans le même esprit que celle nous ayant permis de trouver la distribution d'une unique statistique d'ordre dans le Tutoriel précédent.