Exponentielle  (Distribution)

Définition de la distribution exponentielle

La distribution exponentielle f(x) est définie par:

    * f(x) = 0   pour x < 0

    * et pour x 0 :

où  est un paramètre positif.

Vérifiez qu'il s'agit bien d'une densité de probabilité.

Nous montrerons que la moyenne µ de la distribution est égale à 1/, et il est courant de voir la distribution exponentielle écrite sous la forme :

f(x) = (1/µ).e^-x/µ

_______________

La distribution exponentielle joue un rôle central dans une grande classe de problèmes liés à la notion de "durée de vie". Par exemple, un composant électronique peut avoir une durée de vie annoncée de 10.000h. Ceci veut dire que l'on peut raisonnablement s'attendre à une défaillance du composant après 10.000 heures d'utilisation. Mais, bien sûr, il s'agit d'une valeur moyenne: certains composants dureront plus longtemps, alors que d'autres devront être remplacés avant les 10.000 heures espérées. La durée de vie est donc une variable aléatoire.

Propriétés élémentaires de la distribution exponentielle

Nous établirons les propriétés élémentaires suivantes de la distribution exponentielle :

Moyenne

Variance

Vous trouverez ici une animation illustrant ces propriétés élémentaires.

Fonction génératrice des moments

Moments de tous ordres

Nous montrerons que le moment d'ordre n de la distribution exponentielle est

Distribution exponentielle et distribution Gamma

Nous montrons ici que la somme de n variables exponentielles indépendantes Exp(λ) suit la distribution Gamma(n, 1/λ).

Somme aléatoire de variables exponentielles

Nous établissons ici la distribution d'une somme aléatoire de v.a. exponentielles iid lorsque le nombre de variables dans la somme suit une distribution géométrique.

La distribution exponentielle est sans mémoire

Absence "faible" de mémoire

Certains problèmes de durée de vie traitent de processus qualifiés de "sans mémoire". Par exemple, considérons un très grand nombre d'atomes radioactifs identiques, et observons leur désintégration.

    * Pendant les t premières secondes, une proportion p de ces atomes se désintègrent.

    * Quittons le laboratoire, et revenons-y après une durée quelconque. Observons pendant une nouvelle période de t secondes les atomes encore intacts. Alors la même proportion p de ces atomes vont se désintégrer durant cette période.

Traduisons ces observations en termes de probabilité de désintégration pour les atomes pris individuellement:

    * Au commencement, un atome intact a une probabilité p de se désintégrer pendant les t premières secondes.

    * Au bout d'une attente de s secondes, si cet atome est encore intatct, alors il a encore la même probabilité p de se désintégrer pendant les t secondes suivantes.

Ainsi, la probabilité pour qu'un atome vieux de s secondes vive encore au moins t secondes supplémentaires est la même que la probabilité pour qu'un atome "neuf" dure au moins t secondes. Tout se passe comme si l'atome n'avait absolument aucune notion de la durée de sa vie avant l'instant présent. Autrement dit, un atome radioactif ne subit aucun vieillissement. Tant qu'il est en vie, il reste absolument identique à lui-même; soudainement, il se désintègre sans aucun signe avant-coureur.

 Les physiciens ont depuis longtemps abandonné l'espoir de donner du phénomène de désintégration une description plus déterministe.

L' "absence de mémoire" se traduit mathématiquement en écrivant l'égalité de deux probabilités :

    * La probabilité pour qu'un atome "neuf" vive au moins t secondes,

    * et la probabilité pour qu'un atome vieux de s secondes vive encore au moins t secondes supplémentaires, autrement dit, qu'il soit encore vivant à la date s + t.
 

• Nous montrons ici que la distribution exponentielle est sans mémoire.
• Nous montrons également que la distribution exponentielle est la seule distribution continue sans mémoire, ce qui explique son apparition fréquente dans les problèmes de durée de vie.

Dans le domaine discret, la distribution géométrique a également la propriété d'absence de mémoire, et elle est la seule à avoir cette propriété.

• Vous trouverez ici une première animation interactive illustrant la propriété s'absence de mémoire.

-----

Nous montrons également que l'absence de mémoire de la distribution exponentielle a pour conséquence le fait que les observations ayant survécu au-delà de la date s ont une distribution identique à la distribution originale, mais décalée d'une quantité s "vers la droite".

• Nous illustrons ici cette propriété par une animation interactive jumelée avec l'animation illustrant la propriété d'absence "forte" de mémoire, décrite ci-dessous.

Absence "forte" de mémoire

La propriété précédente se généralise de la façon suivante. L'absence "faible" de mémoire, que nous venons de décrire, fait référence à la durée de survie après une date s, arbitraire mais fixe. Nous montrons dans le Tutoriel ci-dessous que la propriété d'absence de mémoire est encore vraie si la date de référence s, au lieu d'être fixe, est elle même distribuée exponentiellement (de façon indépendante de la distribution originale). Plus précisément, nous démontrons que si :

• X₁ est une v.a. distribuée selon Exp(₁),
• X₂ est une v.a. distribuée selon Exp(₂),
• Ces deux variables étant indépendantes,

alors, lorsque X₂ > X₁,  la distribution de l'excès de durée de vie de X₂ au-delà de X₁ ne dépend pas de la valeur de X₁.

Ceci se traduit par l'expression :
 

qui est identique à celle décrivant l'absence " faible" de mémoire, si ce n'est que la date fixe s est maintenant remplacée par la date aléatoire X₁.

Cette propriété s'appelle la propriété forte d'absence de mémoire de la distribution exponentielle.

-----

Nous montrons aussi que la distribution de la différence X₂ - X₁ conditionnellement à X₂ > X₁ est identique à celle de X₂, et nous illustrons ce résultat par une animation interactive.

-----

En termes pratiques, l'absence forte de mémoire se traduit de la façon suivante. Soient M₁ et M₂ deux machines ayant des durées de vie exponentiellement distribuées et indépendantes. Après que l'une des deux machines ait connu une défaillance, la durée de survie de la machine restante au-delà de cette défaillance a la même distribution que la durée de vie initiale de la machine.

L'absence de mémoire n'est pas universelle

Tous les problèmes de durée de vie ne peuvent s'exprimer en termes de processus sans mémoire. Par exemple, tous les organismes vivants vieillissent, et bien que leurs durées de vie soient des variables aléatoires, on ne s'attend pas à ce que les densités de probabilité correpondantes soient de même nature que celle des atomes radioactifs.

Cependant, beaucoup de dispositifs complexes ont des durées de vie dont les comportements sont proches de ceux des processus sans mémoire, ce qui explique pourquoi la distribution exponentielle est si importante dans beaucoup d'applications.

Fonction de risque et taux de défaillance

Si une machine est encore en fonctionnement à l'instant t, quelle est la probabilité (infinitésimale) dP pour qu'elle tombe en panne dans l'instant suivant dt ? Cette probabilité est :

• Proportionnelle à dt,
• Et dépend a priori de l'instant t considéré,

 et donc, quelle que soit la nature de la distribution de la durée de vie de la machine (exponentielle ou autre), on a :

dP = h(t).dt

La fonction h(t) est appelée "Taux de défaillance" ou "Fonction de risque" de la distribution.

Dans le Tutoriel ci-dessous, nous étudions les propriétés générales du Taux de Défaillance, et montrons que le Taux de défaillance de la distribution exponentielle est constant (ne dépend pas de t), et que cette propriété est caractéristique de la distribution exponentielle (et est donc équivalente à la propriété d'absence de mémoire).

Estimation du paramètre λ

Nous identifions ici une statistique exhaustive pour le paramètre λ de la distribution exponentielle, puis montrons que cette statistique est en fait exhaustive minimale, et enfin qu'elle est complète.

Nous en déduirons un Estimateur Sans Biais de Variance Minimale de λ, dont nous montrerons qu'il n'est cependant pas efficace (sa variance est supérieure à la borne de Cramér-Rao).

Famille exponentielle

Nous montrons ici que la distribution exponentielle appartient à la famille exponentielle. Nous en déduirons que est un estimateur efficace de la moyenne µ.

Distribution exponentielle et records

La distribution exponentielle joue un rôle central dans l'étude des valeurs record en raison du fait qu'elle est la seule distribution pour laquelle les distributions des records peuvent être calculées directement.

Mais la Transformation par Fonction de Répartition permet alors de relier les distributions des records de la distribution exponentielle à celles des records de toute autre variable à densité.

_____________________________________________________________________

Dans ce premier Tutoriel, nous abordons les propriétés élémentaires de la distribution exponentielle.

Nous éclaircissons également le lien entre les distributions exponentielle et géométrique en montrant qu'une variable exponentielle peut être considérée comme un cas limite de variable géométrique (le lien inverse est décrit ici).

PROPRIETES ELEMENTAIRES DE LA DISTRIBUTION EXPONENTIELLE

 _________________________________________________________________

Nous procédons ensuite à l'estimation du paramètre de la distribution exponentielle par la méthode du Maximum de Vraisemblance. Il s'avère être plus facile d'estimer l'inverse de ce paramètre, c'est à dire µ = 1/, et donc en fait la moyenne de la distribution. Nous identifions également la distribution de cet estimateur, qui est une variante de la distribution Gamma.

Nous illustrons ce résultat par une animation interactive qui permet :

• D'ajuster manuellement une exponentielle jusqu'à la découverte visuelle de la configuration conduisant au maximum de sa vraisemblance pour l'échantillon courant.
• De construire l'histogramme de la distribution de l'estimateur, et de vérifier que cette distribution est bien la distribution théorique.

ESTIMATION DE LA MOYENNE DE LA DISTRIBUTION EXPONENTIELLE

PAR MAXIMUM DE VRAISEMBLANCE

_________________________________________________________________

Dans ce Tutoriel, nous montrons que la distribution exponentielle est sans mémoire, et qu'elle est la seule distribution continue ayant cette propriété.

Ce résultat fondamental est illustré par une animation interactive qui montre visuellement les conséquences de l'égalité définissant l'absence de mémoire de la distribution exponentielle.

Une deuxième animation illustrera dans le Tutoriel suivant les conséquences distributionnelles de l'absence de mémoire.

ABSENCE DE MEMOIRE

DE LA DISTRIBUTION EXPONENTIELLE

__________________________________________________________________________

Nous démontrons ici la propriété forte d'absence de mémoire de la distribution exponentielle telle que nous l'avons décrite précédemment. Cette démonstration est plus difficile que celle relative à la propriété faible d'absence de mémoire, mais elle riche en enseignements sur les techniques de calculs probabilistes, et nous l'avons suffisamment détaillée pour la rendre accessible avec de simples bases de calcul des probabilités.

La propriété forte d'absence de mémoire de la distribution exponentielle se généralise au cas de n variables indépendantes. Nous donnons le résultat sans démonstration.

-----

Nous illustrons cet important résultat par une animation interactive double :

• Nous reprenons d'abord la question de la propriété faible d'absence de mémoire en construisant l'histogramme de la distribution des valeurs de la v.a. exponentielle X supérieures à un seuil arbitraire (et réglable) s. Cette animation vient en complément de celle du Tutoriel précédent, qui illustrait la propriété d'absence de mémoire exprimée sous sa forme probabiliste.
• Nous illustrons ensuite la distribution de la différence X₁ - X₂ lorsque X₁ > X₂ , conséquence directe de la propriété forte d'absence de mémoire de la distribution exponentielle.
   

ABSENCE FORTE DE MEMOIRE

DE LA DISTRIBUTION EXPONENTIELLE

 _____________________________________________________________

Dans ce Tutoriel, nous définissons et déterminons les propriétés du Taux de Défaillance (TD), un concept fondamental des problèmes de durée de vie. Nous montrons que l'évolution au cours du temps du Taux de Défaillance est une caractéristique d'une distribution de probabilité (comme l'est, par exemple, sa fonction génératrice des moments).

Le TD de la distribution exponentielle est constant, ce qui rend cette propriété equivalente à l'absence de mémoire de cette distribution. Les êtres vivants et les dispositifs matériels vieillissent et se déteriorent avec le temps, ce qui rend l'hypothèse d'un TD constant inappropriée pour décrire les distributions de leurs durées de vie.

En formulant diverses hypothèses sur l'évolution temporelle du TD, on définit des distributions de durée de vie autres qu'exponentielle. Ces distributions sont ici brièvement abordées.

TAUX DE DEFAILLANCE ET FONCTION DE RISQUE

___________________________________________________________

Dans le Tutoriel suivant, nous considérons un ensemble de composants indépendants dont les durées de vie sont exponentiellement distribuées.

Au temps t = 0, tous les composants sont opérationnels, mais tôt ou tard, un composant va connaître une défaillance.

Nous calculons la probabilité pour tout composant d'être le premier à connaître une défaillance.

Nous utiliserons ce résultat dans un autre contexte lors de l'étude de la superposition de processus de Poisson.
 

PREMIERE DEFAILLANCE

_____________________________________________________

Nous examinons maintenant trois schémas classiques d'assemblage de composants :

• En série,
• En parallèle,
• Un composant opérationnel, et un composant de rechange en attente ("stand-by").

Pour chacun de ces schémas, nous calculons la distribution de probabilité du temps de vie du montage, ainsi que son temps de vie moyen.

COMPOSANTS EN SERIE, EN PARALLELLE, ET EN STAND-BY

_________________________________________________________________

Les deux Tutoriels suivants portent sur des applications de la propriété forte d'absence de mémoire.

Dans ce Tutoriel, nous revenons sur la question des composants montés en parallèle. Nous avons analysé ce montage dans le cas où le système ne comprenait que deux composants. Nous avons renoncé à la généralisation à n composants car, bien que simple en principe, le calcul de la distibution de la durée de vie du montage est inextricable en pratique.

Nous considérons maintenant le montage d'un  nombre quelconque de composants indépendants en parallèle, sous la contrainte qu'ils aient tous la même distribution ~Exp(). Même avec cette hypothèse simplificatrice, nous n'essayerons pas de calculer la distribution de la durée de vie du système, mais nous nous limiterons au calcul de son espérance de vie.

La solution viendra de la propriété forte généralisée d'absence de mémoire. Nous constaterons que l'augmentation du nombre de composants identiques en parallèle dans le but d'augmenter la durée de vie du système est une méthode inefficace, et ce d'autant plus que le nombre de composants est élevé. Ce triste constat est parfois appelé "loi de diminution des retours sur investissement" ("law of diminishing returns"), l'investissement dans des composants additionnels ne produisant que des augmentations de moins en moins importantes de l'espérance durée de vie du système.

-----

En cours de route, nous calculerons la distribution de la différence entre deux statistiques d'ordre consécutives de la distribution exponentielle, une quantité appelée "intervalle" en Théorie des Distributions.

-----

Nous illustrons ces deux résultats par une animation interactive.

ESPERANCE DE VIE D'UN SYSTEME "TOUT PARALLELE"

DISTRIBUTION DES INTERVALLES

______________________________________________________

Voici un petit problème que, faute de mieux, nous appelons "Deux identiques en parallèle contre un", ou "2// contre 1" pour faire court.

La question est :

"Quelle est la probabilité pour que A tombe en panne avant B ?"

La simplicité apparente du problème est un peu trompeuse. Nous proposons trois solutions :

    * La première est courte, élégante, et ne requiert pratiquement aucun calcul. Elle fait néanmoins appel par deux fois à la propriété forte d'absence de mémoire de la distribution exponentielle, ainsi qu'à deux autres résultats importants établis dans les Tutoriels précédents. Nous jugeons donc utile de l'exposer avec le niveau de détail qu'elle mérite.

    * La seconde est plus directe, mais requiert des calculs. Elle ne fait cependant appel qu'à des résultats démontrés en divers points de ce site, et n'est donc qu'esquissée, les calculs (simples) étant laissés en exercice.

    * La dernière solution est souvent perçue par les non spécialistes comme la plus intuitive des trois. Malheureusement, elle est fausse. Nous donnons la "solution", mais laissons le soin au lecteur de trouver l'erreur dans le raisonnement.

LE PROBLEME "2// CONTRE 1"

____________________________________

Dans ce Tutoriel, nous calculons la distribution de la somme Z d'un nombre aléatoire de v.a. exponentielles i.i.d.. Le nombre de ces variables sera supposé suivre une distribution géométrique.

Ce problème peut paraître quelque peu académique, mais nous verrons qu'il traite en fait d'une situation réaliste rencontrée en Théorie de la Fiabilité. Il n'en est que plus heureux que le résultat soit d'une remarquable simplicité.

1) Nous utiliserons également ce résultat dans un autre contexte lors de l'étude de la division d'un processus de Poisson.
2) Nous calculons ici la distribution d'un nombre fixe de v.a. exponentielles iid.

-----

Bien que moyenne et variance de cette distribution soient déjà calculées par ailleurs, nous avons, dans un contexte plus général, établi deux formules permettant de calculer la moyenne et la variance d'une somme aléatoire de v.a.i.i.d., et nous n'allons certainement pas nous priver du plaisir de les utiliser à titre d'exercice.

DISTRIBUTION DE LA SOMME D'UN NOMBRE ALEATOIRE

DE VARIABLES EXPONENTIELLES

 ____________________________________________________

Nous terminons avec deux exercices illustrés par l'animation ci-dessous.

La propriété forte d'absence de mémoire énonce que :

• Si X₁ et X₂ sont deux v.a. exponentielles indépendantes,
• Alors, la distribution de X₂ - X₁ conditionnellement à X₂ > X₁ est identique à la distribution (inconditionnelle) de X₂.

Mais elle ne dit rien des distributions respectives de X₁ et de X₂ sous cette même condition.

Les deux exercices proposés ont pour but de calculer ces distributions.

_____________________________

Le cadre supérieur de l'animation suivante représente deux distributions exponentielles : une rouge (celle de X₁) et une verte (celle de X₂). Vous pouvez faire varier le paramètre de la distribution de X₁ en faisant glisser horizontalement avec votre souris la petite boule au sommet du segment vertical rouge marquant la moyenne de la distribution rouge.

Distribution de X₁ conditionnellement à X₁ < X₂

    * A l'ouverture de l'animation, le cadre inférieur affiche la distribution de X₁ conditionnellement à X₁ < X₂.

    * Cliquez sur "Go", et observez la construction progressive de l'histogramme de cette distribution. Ne sont donc retenus, pour la construction de cet histogramme, que les tirages pour lesquels X₁ < X₂, les autres étant ignorés (cliquez sur "Pause", puis de façon répétitive sur "Next").

    * La question est : "Quelle est cette distribution ?".

La réponse (ainsi que celle à la question suivante) est donnée dans le Tutoriel ci-dessous.

Distribution de X₂ conditionnellement à X₁ < X₂

Cliquez sur "Reset", et choisissez l'option "X₂".

Le cadre inférieur affiche maintenant deux courbes :

    * La courbe verte est la distribution de X₂ conditionnellement à X₁ < X₂.

    * La courbe bleue est la distribution de max(X₁, X₂). Elle ne joue aucun rôle dans l'animation, et n'est là que pour vous convaincre que la distribution recherchée, bien que similaire à celle de max(X₁, X₂), n'est en général pas identique à cette dernière.

    * Bien que ressemblant à une distribution Gamma, la distribution recherchée n'est en général pas non plus une distribution Gamma.

    * Cliquez sur "Go", et observez la construction progressive de l'histogramme de la distribution (comme précédemment, ne sont retenus que les tirages pour lesquels X₁ < X₂).

    * Quelle est cette distribution ?

-----

Dans ce Tutoriel, nous donnons deux solutions à ce deuxième exercice :

    * La première est un calcul direct de la distribution.

    * La seconde fait appel au résultat du premier exercice, et à la propriété forte d'absence de mémoire.

SOLUTIONS DES DEUX PROBLEMES

______________________________________________________