Fonction génératrice

Forme abrégée de "Fonction génératrice des probabilités".

A ne pas confondre avec la "Fonction génératrice des moments" (fgm).

-----

La fonction génératrice des moments transforme une distribution de probabilité (continue ou discrète) en une autre fonction dont il est parfois plus facile d'extraire des informations (et en particulier les valeurs des moments) que de la distribution originale.

La fonction génératrice (sous-entendu "des probabilités") fait de même, mais pour une classe de distributions de probabilité très restreinte : celle des variables aléatoires ne prenant que des valeurs entières et non négatives. De telles variables représentent donc un décompte, et les exemples les plus communs sont les variables suivant des distributions :

    * De Bernoulli,

    * Binomiale,

    * Binomiale négative,

    * Géométrique,

    * Et de Poisson.

Définition de la fonction génératrice

Soit donc X une variable entière non négative de fonction de masse f_X (k) :

f_X (k) = : P{X = k} = p_k

Par définition, la fonction génératrice G(s) associée à f_X (k) (ou, par abus de langage, "associée à X") est :

La fonction génératrice est donc tout simplement la série entière dont les coefficients sont les {p_k}.

Notez que, par définition de l'espérance, cette expression peut également s'écrire :

G(s) = E[s^X]

Nous utiliserons la fonction génératrice dans le contexte de la Théorie des probabilités. Mais plus généralement, la définition ci-dessus s'applique à toute suite infinie de nombres réels, que leur somme soit égale à 1 ou non.

Propriétés de la fonction génératrice

Existence

La première question est bien sûr de savoir si la définition ci-dessus a un sens.

Faisons s = 1 dans la série ci-dessus. Nous avons alors

G(1) = Σ_k p_k = 1               k = 0, 1, 2...

La série est donc convergente pour s = 1, et la théorie des séries entières nous affirme alors qu'elle est également convergente pour tout s < 1. Le rayon de convergence de la série est donc au moins égal à 1.

Ainsi, contrairement à la fonction génératrice des moments, la fonction génératrice existe toujours.

Dérivation

Nous montrerons qu'une fonction génératrice :

    * Est monotone croissante (évident).

    * Est continue dans [0, 1) (remarquez que la valeur 1 est exclue du résultat).

    * Est infiniment dérivable dans [0, 1), avec le résultat suivant :

Bien que ces résultats découlent directement de la théorie générale des séries entières, nous en donnerons des démonstrations plus élémentaires mais également plus directes.

Génération des probabilités

Nous montrerons que

Si G(s) est connue sous la forme d'une série entière, alors p_n est simplement le coefficient de sⁿ dans cette série.

-----

Ainsi, lorsqu'une fonction génératrice est connue, il existe une procédure explicite permettant de remonter aux probabilités P{X = n} pour toute valeur de n. Ce résultat favorable est à mettre en opposition avec celui, négatif, de la fonction génératrice des moments, qu'on ne peut pas inverser.

Nous utiliserons ce résultat pour calculer la distribution de Poisson à partir de sa fonction génératrice.

Unicité

Du résultat précédent, il découle clairement qu'à une fonction génératrice donnée ne correspond qu'une seule distribution de probabilité. Ce résultat est également valide pour la fgm.

Moments factoriels

Nous montrerons que

Le membre de droite de l'équation s'appelle un "moment factoriel". Ainsi, la dérivation d'une fonction génératrice ne conduit pas directement aux moments de la v.a. (comme c'est le cas pour la mgf), mais à une autre sorte de "moments". Il est possible de déduire les moments des moments factoriels, mais les calculs ne sont simples que pour les moments d'ordres petits.

Nous voyons que :

    * La moyenne est obtenue pour n = 1.

    * E[X(X - 1)] est obtenue pour n = 2. Dans le Tutoriel, nous verrons que la variance s'obtient facilement à partir de l'espérance et du moment factoriel du second ordre.

_______________

Le point délicat de ce résultat est que bien que nous sachions que G(s) existe pour s = 1 et a des dérivées de tous ordres pour s < 1, nous ne pouvons pas garantir qu'elle existe pour s > 1, et donc qu'elle ait une dérivée en s = 1. C'est la raison pour laquelle nous devons avoir recours à la "dérivée à gauche" de G(s) au lieu de la dérivée simple, qui peut ne pas exister en s = 1.

Si G(s) existe pour s > 1, alors elle est dérivable en s = 1 et le résultat précédent peut se dispenser du passage à la limite et s'exprimer en termes de dérivation simple.

Fonction génératrice et convolution

La façon la plus directe d'obtenir la distribution de la somme de deux v.a. indépendantes est de calculer le produit de convolution de leurs distributions. Cependant, ce calcul s'avère souvent lourd, et le recours à la fgm est parfois une solution plus pratique (voir ici).

Dans le cas de deux variables entières non négatives indépendantes, le recours aux fonctions génératrices de ces variables est souvent la meilleure solution.

Nous montrerons le résultat suivant :

    * Soit X₁ de fonction génératrice G₁(s),

    * Soit X₂ de fonction génératrice G₂(s),

    * X₁ et X₂ indépendantes,

Alors la fonction génératrice de (X₁ + X₂ ) est égale au produit des fonctions génératices de ces deux variables :

Remarquez la similitude formelle avec le résultat portant sur les fgm.

-----

Le résultat se généralise immédiatement à un nombre quelconque de variables.

Sommes aléatoires

Le résultat précédent se généralise au cas où le nombre N de variables dans la somme est lui-même une variable aléatoire.

Considérons la suite infinie {X⁽ⁿ⁾, n = 1, 2,  ...} de variable entières non négatives iid, et soit G_X (s) leur fonction génératrice commune.

Soit également N une autre variable aléatoire entière non négative indépendante des {X⁽ⁿ⁾}. Soit G_N (.) sa fonction génératrice.

Nous construisons maintenant une nouvelle v.a. comme suit :

    * Nous tirons un entier n comme réalisation de N.

    * Puis nous tirons n réalisations des n premières X⁽ⁿ⁾  et additionnons les valeurs de ces réalisations.

    * Le résultat est considéré comme une réalisation de Y.

D'une façon plus formelle, Y est définie commme

où N est une variable aléatoire définie comme ci-dessus.

-----

Remarquons que Y est une variable entière à valeurs non négatives. Elle a donc une fonction génératrice que nous notons G_Y (.).

Nous montrerons que

-----

Nous montrerons également que

un résultat que nous avions déjà obtenu dans un contexte plus général en faisant appel aux propriétés de l'espérance itérée.

Distributions limites et Théorème de continutité

Rappelons que nous ne considérons que des variables entières à valeurs non négatives.

Soit {X⁽ⁿ⁾, n = 1, 2,  ...} une suite de telles variables. La fonction de masse de la variable n°n de la suite est notée

P{X⁽ⁿ⁾ = k} = p_k⁽ⁿ⁾

et sa fonction génératrice est notée G_n(s).

Nous supposons que pour toute valeur de k, la suite {p_k⁽ⁿ⁾} converge vers une valeur p_k. quand n → ∞.

Nous montrerons que, alors, la suite {G_n(s)} des fonctions génératrices converge vers une fonction limite G(s), qui s'avèrera être la fonction génératrice de la suite limite {p_k}.

Bien que Σ_k p_k⁽ⁿ⁾ = 1 pour tout n, il n'en découle pas  qu'il en soit de même pour la suite {p_k} des valeurs limites, et de fait, ce n'est pas toujours le cas, comme nous le montrerons avec un contre-exemple. C'est la raison pour laquelle le "X" de l'illustration ci-dessus est accompagné de points d'interrogation. La suite {p_k} est la fonction de masse d'une variable aléatoire si et seulement si G(1) = 1.

-----

Réciproquement, nous montrerons que si la suite de fonctions génératrices {G_n(s)} converge vers une fonction limite G(s), alors G(s) est la fonction génératrice d'une suite {p_k} telle que pour toute valeur de k, {p_k⁽ⁿ⁾} converge vers p_k quand n tend vers l'infini.

A nouveau, {p_k} est la fonction de masse d'une variable aléatoire si et seulement si G(1) = 1.

__________

Nous utiliserons ce résultat pour calculer la fonction génératrice de la distribution de Poisson comme limite de la fonction génératrice de la distribution binomiale.

_____________________________________________________________

Dans ce premier Tutoriel, nous commençons par donner quelques exemples de fonctions génératrices (distributions de Bernoulli, de Poisson, binomiale et géométrique).

Nous montrons ensuite qu'une fonction génératrice est continue, puis qu'elle est infiniment dérivable. Ce dernier résultat fera appel à un théorème puissant mais difficile, connu sous le nom de "theorème de convergence monotone", que nous utiliserons sans le démontrer.

    * Une première conséquence de la dérivabilité sera que la fonction de masse (d'une v.a. entière à valeurs non négatives) peut être retrouvée à partir de la fonction génératrice, un résultat qui n'a pas d'équivalent pour la fonction génératrice des moments.

Par conséquent, il est immédiat que la fonction génératrice jouit de la propriété d'unicité (de même que la fgm) : deux v.a. ont des fonctions génératrices identiques si et seulement si leurs fonctions de masse sont identiques.

    * Une deuxième conséquence de la dérivabilité sera que les fonctions génératrices peuvent être utilisées pour calculer les moments factoriels. Bien qu'il soit possible théoriquement de retrouver les moments "vrais" à partir des moments factoriels, les calculs ne sont simples que pour les moments de petits ordres. En particulier, nous montrerons comment la variance peut être calculée à partir de l'espérance et du moment factoriel sur second ordre.

Nous utiliserons ces résultats pour calculer la moyenne et la variance des distributions mentionnées ci-dessus.

FONCTIONS GENERATRICES

 ______________________________________________________________

Dans ce Tutoriel, nous montrons que la fonction génératrice de la somme de variables aléatoires entières non négatives indépendantes est égale au produit de leurs fonctions génératrices.

Nous présentons ensuite quelques exemples. Seule la somme de variables géométriques iid présentera quelques petites difficultés.

Ces exemples nous montrerons que, bien que moins directe que la convolution, la fonction génératrice peut être un moyen plus pratique pour obtenir la distribution de la somme de deux v.a. entières non négatives indépendantes.

FONCTION GENERATRICE D'UNE SOMME

 ______________________________________________________________

Nous établissons maintenant la fonction génératrice d'une somme d'un nombre aléatoire de variables aléatoires entières non négatives indépendantes.

Nous verrons que lorsque le nombre de variables additionnées suit une distribution de Poisson, le résultat prend une forme utile dans beaucoup d'applications.

Nous calculons ensuite l'espérance d'une somme aléatoire, et obtenons ainsi à nouveau un résultat que nous avions déjà obtenu dans un contexte plus général.

Nous concluons en donnant un exemple de somme aléatoire qui conduit au concept de "thinning" (ou "séparation", "subdivision") d'un processus de Poisson.

FONCTION GENERATRICE D'UNE SOMME ALEATOIRE

 ____________________________________________________

Dans ce Tutoriel, nous abordons ce qui est peut être l'application la plus importante des fonctions génératrices.

    * Nous montrons d'abord que si une suite de fonctions de masse converge vers une limite, alors la suite correspondante de fonctions génératrices converge vers une fonction limite qui est la fonction génératrice de la suite limite des fonctions de masse.

    * Nous démontrons ensuite la réciproque : si une suite de fonctions génératrices converge vers une fonction limite, alors la suite correspondante de fonctions de masse converge vers une suite dont la fonction génératrice est la limite de la suite de fonctions génératrices. La démonstration de ce résultat nous conduira a faire un petit détour rafraîchissant par quelques résultats élémentaires (et d'autres pas du tout élémentaires) de topologie générale, tous énoncés sans démontration.

DISTRIBUTIONS LIMITES

THEOREME DE CONTINUITE

____________________________________________________

Voir aussi :