Jensen  (Inégalité de)

L'inégalité de Jensen est un résultat mathématique qui trouve de nombreuses applications en Probabilité et en Statistique. Elle porte sur une propriété des fonctions convexes (resp. concaves), et, en ce qui nous concerne, plus particulièrement sur une propriété des transformations de variables aléatoires par une fonction convexe (resp. concave).

Fonction convexe

Rappelons qu'une fonction f(x) est dite convexe si son graphe est "tourné vers le haut", comme dans la figure ci-dessous.

Une fonction  f est dite "concave" si -f est convexe.

La notion de fonction convexe se formalise de la façon suivante (image inférieure de l'illustration ci-dessous) :

    * Soient A et B deux points du graphe de f(x).

    * Soit S le segment de droite joignant A à B.

    * Alors, tout point de S est situé au-dessus du point correspondant du graphe de f(x).

 et s'exprime mathématiquement par :

    * Pour tout a et b, a < b

    * Pour tout nombre l,  0 < l < 1   (pour tout point du segment S)

f(la + (1 - l)b) l. f(a) + (1 - l).f(b)

Une fonction convexe peut ne pas avoir de minimum : par exemple,  y = exp(x) est convexe, mais n'a pas de minimum.

Transformation par une fonction convexe

Imaginons maintenant un ensemble fini {x₁, x₂ , ..., x_n}de points régulièrement espacés sur l'axe des x. La figure ci-dessous suggère que la convexité de f a pour effet d'étirer l'image des {x₁, x₂ , ..., x_n} vers les grandes valeurs de y, et ce d'autant plus que l'on considère des grandes valeurs de x (ou de y). On peut donc raisonnablement s'attendre à ce que la moyenne   des f(x_i) soit plus grande que la transformée f() de la moyenne des x_i.

Cette intuition est justifiée, et l'inégalité de Jensen en est la formalisation mathématique. Nous allons voir qu'elle est en fait un peu plus générale que ce que nous venons de décrire, et s'applique :

    * A une répartition quelconque des points (et pas seulement à des points régulièrement espacés).

    *  Non seulement à la moyenne, mais en fait au barycentre des points munis d'une pondération quelconque.

Les deux formes de l'inégalité de Jensen

L'inégalité de Jensen existe sous deux formes : finie et continue.

Inégalité de Jensen finie

Nous considérons donc un ensemble fini quelconque de points {x₁, x₂ , ..., x_n}.

    * Ces points reçoivent des poids positifs quelconques l_i tels que S_il_i = 1.

    * Soit par ailleurs f(x) une fonction convexe.

Alors :

Autrement dit, la coordonnée du barycentre des transformés des points (pondérés par les l_i) a une valeur plus grande que celle du transformé du barycentre de ces points.

Si tous les l_i sont pris égaux à 1/n, on a le résultat suivant :

La moyenne des transformés par une fonction convexe est supérieure à la transformée de la moyenne.

Inégalité de Jensen continue

Si, au lieu d'un ensemble fini de points, nous considérons une densité de probabilité p(x), le résultat ci-dessus reste valable sous la forme suivante :

où le rôle des poids l_i est maintenant tenu par les valeurs de la densité p(x).   

Si E[X] désigne l'espérance d'une variable aléatoire X, nous avons donc :

qui se lit :

L'espérance de la transformée d'une v.a. X par une fonction convexe est supérieure à la transformée de l'espérance de X.

Utilisation de l'inégalité de Jensen

Nous nous servons de l'inégalité de Jensen dans l'étude de la distance de Kullbak-Leibler.

_________________________________________________________

Nous démontrons ici l'inégalité de Jensen dans le cas fini et dans le cas continu.

Dans ce dernier cas, nous n'envisageons que la situation la plus courante, où la fonction convexe est partout dérivable.

DEMONSTRATION DE L'INEGALITE DE JENSEN

_______________________

Voir aussi: