HISTOGRAMME ET LE COMPROMIS BIAIS-VARIANCE

Avant de lire ce texte, assurez-vous d'avoir lu celui se rapportant à l'histogramme.

Ce qui suit décrit le compromis biais-variance appliqué à l'histogramme. Ce texte n'a pas d'utilité pratique, l'histogramme étant surtout utilisé pour son interprétation graphque.

Normalisation de l'histogramme

Soit n_i le nombre de points dans la case i. L'aire de la case est a_i = n_i.Δx. L'aire total de l'histogramme est :

 A = Σ_i a_i. = Σ_i n_i.Δx = Δx.Σ_i n_i = Δx.n

où n est la taille de l'échantillon.

Mais nous voulons comparer l'histogramme à p(x), dont l'intégrale est égale à 1. Nous normalisons donc l'histogramme en divisant toutes les hauteurs par A. L'aire de l'histogramme normalisé est maintenant égale à 1.

L'histogramme comme estimateur

Nous avons mentionné que la hauteur d'une case peut être utilisée comme estimation de p(x₀) pour tout x₀ de la case. On peut donc se demander quelles sont les valeurs :

• Du bais,   et
• De la variance

de cet estimateur.

Nous allons donc entrer un peu plus dans le détrail de fonctionnement de l'histogramme.

Distribution du nombre d'observation dans une case

Si un autre histogramme avait été tiré de p(x) (les positions et largeur des cases restant inchangées), la répartition des observations aurait été différente, et donc également les hauteurs des cases. La hauteur d'une case est donc une variable aléatoire. Quelle est sa distribution ?

Notons P_i l'aire sous la courbe p(x) dans la région délimitée par la case i. Une nouvelle observation a la probabilité P_i de tomber dans la case i, par définition de la fonction de densité de probabilité (ou fdp).

Dans l'illustration ci-dessus, P_i est la zone hachurée verte.

Si n observations sont tirées de p(x), le nombre d'observations de la case i suivra la distribution binomiale B(n, P_i).

Biais de l'histogramme

Nous calculons maintenant la biais de la hauteur de la case i, considérée comme estimateur de p(x₀), où x₀ est recouvert par la case i. Par définition :

Biais_i(x₀) = Espérance[Estimation - Vraie Valeur] = E[Hauteur_i - p(x₀)] = E[Hauteur_i] - p(x₀)

La moyenne de B(n, P_i) est nP_i, et donc le nombre moyen d'observations dans la case i est nP_i, et la ahteur moyenne de la case normalisée est nP_i/A. Donc, pour tout x₀ recouvert par la case i, le biais de l'estimateur Hauteur_i est :

Biais_i = nP_i/A - p(x₀) = P_i/Δx - p(x₀)

Ce biais est-il grand ou petit ?

• Si les cases sont larges, la valeur de p(x) peut varier de façon importante dans l'intervalle Δx, et p(x₀) peut donc dépendre fortement de x₀. Donc, pour certaines valeurs de x₀, le biais peut être grand.
• Par contre, si les cases sont étroites, p(x) est presque constante sur Δx, et ses valeurs sont donc toujours très proches de P_i/Δx, et le biais est donc pratiquement nul.

En résumé :

"Un histogramme à cases larges est fortement biaisé, alors que le biais d'un histogramme à cases étroites est négligeable ."

Variance de l'histogramme

Quelle est la variance de l'estimation de p(x₀) ? La variance de B(n, P_i) est nP_i(1 - P_i), et la variance de la hauteur normalisée de la case i est donc :

Var(Hauteur_i) = nP_i(1 - P_i) / (Δx.n)² = P_i(1 - P_i) / n.(Δx)²

Cette variance est-elle grande ou petite ?

• Si les cases sont larges, P_i est proche de 1, le numérateur est petit, et Δx est grand. La variance est donc presque nulle.
• Si les cases sont étroites, P_i ~ p(x₀).Δx et :

Var(Hauteur_i) ~ {p(x₀).Δx (1 - p(x₀).Δx)}/ n.(Δx)² = {p(x₀).(1 - p(x₀).Δx)}/ n.Δx ~ p(x₀) /n.Δx

La variance est donc élevée, et tend même vers l'infini quand Δx tend vers 0 (les hauteurs des cases non vides tendent vers l'infini quand Δx tend vers 0 de façon à maintenir l'aire de l'histogramme égale à 1).

En résumé :

"Les histogrammes à larges cases ont une faible variance, alors que les histogrammes à cases étroites ont une variance élevée."

Le compromis biais-variance

Il apparaît donc que quand la largeur de case Δx change, le biais de l'estimateur Height_i et sa variance vont toujours en sens inverses. Le praticien doit donc utiliser Δx comme un "bouton de réglage" pour ajuster le compromis entre le biais et la variance comme bon lui semble. Ceci n'est qu'un exemple du compromis biais-variance, (ou dilemme biais-variance), un problème universel et fondamental de la modélisation de données.

Comment Δx doit-il être choisi ?

Erreur quadratique moyenne de l'histogramme

Si l'histogramme n'est construit que pour obtenir une représentation visuelle approximative de p(x), de simples essais et erreurs montreront que :

• Un histogramme à cases larges (et donc peu nombreuses) "gomme" les modulations de la répartition des observations, et fournit une image trop peu détaillée de p(x).
• A l'inverse, un histogramme à cases étroites (et donc nombreuses) aura de nombreuses cases vides, même dans des régions où il n'y a aucune raison de penser que p(x) = 0. En fait, les cases contiennent alors très peu d'observations, et tendent simplement à désigner les observations elles-mêmes. L'histogramme n'est alors qu'une version dégradée de l'échantillon, et ne transmet aucune information sur la structure de la distribution p(x).

Même sans aucune considération théorique, il est donc clair que l'image la plus fidèle de p(x) sera obtenue pour une certaine valeur de Δx, et que des valeurs plus grandes ou plus petites de ce paramètre conduiront à des images dégradées et moins porteuses d'information.

-----

Si maintenant nous insistons pour utiliser l'histogramme comme estimateur de densité de probabilité, nous voulons que ses estimations soient les plus précises possible. La mesure ordinaire de qualité d'un estimateur est son Erreur Quadratique Moyenne, la moyenne du carré de la différence entre les estimations et la valeur vraie :

Mean Square Error = E[(Estimate - True Value)²]

On montre facilement que :

Erreur Quadratique Moyenne = Biais² + Variance

et nous pourrions maintenant utiliser cette expression générale dans le cas particulier de l'histogramme.

Mais il n'est pas besoin de se lancer dans des calculs explicites pour arriver aux conclusions suivantes :

• Pour un x₀ donné, les deux termes de l'erreur quadratique moyenne variant en sens opposé quand Δx varie, il n'est pas surprenant qu'il y ait une valeur optimale Δx₀ pour laquelle l'erreur quadratique moyenne est minimale (cette valeur dépendant de x₀).
• Mais le calcul de Δx₀ exigerait de connaître le biais et la variance de la hauteur de la case pour tout x₀, et donc de connaître p(x).

Nous sommes donc dans un cercle vicieux, puisque connaître le meilleur estimateur de p(x) exige de connaître p(x), et si nous connaissions cette distribution, il n'y aurait pas besoin de l'estimer.

_____________________________

En conclusion, l'histogramme, considéré comme modèle, exhibe le phénomène universel du compromis biais-variance. L'architecture de l'histogramme est spécifiée par le nombre de cases dans le domaine de x, et la description complète de l'histogramme est donnée par la liste des hauteurs de ses cases.

• S'il y a trop peu de cases, l'histogramme est stable (faible variance) mais imprécis (biais important). Ses estimations sont grossièrement fausses en raison du biais.
• S'il a trop de cases, l'histogramme est instable (variance importante). Ses estimations sont également grossièrement fausses, en raison de leur variance importante.

La théorie montre qu'il existe une largeur optimale de case, mais que celle-ci ne peut être calculée. Elle pourrait cependant être estimée par des techniques de validation (bien que nul ne songerait à se donner se mal pour le modeste histogramme).

Le compromis biais-variance est universel. Il se présente sous diverse formes pour toute modélisation.