Biais-variance  (Compromis)

Une expression qui recouvre le fait que l'introduction d'un biais peut conduire à une amélioration des performances d'un estimateur ou d'un modèle initialement sans biais.

Le compromis biais-variance pour un estimateur

Les performances d'un estimateur θ^* d'un paramètre θ se mesurent par son Erreur Quadratique Moyenne (EQM), dont on montre qu'elle est donnée par :

EQM = Var(θ^*) + Biais(θ^*)²

Bien que l'absence de biais soit une propriété séduisante pour estimateur, elle ne garantit pas la plus faible valeur possible de l'EQM : celle-ci sera atteinte lorsque sera trouvé le meilleur compromis entre :

    * Le biais de l'estimateur,  et

    * Sa variance,

de façon à rendre minimale la valeur de l'expression ci-dessus.

De fait, on observe fréquemment que l'introduction d'un léger biais dans un estimateur initialement sans biais peut conduire à une réduction significative de sa variance, au point de provoquer une diminution de son EQM, et donc d'améliorer ses performances.

-----

Dans le Tutoriel ci-dessous, nous montrerons que des deux estimateurs classiques de la variance :

    * La variance empirique s² (biaisée)  :

s² = 1/n.Σ_i(x_i - µ)²

    * Et la variance empirique "corrigée" S² (sans biais) :

S² = 1/(n - 1).Σ_i(x_i - µ)²

c'est le premier qui, malgré son biais, a la plus faible EQM dans le cas d'une distribution normale.

De plus, nous identifierons un troisième estimateur de la variance qui s'avèrera être meilleur que les deux estimateurs classiques, malgré son biais qui est le plus important des trois.

Le compromis biais- variance pour un modèle

Le compromis biais-variance (ou "dilemme biais-variance") est une question très importante en modélisation de données. L'ignorer est une cause fréquente d'échec d'un modèle. Bien qu'il ait des racines théoriques profondes, il peut être expliqué en termes simples.

-----

Un modèle consiste en :

• Une architecture,   et
• Des paramètres.

Par exemple, en régression polynomiale :

• L'architecture est un polynôme, entièrement défini par son degré.
• Les paramètres sont les coefficients du polynôme.

 L'architecture (ici, le degré) ayant été décidée par l'analyste, l'ajustement du modèle consiste à donner aux paramètres les valeurs appropriées (dans le cas de la régression, par la méthode des Moindres Carrés).

-----

Mais l'analyste doit préalablement fixer le degré du polynôme.

• Si la distribution des données est fortement non linéaire, un polynôme de faible degré ("1" dans la figure ci-dessous) n'aura pas la souplesse nécessaire pour s'ajuster à la forme générale de la distribution des données et commettra des erreurs de prédictions importantes.
  On dit alors que le modèle a un biais important  parce que le biais de ses prédictions pour un x donné (point bleu) est important.
  Par contre, en raison même de cette rigidité, les prédictions du modèle dépendront peu de l'échantillon ayant servi à le construire, et auront donc une faible variance (image inférieure de l'illustration ci-dessous).

• Mais si le degré choisi pour le polynôme est trop élevé, la forme et les valeurs des coefficients de celui-ci deviennent exagérément sensibles aux détails de l'échantillon. Un échantillon différent (mais issu de la même distribution) aurait alors conduit à un modèle complètement différent, avec des prédictions complètement différentes (image inférieure de l'illustration ci-dessous).
  On dit alors que le modèle a une variance importante, parce que la variance de ses prédictions (pour un x donné) est importante.
  La souplesse du modèle lui permet de se rapprocher des points éloignés de la vraie fonction de régression (verte). Or ce sont ces points qui, dans un bon modèle, contribuent le plus à l'erreur quadratique : un modèle à forte variance exhibe donc une bonne performance sur l'échantillon (faible biais). Cette bonne performance est cependant totalement illusoire, et les performances du modèle sur des données nouvelles seront vraisemblablement mauvaises.
   

_______________________________________

Ces remarques résument le phénomène du "compromis biais-variance". Dans l'exemple de la régression polynomiale, il s'exprime ainsi :

• Un polynôme ayant trop peu de paramètres (un degré trop petit) commet des erreurs importantes en raison de son biais important.
• Un polynôme ayant trop de paramètres (un degré trop grand) commet des erreurs importantes en raison de sa variance importante.

Le degré du "meilleur" polynôme est donc "quelque part" entre ces deux extrêmes.

Ce phénomène n'est pas propre à la régression polyomiale. En fait, il est absolument universel, et se manifeste sous une forme ous sous une autre dans tous les types de modèle. Très généralement, le compromis biais-variance se traduit de la façon suivante :
 

Cette importante question est illustrée par une animation interactive que vous trouverez ici  () .

Certains aspects du compromis biais-variance sont également abordés à la page suivante () :

• Le modèle comme famille d'estimateurs.
• La décomposition de l'erreur d'un modèle en "erreur de biais" et "erreur de variance".
• La notion de "complexité" d'un modèle.
• L'universalité du compromis biais-variance.
• Surparamétrisation et surajustement (ou "surapprentissage") d'un modèle.
• Le rôle de la taille de l'échantillon (modèles paramétriques et non paramétriques), et la "malédiction de la dimensionalité".
• La sélection de modèle.

___________________________________________________________________

Dans ce Tutoriel, nous comparons les performances (EQM) des deux estimateurs naturels de la variance de la distribution normale.

Nous montrons que l'estimateur "corrigé", et donc sans biais, a des performances inférieures à celles de l'estimateur non corrigé, lequel est pourtant biaisé.

-----

Nous reconnaissons ensuite que ces deux estimateurs appartiennent à une classe d'estimateurs, dont nous identifions le meilleur élément. Celui-ci s'avèrera avoir un biais encore supérieur à celui de l'estimateur non corrigé classique.

COMPROMIS BIAIS-VARIANCE

 __________________________________________________

Voir aussi: