Discriminant (linéaire) de Fisher

(Aussi connu sous le nom de "Droite discriminante de Fisher").
 

Ce nom est un peu trompeur : le discriminant linéaire de Fisher n'est pas un classifieur à proprement parler, mais plutôt une technique de réduction de dimensionalité. Cependant, un authentique classifieur peut s'en déduire facilement.

La réduction de dimensionalité est une des questions centrales de la modélisation statistique de données. Rappelons que le problème est de représenter les données avec aussi peu de variables que possible, tout en perdant aussi peu d'information que possible.

• L'approche "brutale" de la réduction de dimensionalité est la sélection de variables : de toutes les variables figurant dans la table des données initiale, seules sont retenues un petit nombre pour construire le modèle. On espère alors que le choix judicieux des variables retenues permet quand même de construire un modèle fiable. Cette approche se retrouve typiquement dans tous les logiciels de Régression Linéaire Multiple.
• Une approche plus subtile et décrite dans la figure ci-dessous. Supposons que nous voulions construire un classificateur dans le but d'affecter des observations à une des deux classes C₁ et C₂. Des deux variables x₁ et x₂ , laquelle devrait être retenue dans un classifieur à une seule variable (image du dessus) ? :
   

Supposons que nous retenions x₁. Ceci veut dire que tous les points sont projetés sur l'axe x₁, ou, de façon équivalente, que la variable x₂ est ignorée. Le classifieur est alors simplement :

• Un seuil S₀,
• et une règle d'affectation :
• "Si x₁ < S₀, affecter l'observation à C₁ ,
• sinon, affecter l'observation à C₂."  

La figure montre que ce classifieur est très mauvais, en raison du chevauchement considérable des projections de C₁ et C₂ sur x₁. Toute valeur du seuil S₀ conduira à un taux de mauvaise classification très élevé.

Malheureusement, retenir x₂ et rejeter x₁ est également une mauvaise solution pour des raisons similaires.

Nous sommes donc dans une situation où toute sélection de variable est pire que pas de sélection du tout. La réduction de dimensionalité semble donc impossible, parce que trop d'information est perdue en éliminant l'une ou l'autre variable.

Il est pourtant facile de construire un classifieur parfait (image inférieure de l'illustration ci-dessus) : il suffit de projeter les classes sur la droite bleue F. Les deux classes projetées sont alors complètement séparées, et il est facile de trouver un seuil S₀ qui conduise la règle d'affectation précédente à un taux de mauvaise classification nul.

Ce classifieur est-il à 1, ou bien à 2 variables ?

• x₁ et x₂ sont nécessaires à la définition de la droite F, et il semble donc que nous ayons un classifieur à deux variables.
• Mais si nous notons x l'abscisse de la projection d'un point sur F (à partir d'une origine arbitraire), alors il suffit de connaître la valeur de x pour procéder à l'affectation du point. Nous avons donc en fait un classifieur à une seule variable, et cette variable est x.

Nous avons donc trouvé une technique de réduction de dimensionalité plus complexe que la simple sélection de variables, mais aussi plus puissante. Le discriminant de Fisher n'est que la formalisation de cet exemple.

-------

Sous sa forme originale, le discriminant de Fisher concerne :

• Deux classes C₁ et C₂, 
• Décrites par un nombre arbitrairement grand de variables  x₁ , x₂ , ..., x_p,
• Son objectif étant d'identifier la droite (sous-espace à 1 dimension) F telle que les projections des deux classes sur F soient "aussi bien séparées que possible".

Idéalement, nous voudrions donc disposer d'une "mesure de chevauchement" entre deux ensembles de points, et identifier la direction de projection qui rende la valeur de cette mesure maximale. Malheureusement, il n'existe pas de mesure simple et élégante de chevauchement, et nous devrons donc nous satisfaire de la définition critère dont la valeur :

• augmente avec la distance entre les projections des barycentres des casses,
• augmente quand la "compacité" des projections des classes,

en espérant que des classes projetées compactes et dont les barycentres sont loins l'un de l'autre ne se chevauchent que peu.

En général, "distance entre les projections des barycentres" et "compacité des classes" ne peuvent pas être rendues maximales simultanément (c'est à dire, pur une même direction de projection). Le critère de Fisher J réalise un compromis entre ces deux objectifs.

Le discriminant de Fisher F est la direction de l'espace qui rend le critère de Fisher maximal. Il est en général unique.

Une fois le discriminant de Fisher identifié, il est de la responabilité de l'utilisateur de trouver la valeur S₀ du seuil qui conduira au taux minimal de mauvaise classification. Le discriminant de Fisher est alors devenu un authentique classifieur.

--------------

Le critère de Fisher est défini de façon heuristique, et le discriminant de Fisher ne peut donc pas prétendre être toujours le meilleur sous-espace linéaire de projection (dans un objectif final de classification). En fait, il existe d'autres critères de "projection optimale de classe", qui sont occasionnellement utilisés au lieu du critère de Fisher.

Il existe cependant un cas où le critère de Fisher est optimal : cest celui où les deux classes sont multinormales avec des Matrices de Covariances identiques. Le classifieur qui en découle est alors identique à celui obtenu par la minimisation des erreurs quadratiques. Le seuil S₀ est alors également fourni par la théorie, et n'a plus besoin d'être ajusté "à la main".

-------

Le discriminant de Fisher est le premiers pas sur le chemin conduisant à l'Analyse Discriminante.

• Il est généralisable à plus de deux classes.
• Si les données sont dans un espace à n dimensions, et s'il y a p classes (avec p < n), alors on définit (p - 1) droites de projections. La première est le discriminant de Fisher généralisé. La seconde est définie comme étant orthogonale à la première, et maximisant le critère de Fisher généralisé pour les projections des classes dans l'espace orthogonal à la première droite, et ainsi de suite. Ces droites sont les facteurs discriminants.

Des frontières linéaires ou quadratiques par morceaux peuvent alors être définies entre les classes, ce qui partitionne l'espace en régions, chaque région étant affectée à une classe.

____________________________________________________________

Ces questions sont traitées en détail dans le Tutoriel suivant.

Nous expliquons dans un premier temps les raisonnements menant à la définition du critère de Fisher, dont nous donnons deux formes :

• La première ne s'applique qu'au cas de deux classes,
• Alors que la seconde, plus générale, s'applique à un nombre quelconque de classes.

Nous montrons ensuite comment trouver la droite de Fisher en maximisant le critère de Fisher.

CRITERE DE FISHER ET DROITE DISCRIMINANTE DE FISHER

__________________________________________________

Nous donnons ensuite quelques compléments mathématiques nécessaires pour la maximisation du critère de Fisher sous sa forme générale.

MAXIMISATION DE LA FORME GENERALE DU CRITERE DE FISHER

________________________________________

Voir aussi: