Cadre

Dans le cadre se trouvent :

Deux classes, avec leurs barycentres respectifs (croix) et ellipses "écart-type" (voir rouge Matrice de Covariance). Les Matrices de Covariance sont en général assez semblables, ce qui est une hypothèse courante en rouge Analyse Discriminante.
Une ligne droite noire, qui est la Droite Discriminante de Fisher de la paire de classes. Les barycentres des classes sont projetées sur le droite de Fisher.

La droite de Fisher peut être déplacée pour une lecture plus claire de la scène. Rappelons que seule son orientation a une signification, sa position est sans importance.

La valeur correspondant du critère de Fisher est affichée en bas et à droite de l'animation :

Au dessus de cette valeur est une barre orange , dont le sommet est présentement collé sur le repère "100%".
Le critère de Fisher est le rapport de deux termes positifs, ici notés "Num." et "Denom.".

Le Numérateur est le carré de de la distance entre les projections des barycentres.
Le dénominateur est la somme des variances des deux classes, pondérées par leur populations respectives.

Les valeurs de ces termes dépendent de l'orientation de la droite candidate, et le repère "100%" marque leurs plus grandes valeurs respectives.

Donc les échelles sont différentes pour les trois barres.

Comme nous recherchons la plus grande valeur possible pour le critère de Fisher, nous voudrions avoir simultanément :

Le numérateur à sa plus grande valeur,
et le dénominateur à sa plus petite valeur.

Mais ces deux conditions sont en général incompatibles, et le critère de Fisher prend alors sa valeur maximale quand le numérateur et le dénominateur prennent tous les deux des valeurs intermédiaires..

Animation

Changement d'orientation de la droite

Cliquez n'importe où dans le cadre, et faites glisser votre souris en maintenant le bouton gauche abaissé. La droite de Fisher devient pourpre et pivote. En fait, ce n'est plus la droite de Fisher, simplement une droite arbitraire.

Observez les barres en bas et à droite de l'animation :

La valeur du critère de Fisher est toujours plus petite que celle correspondant à l'orientation optimale.
Elle peut descendre à 0. Rappelons que le numérateur est le carré de la distance entre les projections des barycentres, et donc que le numérateur s'annule quand la droite est perpendiculaire à la droite joignant les barycentres.
Le numérateur est maximal quand la droite est parallèle à la droite joignant les barycentres. Mais le critère de Fisher n'est en général alors pas à sa valeur maximale, en raison du chevauchement des projections des classes (dénominateur).
Faites pivoter la droite et observez les valeurs du numérateur et du dénominateur. Ces deux grandeurs évoluent avec un "décalage de phase" dont la valeur dépend des détails de la géométrie des classes.

Pour retrouver la vraie droite de Fisher, double-cliquez dans un espace libre du cadre.

Changement des positions relatives des classes

Vous pouvez déplacer les classes en utilisant leurs barycentres comme des "poignées".

Si la droite courante est la droite de Fisher (noire), elle pivotera de façon à rester la droite de Fisher des deux classes pour leur position relative courante.

Faites glisser une classe le long de la ligne joignant les barycentres :

La droite de Fisher reste inchangée. En effet, celle-ci ne dépend que de :

La direction de la ligne des barycentres,
et des matrices de covariances individuelles des classes,

qui ne changent pas pendant la translation d'une classe.

Par contre, la valeur du critère de Fisher change durant la translation.

Elle augmente sans limite quand les classes s'éloignent l'une de l'autre, car les classes projetées sont mieux séparées.
Elle tend vers 0 quand la distance entre les barycentres des classes tend vers 0. Remarquez alors que dans cette situation, la droite de Fisher devient instable : toutes les directions de projection se valent, elles sont aussi mauvaises l'une que l'autre, et la direction de Fisher perd sa signification.

Créez une situation ("New") dans laquelle les deux classes ont approximativement les mêmes directions principales, et sont assez allongées. Faites glisser une classe de façon à ce que la distance de son barycentre au barycentre de l'autre classe reste approximativement constante durant le déplacement. Observez que le droite de Fisher devient parallèle à la ligne des barycentres quand les grands axes des ellipses sont soit parallèles, soit perpendiculaires à la ligne des barycentres.

Quand les grands axes sont parallèles à la ligne des barycentres, le numérateur et le dénominateur sont "en phase". Le critère de Fisher est stationnaire, et sa valeur est faible (mauvaise séparation des projections des classes).
Quand les axes longs sont perpendiculaires à la ligne des barycentres, le numérateur est au plus haut et le dénominateur est au plus bas. La valeur du critère de Fisher est élevée (bonne séparation des classes projetées).

Si la droite n'est pas la droite de Fisher (violet), le critère de Fisher devient arbitrairement grand en augmentant la distance entre les classes. Tout droite devient alors un espace de projection acceptable.
Bien entendu, la valeur du critère de Fisher tend vers 0 quand la distance des barycentres tend vers 0.

Téléchargez ce Glossaire