Khi-2

Se prononce "Qui-Deux". Aussi noté "Chi-2".

Voir ici.

_______________________________

K-moyennes (ou k-means)

Voir ici.

_______________________

K-Premiers Voisins

Cette technique existe sous deux versions :

    1) L'une pour l'estimation de densité (donc descriptive).

    2) L'autre pour la classification probabiliste (donc prédictive).

Dans les deux cas, les variables doivent être numériques. Chaque individu peut donc être représenté par un point dans un espace ayant autant de dimensions qu'il y a de variables. L'échantillon peut alors être visualisé comme un "nuage de points".

___________________

Dans les deux versions, l'utilisateur choisit d'abord un nombre entier K.

1) K-Premiers Voisins en estimation de densité

            Pour estimer la densité de la population autour d'un point P quelconque, on cherche simplement la plus petite sphère centrée sur P qui contienne exactement K  individus. La densité en P est considérée comme inversement proportionnelle au volume de la sphère.

2) K-Premiers Voisins en classification

           Chaque individu est maintenant membre d'une classe parmi N.
 

           Comme précédemment, on trace la plus petite sphère centrée sur P qui contienne exactement K individus. P est considéré comme appartenant à la classe qui est la plus représentée parmi les individus dans la sphère.
On peut même aller un peu plus loin, et considérer les probabilités d'appartenance de l'individu à chacune des classes comme étant proportionnelles aux nombres d'individus de la sphère appartenant à ces mêmes classes : on peut donc ainsi faire de la classification probabiliste. On retrouve là la même approche à la classification probabiliste que celle utilisée dans les feuilles des Arbres de Décision.
 

_______________________

 Les K-Premiers Voisins sont des modèles non paramétriques.

 Dans les deux versions des K-Premiers Voisins, le choix de K est laissé à l'utilisateur.

• Trop grand, il conduit à de grandes sphères qui "moyennent" :
• dans un cas la densité de la distribution,
• et dans l'autre cas les densités des différentes classes.

Les résultats sont alors des versions "lissées" de la réalité.
 

• Trop petit,  il conduit à de grandes incertitudes sur ce que devrait être la "vraie" valeur du rayon de la sphère, et donc à des doutes graves quant au fait que le modèle représente fidèlement la réalité.

On remarquera que ce comportement du modèle en fonction de la valeur du paramètre est très similaire à celui observé avec l'histogramme, et pour les mêmes raisons. Bien sûr, il n'y a pas de "formule magique" permettant de déterminer la "meilleure valeur" de K. 

_________________________

Kohonen (Cartes de)

Pratiquement les seuls Réseaux de neurones non supervisés disponibles dans les logiciels commerciaux.
 

A l’origine destinées à faire de la réduction de dimensionalité, les Cartes de Kohonen se sont avérées par la suite être également des outils de classification non supervisée aux propriétés uniques.
 

En termes très généraux :

• En réduction de dimensionnalité, les Cartes de Kohonen peuvent être vues comme des extensions non linéaires de
  l’Analyse en Composantes Principales (ACP), en raison de leur capacité à s'étirer et à se tordre de façon à épouser "au mieux" le nuage de points.

• En clusterisation, les classes produites par les Cartes de Kohonen ont la propriété d’être distribuables sur un plan de façon à ce que deux classes adjacentes contiennent des individus peu différents. Cette propriété (dite de « respect de la topologie »), facilite considérablement l’interprétation de la clusterisation. Cette propriété est absente des techniques classiques de clusterisation.

Plus récemment, les Cartes de Kohonen ont démontré des capacités remarquables d'extension de l'Analyse Factorielle des Correspondances (AFC) et de l'Analyse des Correspondances Multiples (ACM), et il est permis de penser qu'elles trouveront là leurs applications principales dans un proche avenir.