Analyse en Composantes Principales (ACP)

L'ACP est la plus simple et la plus connue des techniques d'Analyse de Données multivariées.

Objectif de l'Analyse en Composantes Principales (ACP)

Etant donné un ensemble d'observations décrites par des variables exclusivement numériques {x₁, x₂ , ..., x_p}, l'ACP a pour objectif de décrire ce même ensemble de données par de nouvelles variables en nombre réduit. Ces nouvelles variables seront des combinaisons linéaires des variables originales, et porteront le nom de Composantes Principales (CP).

En général, la réduction du nombre de variables utilisées pour décrire un ensemble de données provoque une perte d'information. L'ACP procède de façon à ce que cette perte d'information soit la plus faible possible, selon un sens précis et naturel que l'on donnera au mot "information".

L'Analyse en Composantes principales peut donc être vue comme une technique de réduction de dimensionalité.

Propriétés des Composantes Principales

Nombre

Bien que l'objectif soit en général de n'utiliser qu'un petit nombre de Composantes Principales, l'ACP en construit initialement p, autant que de variables originales. Ce n'est que par la suite que l'analyste décidera du nombre de Composantes à retenir. "Retenir k Composantes Principales" veut dire "Remplacer les observations originales par leur projections orthogonales dans le sous-espace à k dimensions défini par les k premières Composantes Principales.".

Orthogonalité

Les Composantes Principales définissent des directions de l'espace des observations qui sont deux à deux orthogonales. Autrement dit, l'ACP procède à un changement de repère orthogonal, les directions originales étant remplacées par les Composantes Principales.

Décorrélation

Les Composantes Principales sont des variables qui s'avèrent être deux à deux décorrélées.

Ordre et sous-espaces optimaux

La propriété fondamentale des Composantes Principales est de pouvoir être classées par ordre décroissant d'importance dans le sens suivant :

• Si l'analyste décide de décrire ses données avec seulement k (k < p) combinaisons linéaires de ses variables originales tout en perdant le moins possible d'information, alors ces k combinaisons linéaires sont justement les k premières Composantes Principales.

Ainsi, le meilleur sous-espace à k dimensions dans lequel projeter les observations est justement celui engendré par les k premières Composantes Principales. Autrement dit, les sous-espaces de projection optimale sont emboîtés, ce qui est une propriété forte, utile, et pas du tout évidente a priori.

Applications de l'Analyse en Composantes Principales

Analyse exploratoire des données

L'utilisation la plus commune de l'ACP est de fournir de données décrites par un grand nombre de variables quantitatives des représentation planes (et donc interprétables visuellement) aussi fidèles que possible. Pour cela, on projette ces données sur des plans factoriels, chaque plan étant défini par une paire de Composantes Principales prises parmi les premières CP.

De l'examen de ces projection, l'analyste tentera de retirer des informations sur la structure des données, par exemple :

• L'existence et la localisation d'observations "exceptionnelles", ou "aberrantes", c'est à dire très éloignées de l'ensemble des autres observations.
• L'existence de regroupements bien marqués ("classes", ou "clusters"), suggérant l'existence de plusieurs sous-populations au sein de l'ensemble des observations.
• L'interprétation des Composantes Principales. Alors que les variables originales ont une interprétation "native", les Composantes Principales n'ont a priori qu'une définition mathématique. Une des marques du succès d'une ACP est de pouvoir donner des CP des interprétations en termes de propriétés réelles mais non mesurées des observations. Lorsque cela est possible, on dit alors que l'ACP a révélé l'existence de variables "latentes".

Prétraitement de données, réduction de dimensionalité

Toutes les techniques de modélisation multivariée sont sujettes au compromis biais-variance, qui énonce que le nombre de variables effectivement utilisées pour la construction d'un bon modèle doit être sévèrement contrôlé. En pratique, l'analyste fait souvent face à des variables en nombre beaucoup plus important que le "nombre optimal" de variables pour le modèle considéré. Il existe parfois des techniques spécialisées de sélection de variables (voir p. ex. ici), mais des techniques de réduction de dimensionalité comme l'ACP peuvent également être utilisées pour n'alimenter le modèle qu'avec un nombre réduit de variables : par exemple, une Régression Linéaire Multiple "ordinaire" peut parfois être avantageusement remplacé par une Régression utilisant les k premières CP comme variables indépendantes (Régression sur Composantes Principales).

Compression et reconstitution de données

La table des données décrivant les observations dans les k premières CP est moins volumineuse que la table originale. Dans une perspective de transmission ou de stockage d'information, l'ACP peut être perçue comme un technique de compression de données avec pertes (minimales).

Cette vue n'a d'intérêt que s'il est possible de reconstituer les données à partir de leur description compressée. Nous verrons qu'il est effectivement possible de reconstruire approximativement les données dans un espace à p dimensions à partir de leurs projections dans un sous-espace optimal à k dimensions, avec k < p.

ACP comme "moteur" d'autres techniques

Bien que née de considérations résolument pratiques (visualisation de données), la machinerie mathématique et l'interprétation de l'ACP sont très générales, et se retrouvent au cœur d'autres techniques importantes. Mentionnons par exemple :

• L'Analyse Factorielle Discriminante, qui peut être utilement considérée comme une ACP généralisée portant sur des barycentres de classes.
• La Régression Ridge, qui reçoit une interprétation très éclairante dans le cadre de l'ACP.

Généralisations de l'Analyse en Composantes Principales

L'ACP est un simple changement de repère : sa grande force est de pouvoir ainsi recourir à l'Algèbre Linéaire comme outil mathématique principal, et de recevoir une interprétation géométrique simple. Mais cette force est aussi sa faiblesse. En effet, rien ne dit que des nouvelles variables plus complexes que celles résultant d'un changement de repère ne permettraient pas une description plus économe de données.

L'ACP a donc reçu de nombreuses généralisations, essentiellement basées sur des transformations non linéaires des variables originales. Nous n'aborderons pas cette question dans ce Glossaire, mais le lecteur intéressé pourra rechercher des informations sur :

• L'Analyse en Composantes Indépendantes (ACI), qui recherche des nouvelles variables qui ne soient pas seulement décorrélées, mais qui soient authentiquement indépendantes.
• L'Analyse en Composantes Curvilignes (ACC), qui cherche une représentation des données dans un espace de faible dimension qui respecte au mieux les distances entre observations.
• L'ACP sur variables latentes, qui cherche à décrire les observations par combinaisons d'un petit nombre de variables latentes non observées.
• L'ACP à noyaux, qui effectue une projection non linéaire des données dans un espace de grande dimension, puis procède à une ACP ordinaire dans cet espace.

 Par ailleurs, notons que les Cartes de Kohonen peuvent être interprétées comme une technique de réduction de dimensionalité.

 ________________________________________________

Ce premier Tutoriel est un panorama de l'ACP sans aucun recours aux mathématiques. Si celles-ci sont indispensables pour rendre opérationelles les idées directrices de l'ACP, il est par contre tout à fait possible de décrire cette technique majeure et d'en justifier l'intérêt sans mathématiques.

Nous passerons donc en revue les trois grandes phases de l'ACP :

    * La recherche des axes factoriels dans l'espace des individus, et la justification de leur intérêt.

    * La recherche des composantes principales dans l'espace des variables, et la justification de leur intérêt.

    * L'interprétation des résultats. Cette phase est la moins formalisable, et celle qui fait le plus appel au savoir-faire et à l'expérience de l'analyste.

PANORAMA DE L'ANALYSE EN COMPOSANTES PRINCIPALES

____________________________________________________________

Dans ce Tutoriel, nous détaillons le mécanisme par lequel sont identifiés les "meilleurs" sous-espaces de projection du nuage des individus. Nous montrerons en particulier que ces sous-espaces sont emboîtés : le meilleur sous-espace de dimension k est inclus dans le meilleur sous-espace de dimension k' (k < k'). Nous calculerons également les inerties des projections du nuage sur ces divers sous-espaces.

ANALYSE DU NUAGE DES INDIVIDUS

______________________________________________________________________

L'analyste est au moins autant intéressé par les variables que par les individus. En particulier, il cherche à mettre en évidence des groupes de variables deux-à-deux fortement corrélées.

De telles découvertes peuvent être faites par un examen minutieux mais laborieux de la matrice de corrélation des données.

Cependant, l'ACP offre la possibilité de faire ces mêmes découvertes par un examen visuel de diagrammes représentant graphiquement ces corrélations. Ces diagrammes seront des projections des vecteurs-variables sur des plans factoriels identifiés par une mécanique semblable à celle décrite pour les individus dans le Tutoriel précédent, mais utilisée cette fois-ci dans un espace dual de l'espace des individus : l'espace des variables.

De même que les sous-espaces de projection des individus étaient sous-tendus par des axes factoriels, les sous-espaces de projection des variables seront sous-tendus par des composantes principales, combinaisons linéaires des variables originales assurant une représentation réduite mais optimale de ces variables.

-----

Les espaces des individus et des variables représentant la même information mais sous deux formes différentes, on s'attend à ce qu'il soit possible de déduire les propriétés d'un espace à partir des résultats obtenus dans l'autre espace. Cette dualité donne en effet lieu à des formules de transition, qui formalisent en particulier le lien entre axes factoriels et composantes principales.

ANALYSE DES VARIABLES

 ________________________________________________________

L'objectif de toute Analyse Exploratoire est de permettre à l'analyste de comprendre la structure des données comme s'il était capable de "voir" directement dans un espace de dimension élevée (p pour l'espace des individus, ou n pour l'espace des variables).

A défaut, l'ACP va lui permettre de projeter ces espaces et leurs contenus sur des plans, dits plans factoriels. Chaque plan factoriel est défini par deux axes:

    * Deux axes factoriels pour les individus.

    * Deux composantes principales pour les variables.

Les meilleurs axes de projection ont été trouvés par l'ACP : ce sont les facteurs d'ordre faible. L'ACP garantit que la projection sur les premiers plans factoriels produisent des données la représentation la plus fidèle possible aus sens des Moindres Carrés.

-----

L'analyste n'a plus qu'à utiliser son savoir-faire (lequel doit être grand) pour extraire des valeurs numériques et des diagrammes de projection les informations qui lui apporteront une meilleure compréhension des données.

INTERPRETATION D'UNE ACP

___________________________________________________

Dans ce Tutoriel, nous abordons succinctement quelques compléments sur l'Analyse en Composantes Principales.

    * L'ACP peut être utilisée pour faire de la compression d'information avec pertes. L'idée simple est de ne retenir que les k < p premiers axes factoriels pour décrire les individus. La difficulté est alors de définir la transformation inverse de façon à reconstruire les individus dans le repère initial (ceci est essentiel, par exemple en compression d'images). La solution optimale sera apportée par le Théorème d'Eckart-Young, que nous énonçons mais dont la démonstration dépasse le cadre de ce Glossaire.

    * L'ACP de base suppose que l'on utilise la distance euclidienne, et que tous les individus sont munis du même "poids" unité. Ces deux hypothèses peuvent (et doivent dans certains cas) être remplacées par des hypothèses plus générales. Nous montrons que la notion d'inertie doit alors être redéfinie, mais que les grandes lignes de la théorie que nous avons développée restent valables.

    * Comme toutes les techniques reposant sur des Moindres Carrés, l'ACP est sensible aux point aberrants. Nous montrons comment le codage des individus par rang peut rendre l'ACP plus robuste.

COMPLEMENTS SUR L'ACP

 _________________________________________________

Voir aussi: