Réseaux de neurones

Ce terme générique recouvre en fait une série de techniques de modélisation, aussi bien prédictive que descriptive.

    1) Modélisation prédictive (Réseaux dits " supervisés")

            Les Réseaux de neurones supervisés sont tout simplement les techniques de Régression et de Classification les plus puissantes à ce jour. Plus précisément :
 

            a) A l'inverse des techniques "classiques" (Régression Linéaire Multiple, Analyse Discriminante), ils se dispensent de l'hypothèse très contraignante sur le couplage linéaire entre variables explicatives et variable à expliquer, ou de frontières linéaires entre classes.

            b) Et pourtant, malgré cette puissance de représentation, ils ont un remarquable pouvoir de généralisation.

L'illustration ci-dessous illustre la souplesse des Réseaux de neurones supervisés, qui leur permet de "coller" à une fonction de régression de forme quelconque.

Les Réseaux de neurones supervisés les plus répandus sont le Perceptron Multicouches (PMC), et les réseaux RBF.

________________________

    2) Modélisation descriptive (Réseaux dits "non supervisés")

        Moins diffusés dans les logiciels commerciaux que leurs cousins supervisés, les Réseaux de neurones non supervisés ont également pour ambition de reprendre les techniques "classiques" de classification non supervisée et de réduction de dimensionalité en s'affranchissant, pour ces dernières, des contraintes sur la linéarité des transformations.

Le seul Réseau de neurones non supervisé disponible commercialement à ce jour est la Carte de Kohonen, utilisée à parts égales pour les deux types d'application mentionnées.

________________________

Relativement récents, les Réseaux de neurones souffrent d'une image quelque peu mystérieuse, voire sulfureuse, totalement injustifiée. Néanmoins, leur puissance se paye par :

        1) La nécessité d'une certaine compréhension de leur fonctionnement pour les mettre en œuvre efficacement.

        2) La perte de l'interprétabilité des valeurs des paramètres : on dit communément que les Réseaux de neurones sont des "boîtes noires".

A une époque ou l'importance d'un résultat optimal se fait de plus en plus durement sentir dans les entreprises, les Réseaux de neurones gagnent rapidement en popularité, et sont déjà devenus des "standards" incontournables des logiciels de Modélisation de Données.

Résidu

En raison de la dispersion naturelle des données, un modèle de régression commet forcément des erreurs. Le mieux que l'on puisse espérer d'un tel modèle est qu'il soit une bonne approximation de la vraie fonction de régression, et donc matérialise une sorte de "distribution moyenne" des données.

L'erreur commise par un modèle de régression sur un individu de l'échantillon de construction du modèle est appelé le résidu du modèle pour cet individu. Les paramètres du modèle de régression sont le plus souvent calculés de façon à rendre minimale la somme des carrés des résidus (méthode dite "des moindres carrés"). Cette quantité est une mesure de la qualité du modèle sur l'échantillon. Rappelons qu'elle ne préjuge en rien du pouvoir de généralisation du modèle, seul intéressant.
 

Le fait que, pour un individu donné, le résidu ait une faible ou une forte valeur n'a absolument aucun rapport avec le fait que le modèle soit bon ou mauvais dans la région entourant cet individu :

    * Un modèle peut être excellent en un point,  mais si un individu de l'échantillon a en ce point, du fait du hasard de la dispersion, une valeur de la variable à expliquer très éloignée de la valeur moyenne, le résidu pour ce point aura une valeur (absolue) élevée.

    * A l'inverse, et pour des raisons de même nature, la quasi-nullité du résidu pour un individu de l'échantillon ne signifie absolument pas que le modèle soit de bonne qualité autour de cet individu.
 

Mais bien sûr, si tous les résidus d'une région sont faibles (resp. élevés), alors le modèle est bon (resp. mauvais) dans cette région.