RBF  (Réseaux)

Définition des réseaux RBF

Ce sigle signifie Réseau à "Fonctions Radiales de Base » (Radial Basis Functions).

Un des deux principaux réseaux de neurones supervisés (l'autre étant le Perceptron Multicouches).

Il repose sur le fait que toute fonction (continue sur un compact) peut être approchée d'aussi près que l'on veut par une somme de fonctions gaussiennes judicieusement choisies. Si l'on impose que ces gaussiennes aient toutes la même hauteur, il suffit de remplacer "somme" par "combinaison linéaire" pour que la propriété soit conservée.

L'image ci-dessus représente une fonction y = f(x), ainsi que les gaussiennes qui contribuent à sa reconstitution.

La propriété est vraie en toute dimension, les gaussiennes unidimensionnelles étant alors remplacées par des fonction gaussiennes multidimensionnelles G(x₁, x₂ , ..., x_n).

-----

L'objectif premier des réseaux RBF est donc de faire de la régression, c'est à dire, de construire une bonne approximation d'une fonction qui n'est connue que par un nombre fini de points "expérimentaux" bruités  {x_i, y_i} (pour plus d'information sur le concept de régression, voir ici ).

Par voie de conséquence, il peuvent faire également de la classification en faisant de la régression sur les indicatrices de classe.

Tout ceci n'est pas propre aux réseaux RBF, mais est vrai de toute technique d'approximation fonctionnelle. Alors pourquoi les réseaux RBF ?

Pourquoi les réseaux RBF ?

        Comme le montre la figure ci-dessus, chaque région de la fonction à reproduire n'est prise en charge que par un petit nombre de gaussiennes "de base". Ceci est dû au fait que la gaussienne est une courbe à décroissance très rapide, et qui donc n'a d'influence que sur une petite zone autour de sa position moyenne. La régression se fait donc localement (à l'inverse de ce qui se passe avec la plupart des autres techniques de régression depuis la Régression Linéaire Simple jusqu'au Perceptron-Multicouches). On peut donc espérer que l'apprentissage (calcul des coefficients du modèle) en soit grandement facilité.

Apprentissage des réseaux RBF

        Quels sont les paramètres du modèle ?

• Chaque gaussienne "de base" est caractérisée par :
• La position de sa moyenne,
• Sa matrice de covariance.
• La combinaison linéaire des gaussiennes contient autant de paramètres qu'il y a de gaussiennes.

Chaque gaussienne ne recouvre qu'un petit volume de l'espace. Pour pouvoir reproduire la fonction dans tout l'espace défini par les données, il faut donc procéder à un pavage de l'espace par un très grand nombre de gaussiennes. Chaque gaussienne étant elle-même définie par un grand nombre de paramètres (voir ci-dessus), un réseau RBF est donc défini par un nombre considérable de paramètres (couramment plusieurs milliers). Il est donc exclu, pour des raisons de temps de calcul, de calculer les valeurs de ces paramètres par une procédure d'optimisation, comme c'est le cas pour le Perceptron Multicouches (dont les utilisateurs se plaignent déjà de la lenteur de l'apprentissage, alors qu'il ne contient que peu de paramètres) ou la Régression Logistique.

Le "nombre de paramètres effectif" est en fait beaucoup plus faible, toujours en raison du caractère local des réseaux RBF. C'est ce nombre qui doit être pris en considération lorsque ce pose la question du dilemme biais-variance. Nous ne développerons pas cette question.

Heureusement, en raison de leur mode de fonctionnement "local", les Réseaux RBF se montrent très tolérants en ce qui concerne la façon dont les paramètres sont calculés. Il existe de nombreuses heuristiques rapides permettant de définir de façon approximative les positions et les matrices de covariances des gaussiennes sans avoir recours à des techniques d'optimisation. Le calcul des coefficients de la combinaison linéaire de ces gaussiennes de base est alors lui aussi simple et rapide.

Les valeurs des coefficients ne sont alors pas optimales, mais le réseau fonctionne quand même correctement.

Avantages et inconvénients des réseaux RBF

         Alors que l'on pouvait redouter d'avoir inventé un modèle aux belles propriétés théoriques, mais inutilisable en raison de durées d'apprentissage prohibitives, c'est tout le contraire qui se produit : la construction d'un réseau RBF est rapide et facile, et c'est là le principal avantage de la technique.

Mais cet avantage se paye par des performances qui ne peuvent être aussi bonnes que celles de techniques plus sophistiquées (comme le Perceptron Multicouches). En particulier, les réseaux RBF sont peu performants :

• Sur les données dans des espaces de grande dimension (beaucoup de variables d'entrée). Cette faiblesse est propre à toutes les techniques locales (pensez à l'histogramme).
• Sur des données très bruitées. La reconstruction locale de la fonction empêche le réseau de "moyenner" le bruit sur tout l'espace (comparez avec la Régression Linéaire, dont l'objectif est justement de moyenner le bruit sur les données.).

________________

Les réseaux RBF apparaissent donc comme une alternative crédible au Perceptron Multicouches sur des problèmes pas trop difficiles. Leur rapidité et leur facilité d'utilisation en font alors des outils très appréciés.

____________________________________________________________

Voir aussi: