Théorème de Bayes

Prononcer "Baï-ze".

Aussi connu sous le nom de "Règle de Bayes" ou "Formule de Bayes".

Un résultat très important de théorie des Probabilités.

Le cas discret

    Nous présentons d'abord le théorème de Bayes dans le contexte de la classification. Supposons qu'il faille affecter des observations à des classes sur la base de mesures faites sur l'unique attribut x, supposé prendre des valeurs discrètes x^(l).

• Nous définissons la probabilité a priori de la classe C_k comme la proportion des observations qui appartienent à cette classe, quelle que soit la valeur prise par x. Nous notons cette probabilité  P{C_k}.
• De même, nous définissons la probabilité inconditionnelle P{x^(l)}comme la proportion des observations pour lesquelles x prend la valeur x^(l), quelle que soit leur classe.

 _____
 

• De même, la probabiité conditionnelle de classe P{x^(l) | C_k}est la proportion des observations dans la classe C_k  pour lesquelles x = x^(l).  Pour une classe donnée, c'est une fonction de l.

• Ne considérons maintenant que les observations pour lesquelles x = x^(l).  La probabilité a posteriori de la classe C_k pour la valeur x^(l) est la proportion des observations qui appartiennent à cette classe. Elle est notée P{C_k | x^(l)}. Pour une valeur  x^(l) donnée, c'est donc une fonction de k.
  P{C_k} était la probabilité pour qu'une observation,  avant que la mesure sur x soit effectuée, appartienne à la classe k. Mais cette mesure a apporté de l'information supplémentaire, ce qui nous permet d'affiner nos probabilités de P{C_k} à P{C_k | x^(l)}. Ceci explique les termes "a priori" et "a posteriori".

Le théorème de Bayes permet de relier ces quatre quantités. Il s'exprime par la formule:

Donc ce que dit le théorème de Bayes est:

    " Vous voulez savoir à quelle classe appartient une nouvelle observation en mesurant x ?  Vous ne le saurez jamais avec certitude, mais, pour chacune des classes C_k , vous pouvez améliorer votre estimation initiale P{C_k}de la probabilité d'appartenance à la classe en la transformant en P{C_k| x^(l)}, qui tient compte du résultat de la mesure.

Pour cela, pour chaque classe:

    * Prenez la probabilité a priori P{C_k}de la classe.

    * Multipliez la par P{x^(l) | C_k}, la probabilité conditionnelle de classe pour la valeur x^(l) de l'attribut,

    * et divisez le résultat par P{x^(l)}, la probabilité inconditionnelle de la valeur de l'attribut. Ce nombre est le même pour toutes les classes, et ne dépend que de l."

__________________

Le dénominateur  P{x^(l)} joue le rôle d'un facteur de normalisation. Pour s'en convaincre, on additionne toutes le probabilités a posteriori pour obtenir:

En effet, une observation appartient forcément à une classe et à une seule, et la somme des probabilités d'appartenance aux classes est donc égale à 1.

Remplaçons chaque terme de la somme par son expression donnée par la formule de Bayes. Nous obtenons:

La formule de Bayes s'écrit maintenant:

où le dénominateur apparaît clairement comme un facteur de normalisation.

Le cas continu

   La formule de Bayes n'est que légèrement modifiée si x est une variable continue. La définition des probabilité a priori est bien sûr inchangée. Mais:

    * Les probabilités inconditionnelles P{x^(l)} doivent être remplacées par la densité (de probabilité) inconditionnelle p(x), qui est la fonction de densité de probabilité de x quand les étiquettes de classe ne sont pas prises en compte.

    * Les probabilités conditionnelles de classe P{x^(l) | C_k}doivent être remplacées par les densités (de probabilité) conditionnelles de classes p(x|C_k). Chacune de ces k densités est la ddp de x pour la population d'une classe quand les autres classes sont ignorées.

La formule de Bayes devient alors:

La formulation générale

    Le  théorème de Bayes ne se limite pas à la seule classification. Sa formulation générale est une des bases de la Théorie des Probabilités, et ne fait référence ni à la classification ni à aucune autre application particulière.

Elle s'énonce ainsi:

    * Si A est un évènement quelconque,

    * et si {B₁, B₂, ..., B_n} est un ensemble d'évènements à la fois exhaustifs et mutuellement exclusifs,

alors pour tout i:

Nous pouvons considérer P{B_i}comme une évaluation initiale de la vraisemblance de l'évènement B_i. Si l'évènement A se produit, alors nous pouvons affiner cette estimation en la remplaçant par P{B_i | A }.

____________________________________________________________________________________