Formes quadratiques

Définition générale d'une forme quadratique

Soient {x₁, x₂ , ..., x_n} n variables (non aléatoires). Une forme quadratique Q est, par définition, une expression du type :

Q = _ij a_ij x_i x_j

où les a_ij (les coefficients de la forme) sont des nombres réels.

Une forme quadratique est donc un polynôme homogène (pas de terme constant) du deuxième degré dans les x_i.

L'étude des formes quadratiques est grandement simplifiée par l'utilisation de la notation matricielle.

    * La suite des variables {x₁, x₂ , ..., x_n} est considérée comme représentant un vecteur x de coordonnées (x₁, x₂ , ..., x_n ). On notera donc :

x' = (x₁, x₂ , ..., x_n )

Le symbole " ' " désignant la transposition, et signifiant ici simplement que les x_i sont écrits en ligne (par opposition à "en colonne").

    * On désignera par A la matrice de terme général [a_ij].

    * On a alors la définition suivante d'une forme quadratique Q sous forme matricielle :

A s'appelle la matrice de la forme quadratique.

On montre facilement que A peut être supposée symétrique sans perte de généralité.

-----

L'étude des propriétés des formes quadratiques est un chapitre important de l'Algèbre Linéaire dont nous ne retiendront que les quelques éléments les plus utiles en Statistique.

Espérance d'une forme quadratique

Soient :

    * x un vecteur aléatoire de moyenne µ et de matrice de covariance .

    * et la forme quadratique Q = x'Ax.

Nous montrerons que :

Ce résultat général ne suppose rien sur la nature de la distribution de x, à l'exception de l'existence des moments des deux premiers ordres.

Formes quadratiques dans une variable normale multivariée et distribution du Chi-2

Des chapitres importants de la Statistique :

    * Régression Linéaire Multiple,

    * Analyse de la Variance,

utilisent le fait que si x est un vecteur suivant une distribution normale multivariée :

x~N(µ, )

certaines formes quadratiques en x suivent une distribution du Chi-2.

Distribution du Chi-2

Soient {X₁, X₂ , ..., X_n} n variables aléatoires normales standard indépendantes :

X_i ~ N(0, 1)     pour tout i

Rappelons que, par définition, la distribution du Chi-2 à n degrés de liberté est la distribution de la variable X ² définie par :

X ² = _i X_i² 

On note :

X ² ~ _n

La variable X ² est donc définie comme une forme quadratique très particulière dans les X_i dans laquelle :

    * Il n'y a pas de terme croisé (a_ij = 0 pour i  j),

    * et où tous les a_ii sont égaux à 1.

La matrice A est alors simplement la matrice identité d'ordre n, notée I_n.

-----

Notons que ces n variables peuvent être réunies dans l'unique variable normale multivariée standard :

x~N(0, I_n)

Formes quadratiques générales dans une variable multinormale standard et distribution du Chi-2

La question se pose alors naturellement de savoir si d'autres formes quadratiques d'une variable multinormale sphérique de variance unité ont elles aussi des distributions en . Autrement dit, existe-t-il des matrices P telles que

x'Px ~ _??

pour x~N(0, I) ?

Rappelons qu'une matrice symétrique P est dite "idempotente" si  P ² = P.

Nous montrerons qu'une condition nécessaire et suffisante pour qu'il en soit ainsi est que la matrice P soit idempotente. De plus, nous montrerons que si la matrice P est de rang r, alors le nombre de degrés de liberté de la distribution du est égal à r (et réciproquement).

Autrement dit :

En fait, nous montrerons un peu plus que cela car nous considérerons des distributions N(µ, I) non nécessairement centrées sur l'origine.

Une matrice P symétrique idempotente de rang r s'interprète comme étant la matrice d'un opérateur de projection orthogonale sur un sous-espace de dimension r. La projection du vecteur x est  le vecteur Px.

Si  P ² = P, alors :

et x'Px est donc le carré de la longueur de la projection de x sur le sous-espace.

Le résultat précédent s'interprète alors ainsi :

    * Une forme quadratique dans un vecteur multinormal standard x (et donc à symétrie sphérique de variance unité) a une distribution en _r si et seulement si cette forme quadratique est le carré de la longueur de la projection de x sur un sous-espace de dimension r.

Dans l'illustration ci-dessus :

    * Le vecteur x a une distribution multinormale à symétrie sphérique de variance unité.

    * Px est la projection de x sur le sous-espace de dimension r.

    * Le carré de la longueur de Px est distribué comme _r.

Formes quadratiques dans une variable multinormale générale et distribution du Chi-2

Nous aborderons ensuite la question générale des formes quadratiques dans une variable normale multivariée x de matrice de covariance  quelconque :

x~N(µ, )

Nous établirons qu'une forme quadratique Q = x'Ax suit une distribution (non centrale) du Chi-2 à r degrés de liberté si et seulement si les deux conditions suivantes sont remplies :

la valeur du paramètre de non centralité étant alors  µ'Aµ.

-----

Ainsi, dans le cas général, l'interprétation du résultat en termes de distribution du carré de la longueur de la projection de x sur un sous-espace est perdue, et A n'est pas une matrice de projection.

Cette situation se rencontre, par exemple, dans l'étude de la distance de Mahalanobis.

Indépendance de deux formes quadratiques en une variable normale multivariée, théorème de Craig

L'indépendance de deux variables aléatoires est une condition qui facilite grandement le travail du Statisticien. En particulier, beaucoup de résultats relatifs à la somme et au quotient de deux variables aléatoires supposent explicitement que les deux variables concernées sont indépendantes. Par exemple, la définition formelle de la distribution F de Fisher fait appel au quotient de deux variables  supposées indépendantes.

Il est donc naturel de se poser la question de savoir sous quelles conditions deux formes quadratiques en une variable normale multivariée x et de matrices respectives A et B sont indépendantes.

Indépendance de deux formes linéaires

Dans un premier temps, nous montrerons que deux formes linéaires A'x et B'x dans un vecteur multinormal x de matrice de covariance  sont indépendantes si et seulement si :

Ce résultat est important par lui-même, et de plus, il nous sera utile dans l'étude de l'indépendance de deux formes quadratiques, exposée ci-dessous.

Indépendance de deux formes quadratiques

Nous montrerons ensuite que :

Dans le cas particulier où x est sphérique, cette condition se réduit à la condition plus simple AB = 0.

-----

Il n'est pas supposé que les deux formes quadratiques ont des distributions ayant le même nombre de degrés de liberté. Le résultat est valide même si :

    * x'Ax~_r

    * x'Ax~_s

avec r  s.

De même, on ne suppose pas que les distributions du  sont centrales.

Théorème de Craig

L'énoncé précédent fait explicitement l'hypothèse selon laquelle les formes quadratiques considérées ont toutes deux des distributions du Chi-2. Or cette hypothèse n'est pas indispensable, et on a plus généralement :

qui est le même énoncé que précédemment, mais sans la référence aux distributions en  des formes quadratiques.

Sous cette forme générale, ce résultat s'appelle le Théorème de Craig. Sa démonstration, difficile, se situe largement au-delà des limites de ce Glossaire.

Théorème de Cochran

Les questions de distribution et d'indépendance des formes quadratiques dans un vecteur normal multivarié telles que nous les avons évoquées ci-dessus reçoivent une généralisation très importante connue sous le nom de Théorème de Cochran, dont vous trouverez l'énoncé et la démontration ici.

__________________________________________________________________

La première section de ce Tutoriel établit l'espérance d'une forme quadratique générale (voir ici), sans hypothèse sur la distribution de la variable. Elle est indépendante de la deuxième section.

-------

Dans cette deuxième section, nous établissons une condition nécessaire et suffisante pour qu'une forme quadratique Q :

Q = x'Px

dans une variable normale multivariée ait une distribution du Chi-2.

    * Nous traitons d'abord le cas particulier d'une distribution sphérique de variance unité (matrice de covariance identité).

        - Etablir que si la matrice P est une matrice de projection de rang r, alors la forme quadratique Q a une distribution du Chi-2 à r degrés de liberté  (condition suffisante) est assez simple.

        - La réciproque (condition nécessaire) énonce que si Q a une distribution du Chi-2 à s degrés de liberté, alors la matrice P doit être symétrique et de rang s. Sa démonstration est un peu plus difficile, et la fonction génératrice des moments (f.g.m.) de la forme quadratique y jouera un rôle central.

    * Nous traiterons ensuite le cas général (matrice de covariance quelconque) en identifiant une transformation qui le ramène au cas particulier déjà traité, une stratégie classique dans l'étude de la distribution normale multivariée. Ainsi, la Table des Matières du cas général est très courte, le gros du travail ayant été effectué lors de l'étude du cas particulier. Il ne restera plus alors qu'à exprimer les résultats en fonction de la matrice de covariance de x.

FORMES QUADRATIQUES

ET DISTRIBUTION DU CHI-2

 ___________________________________________________________________

Nous abordons maintenant la question de l'indépendance de deux formes quadratiques dans un vecteur normal multivarié.

Dans un premier temps, nous réglons la question, plus facile, de l'indépendance de deux formes linéaires. Ce résultat nous sera de toutes façons utile dans la suite de ce Tutoriel.

-----

Puis nous passons aux formes quadratiques, pour lesquelles nous établissons la condition d'indépendance nécessaire et suffisante énoncée ci-dessus. Comme le lecteur en aura déjà pris l'habitude, nous traitons dans un premier temps le problème des vecteurs multinormaux standard, c'est à dire sphériques et de variance unité. Puis nous passerons au cas général (matrice de covariance quelconque) en montrant qu'on peut le ramener au cas particulier déjà résolu.

-----

Insistons sur le fait que nous faisons toujours l'hypothèse de distributions en Chi-2 des formes quadratiques. La condition d'indépendance reste vraie même sans cette hypothèse (Théorème de Craig), mais devient alors très difficile à démontrer.

INDEPENDANCE DE DEUX FORMES QUADRATIQUES

_____________________________________________________

Voir aussi: