Théorème de Gauss-Markov

Un article de Wikipédia, l'encyclopédie libre.

La forme ou le fond de cet article est à vérifier.

Améliorez-le, ou discutez des points à vérifier. Si vous venez d’apposer le bandeau, merci d’indiquer ici les points à vérifier.

En statistiques, le théorème de Gauss–Markov, nommé ainsi d'après Carl Friedrich Gauss et Andrei Markov, énonce que dans un modèle linéaire dans lequel les erreurs ont une espérance nulle, sont non corrélées et dont les variances sont égales, le meilleur estimateur linéaire non biaisé des coefficients est l'estimateur des moindres carrés.

Plus généralement, le meilleur estimateur linéaire non biaisé d'une combinaison linéaire de variables aléatoires est son estimateur aux moindres carrés. On ne suppose pas que les erreurs possèdent une loi normale, ni qu'elles sont indépendantes (juste seulement non corrélées), ni qu'elles possèdent la même loi de probabilité.

Plus explicitement, supposons que l'on ait :

$Y_i=\beta_0+\beta_1 x_i+\varepsilon_i$

Pour i = 1, . . ., n, où β₀ et β₁ sont des paramètres qui ne sont pas aléatoires mais non-observables, x_i sont des observations, ε_i sont aléatoires, et donc Y_i sont des variables aléatoires. Posons x en minuscule, s'agissant d'une observation ; et Y en majuscule car il s'agit d'une variable aléatoire. Les variables aléatoires ε_i sont appelées "erreurs".

Le théorème de Gauss–Markov énonce que :

${\rm E}\left(\varepsilon_i\right)=0,$
${\rm var}\left(\varepsilon_i\right)=\sigma^2<\infty,$

(c'est-à-dire que toutes les erreurs ont la même variance; et

${\rm cov}\left(\varepsilon_i,\varepsilon_j\right)=0$

pour $i\not=j$ ; ce qui traduit la non-corrélation. Un estimateur linéaire non-biaisé de β₁ est une combinaison linéaire :

$c_1Y_1+\cdots+c_nY_n$

dans laquelle les coefficients c_i ne dépendent pas des précédents coefficients β_i, car ceux-ci ne sont pas observables, mais peuvent dépendre de x_i, car il s'agit des observations, et dont l'espérance reste β₁ même si les valeurs de β_i changent. (La dépendance des coefficients en x_i est typiquement non-linéaire ; l'estimateur est linéaire par rapport à ce qui est aléatoire; ce qui est appelé régression "linéaire").

L' erreur moyenne quadratique d'un tel estimateur $E\left((c_1Y_1+\cdots+c_nY_n-\beta_1)^2\right),$ c'est-à-dire, l'espérance du carré de la différence entre l'estimateur et les paramètres à estimer. L'erreur moyenne quadratique d'un estimateur coïncide avec sa variance si l'estimateur n'est pas biaisé ; dans le cas contraire, l'erreur moyenne quadratique est la somme de la variance et du carré du biais. Le meilleur estimateur non-biaisé est l'estimateur de plus faible erreur moyenne quadratique. Les "estimateurs aux moindres carrés" de β₀ et β₁ sont les fonctions $\widehat{\beta}_0$ et $\widehat{\beta}_1$ de Ys et xs qui correspondent à la somme des carrés des erreurs de mesure $\sum_{i=1}^n\left(Y_i-\widehat{Y}_i\right)^2=\sum_{i=1}^n\left(Y_i-\left(\widehat{\beta}_0+\widehat{\beta}_1 x_i\right)\right)^2$ aussi petit que possible. Ne pas confondre erreur sur des quantités non-observables et erreurs de mesure sur des grandeurs observables.

L'idée principale de la preuve est que les estimateurs aux moindres carrés sont non corrélés par rapport à chaque estimateur linéaire non biaisé de zéro, c'est-à-dire, chaque combinaison linéaire $a_1Y_1+\cdots+a_nY_n$ dont les coefficients ne dépendent pas des variables non-observables β_i mais dont l'espérance reste nulle lorsque les valeurs de β₁ et β₂ changent.

En terme de formulation matricielle, le théorème de Gauss–Markov montre que la différence entre la matrice de covariance de n'importe quel estimateur linéaire non biaisé et celle de l'estimateur des moindres carrés est une matrice semi-définie positive.