Régression linéaire multiple

Un article de Wikipédia, l'encyclopédie libre.

Sommaire

1 Présentation
2 La méthode des moindres carrés ordinaires
- 2.1 Estimateur des moindres carrés ordinaires (EMCO)
- 2.2 Propriétés des estimateurs
3 Évaluation
4 Écart-type de l'erreur et matrice de variance covariance des coefficients
5 Un exemple
6 Voir aussi
- 6.1 Références
- 6.2 Articles connexes
7 Logiciels

[modifier] Présentation

La régression linéaire multiple est une généralisation, à p variables explicatives, de la régression linéaire simple.

Nous sommes toujours dans le cadre de la régression mathématique : nous cherchons à prédire, avec le plus de précision possible, les valeurs prises par une variable y, dite endogène, à partir d'une série de variables explicatives x₁, x₂, …, x_p.

Dans le cas de la régression linéaire multiple, la variable endogène et les variables exogènes sont toutes quantitatives (continues) ; et le modèle de prédiction est linéaire.

[modifier] Équation de régression et objectifs

Nous disposons de n observations (i = 1,…, n ). L'équation de régression s'écrit

$y_i=a_o + a_{1} x_{i,1} + \cdots + a_p x_{i,p} +\epsilon_i \qquad i=1 \cdots n \,$

où

ε_i est l'erreur du modèle, elle exprime, ou résume, l'information manquante dans l'explication linéaire des valeurs de y à partir des x_j (problème de spécifications, variables non prises en compte, etc.) ;
a₀, a₁, …, a_p sont les coefficients (paramètres) du modèle à estimer.

La problématique reste la même que pour la régression simple :

estimer les paramètres a_j en exploitant les observations ;
évaluer la précision de ces estimateurs ;
mesurer le pouvoir explicatif du modèle ;
évaluer l'influence des variables dans le modèle :
- globalement (les p variables en bloc) et,
- individuellement (chaque variable) ;
évaluer la qualité du modèle lors de la prédiction (intervalle de prédiction) ;
détecter les observations qui peuvent influencer exagérément les résultats (points atypiques).

[modifier] Notation matricielle

Nous pouvons adopter une écriture condensée qui rend la lecture et la manipulation de l'ensemble plus facile. Les équations suivantes

$\begin{cases} y_1 = a_0 + a_1 x_{1,1} + \ldots + a_p x_{1,p} + \varepsilon_1\\ y_2 = a_0 + a_1 x_{2,1} + \ldots + a_p x_{2,p} + \varepsilon_2\\ \cdots\\ y_n = a_0 + a_1 x_{n,1} + \ldots + a_p x_{n,p} + \varepsilon_n \end{cases}$

peuvent être résumées avec la notation matricielle

$\begin{pmatrix} y_1 \\ \vdots\\ y_n \end{pmatrix} = \begin{pmatrix} 1 & x_{1,1} & \cdots & x_{1,p} \\ \vdots & \vdots & \ddots & \vdots\\ 1 & x_{n,1} & \cdots & x_{n,p} \end{pmatrix} \begin{pmatrix} a_0\\ a_1\\ \vdots\\ a_p\\ \end{pmatrix} + \begin{pmatrix} \epsilon_1\\ \vdots\\ \epsilon_n\\ \end{pmatrix}$

Soit de manière compacte: $Y = Xa + \epsilon \,$

avec

Y est de dimension (n , 1)
X est de dimension (n, p + 1)
a est de dimension (p+1, 1)
ε est de dimension (n, 1)
la première colonne sert à indiquer que nous procédons à une régression avec constante.

[modifier] Hypothèses

Comme en régression simple, les hypothèses permettent de déterminer : les propriétés des estimateurs (biais, convergence) ; et leurs lois de distributions (pour les estimations par intervalle et les tests d'hypothèses).

Il existe principalement deux catégories d'hypothèses :

Hypothèses stochastiques

$\mathrm{H_{1}: }\,$ Les X_j sont non aléatoires, j = 1, …, p ;
$\mathrm{H_{2}: } \ E[\epsilon_i]=0 \,$ Le modèle est bien spécifié en moyenne ;
$\mathrm{H_{3}: } \ Var[\epsilon_i]=\sigma^2 \ \forall{i} \,$ Homoscedasticité des erreurs (variance constante)
$\mathrm{H_{4}: } \ Cov[\epsilon_i \epsilon_j]=0 \ \forall{i \neq j} \,$ Pas d'auto-corrélation des erreurs.
$\mathrm{H_{5}: } \ Cov[X_i \epsilon_j]=0 \ \forall{i \neq j} \,$ Les erreurs sont indépendantes des variables exogènes.
$\mathrm{H_{6}: } \ \epsilon_i \sim \mathcal{N}(0,\sigma^2) \,$ Les erreurs suivent une loi normale

Hypothèses structurelles

$\mathrm{H_{7}: }\,$ absence de colinéarité entre les variables explicatives, i.e. X 'X est régulière, det(X 'X) ≠ 0 et (X 'X)^-1 existe (remarque : c'est la même chose, rang(X) = rang(X 'X) = p + 1) ;
$\mathrm{H_{8}: }\, \frac{X'X}{n}$ tend vers une matrice finie non singulière lorsque n → +∞ ;
$\mathrm{H_{9}: } \ n >p+1\,$ Le nombre d'observations est supérieur au nombre de variables + 1 (la constante). S'il y avait égalité, le nombre d'équations serait égal au nombre d'inconnues a_j, la droite de régression passe par tous les points, nous sommes face à un problème d'interpolation linéaire (voir Interpolation numérique).

Ecriture matricielle des hypothèses $H 2$ , $H 3$ et $H 4$

$\mathrm{H_{2}:} \ E[\epsilon] = E \begin{pmatrix} \epsilon_1\\ \vdots\\ \epsilon_n \end{pmatrix} = \begin{pmatrix} 0\\ \vdots\\ 0 \end{pmatrix}$

Sous l'hypothèse d'homoscedasticité et d'absence d'auto-corrélation, la matrice de variance-covariance du vecteur des erreurs peut s'écrire:

$\mathrm{H_{3} \ \mbox{et} \ H_{4}:}\ Cov[\epsilon] = \sigma ^2 I_n = \sigma ^2 \begin{pmatrix} 1 & 0 & \cdots &0 \\ 0 & 1 & \cdots &0 \\ \vdots & & \ddots& \vdots \\ 0 & \cdots &\cdots&1 \end{pmatrix} = \begin{pmatrix} \sigma^2 & 0 & \cdots &0 \\ 0 & \sigma^2 & \cdots &0 \\ \vdots & & \ddots& \vdots \\ 0 & \cdots &\cdots&\sigma ^2 \end{pmatrix}$

[modifier] La méthode des moindres carrés ordinaires

[modifier] Estimateur des moindres carrés ordinaires (EMCO)

Du modèle complet:

$y_i =a_0 + a_1 x_{i,1} + \cdots + a_p x_{i,p} +\epsilon_i \,$

On va estimer les paramètres et obtiendra:

$\hat{y_i} =\hat{a}_0 + \hat{a}_1 x_{i,1} + \cdots + \hat{a}_p {x}_{i,p}\,$

Définition : Les résidus estimés sont la différence entre la valeur de y observée et estimée. Soit:

$\hat{\epsilon}_i \equiv y_i - \hat{y}_i \,$

Le principe des moindres carrés consiste à rechercher les valeurs des paramètres qui minimisent la somme des carrés des résidus.

$\min \sum_{i=1}^{n} \hat{\epsilon}_i^2 = \min_{\hat{a}_0, ., \hat{a}_p} \sum_{i=1}^{n} (y_i - \hat{a}_0 - \hat{a}_1 x_{i,1} - \cdots - \hat{a}_{p} x_{i,p})^2$ .

Ce qui revient à rechercher les solutions de $\frac{\partial (\sum \hat{\epsilon}_i^2)}{\partial \hat{a}_j} = 0\,$ . Nous avons j =p + 1 équations, dites équations normales, à résoudre.

La solution obtenue est l'estimateur des moindres carrés ordinaires, il s'écrit :

$\hat a = (X'X)^{-1}X'Y \qquad \,$ avec

X'

la transposée de X

Remarques:

Pourquoi minimiser la somme des carrés plutôt que la simple somme? Cela tient au fait que la moyenne de ces résidus sera 0, et donc que nous disposerons de résidus positifs et négatifs. Une simple somme les annulerait, ce qui n'est pas le cas avec les carrés.
si les x_j sont centrés, X 'X correspond à la matrice de variance co-variance des exogènes ; s'ils sont centrés et réduits, X 'X correspond à la matrice de corrélation.

Interprétation géométrique, algébrique et statistique de l'estimateur MCO

L'estimateur MCO correspond à une projection orthogonale du vecteur Y sur l'espace formé par les vecteurs X.
L'estimateur MCO correspond à une matrice inverse généralisée du système $Y = X a$ pour mettre a en évidence. En effet, si on prémultiplie par l'inverse généraliseé $(X' X) - 1 X'$ on a: $(X' X) - 1 X' Y = (X' X) - 1 X' X a = a$
L'estimateur MCO est identique à l'estimateur obtenu par le principe du maximum de vraisemblance.

[modifier] Propriétés des estimateurs

Si les hypothèses initiales sont respectées, cet estimateur des MCO (Moindres Carrés Ordinaires) possède d'excellentes propriétés :

il est sans biais, c.-à-d. E(â ) = a ;
il est convergent, c.-à-d. la variance des estimateurs tend vers zéro lorsque le nombre des observations n tend vers l'infini ;
on peut même prouver que l'EMCO est le meilleur estimateur linéaire sans biais (en anglais : BLUE, pour best linear unbiased estimator) c.-à.-d. il n'existe pas d'estimateur sans biais de a qui ait une variance plus petite.

[modifier] Évaluation

[modifier] Écart-type de l'erreur et matrice de variance covariance des coefficients

Pour réaliser les estimations par intervalle et les tests d'hypothèses, la démarche est presque toujours la même en statistique paramétrique :

définir l'estimateur (â dans notre cas) ;
calculer son espérance mathématique (ici E(â ) = a) ;
calculer sa variance (ou sa matrice de variance co-variance) et produire son estimation ;
et enfin déterminer sa loi de distribution (en général et sous l'hypothèse nulle des tests).

[modifier] Matrice de variance co-variance de â

La matrice de variance co-variance est définie par :

Ω_â = E[(â - a)(â - a)']

En développant cette expression, nous obtenons :

Ω_â = σ_ε²·(X 'X)^-1

Pour obtenir une estimation de la variance co-variance de â, nous devons donc trouver une estimation de l'écart-type de l'erreur σ_ε.

[modifier] Estimation de l'écart-type de l'erreur σ_ε

Pour étudier l'erreur du modèle, nous nous appuyons sur les résidus observés $\hat \varepsilon = Y - \hat Y$ , où $\hat Y = X \hat a$ est la prédiction du modèle.

Les calculs montrent que

$E(\hat \varepsilon' \hat \varepsilon)=\sigma_{\varepsilon}^{2} (n - p - 1)$ .

Nous en déduisons tout naturellement un estimateur sans biais de la variance de l'erreur (et donc de son écart-type) :

$\hat \sigma_{\varepsilon}^{2} = \frac{\hat \varepsilon' \hat \varepsilon}{n-p-1} = \frac{\sum_{i=1}^n \hat \varepsilon_i^2}{n-p-1}$

où n - p - 1 = n - (p + 1), le nombre d'observations moins le nombre de coefficients à estimer, correspond aux degrés de liberté du modèle.

[modifier] Estimation de la matrice de variance co-variance de â

Nous nous appuyons sur ces calculs pour produire l'estimation de la matrice de variance-covariance des coefficients estimés :

$\hat \Omega_{\hat a} = \hat \sigma_{\epsilon}^{2}(X'X)^{-1}$

La variance estimée $\hat \sigma_{\hat a_j}^2$ de l'estimation du paramètre â_j est lue sur la diagonale principale de cette matrice.

Cette formule ne s'applique cependant que dans le cas où les les résidus sont homoscédastiques et sans auto-corrélation, ce qui permet d'écrire la matrice des erreurs comme: $\textrm{Cov}[\epsilon] = \sigma^2 I_{n} \,$

Si il y a de l'hétéroscédasticité ou de l'auto-corrélation, et donc $\textrm{Cov}[\epsilon] \neq \sigma^2 I_{n}$ , il est possible de rectifier la matrice de variance-covariance estimée par:

Matrice de variance-covariance de White (ou Eicker-White (1967, 1980)), consistante en cas d'hétéroscédasticité (en anglais HC Heteroskedasticity Consistent).
Matrice de variance-covariance de Newey-West (1987), consistante en cas d'hétéroscédasticité et d'auto-corrélation (en anglais HAC Heteroskedasticity and Autocorrelation Consistent).

Ces deux estimateurs sont disponible pour le logiciel libre de statistique R dans le paquet externe "sandwich".

[modifier] Étude des coefficients

Après avoir obtenu l'estimateur, son espérance et une estimation de sa variance, il ne reste plus qu'à calculer sa loi de distribution pour produire une estimation par intervalle et réaliser des tests d'hypothèses.

[modifier] Distribution

En partant de l'hypothèse

$\epsilon_i \equiv N(0,\sigma_\epsilon)$ ,

nous pouvons montrer

$\frac{\hat a_j - a_j}{\sigma_{\hat a_j}} \equiv N(0,1)$
$(n-p-1) \frac{\hat \sigma_{\hat a_j}^2}{\sigma_{\hat a_j}^2} \equiv \chi^2(n-p-1)$

Le rapport d'une loi normale et de la racine carrée d'une loi du χ² normalisée par ses degrés de liberté aboutit à une loi de Student. Nous en déduisons donc la statistique :

$t = \frac{\hat a_j - a_j}{\hat \sigma_{\hat a_j}} \equiv \Tau (n-p-1)$

elle suit une loi de Student à (n - p - 1) degrés de liberté.

[modifier] Intervalle de confiance et tests d'hypothèses

À partir de ces informations, il est possible de calculer les intervalles de confiance des estimations des coefficients.

Il est également possible de procéder à des tests d'hypothèses, notamment les tests d'hypothèses de conformité à un standard. Parmi les différents tests possibles, le test de nullité du coefficient (H₀ : a_j = 0, contre H₁ : a_j ≠ 0) tient un rôle particulier : il permet de déterminer si la variable x_j joue un rôle significatif dans le modèle. Il faut néanmoins être prudent quant à ce test. L'acceptation de l'hypothèse nulle peut effectivement indiquer une absence de corrélation entre la variable incriminée et la variable endogène ; mais il peut également résulter de la forte corrélation de x_j avec une autre variable exogène, son rôle est masqué dans ce cas, laissant à croire une absence d'explication de la part de la variable.

[modifier] Evaluation globale de la régression — Tableau d'analyse de variance

[modifier] Tableau d'analyse de variance et coefficient de détermination

L'évaluation globale de la pertinence du modèle de prédiction s'appuie sur l'équation d'analyse de variance SCT = SCE + SCR, où

SCT, somme des carrés totaux, traduit la variabilité totale de l'endogène ;
SCE, somme des carrés expliqués, traduit la variabilité expliquée par le modèle ;
SCR, somme des carrés résiduels correspond à la variabilité non-expliquée par le modèle.

Toutes ces informations sont résumés dans un tableau, le tableau d'analyse de variance.

Source de variation	Somme des carrés	Degrés de liberté	Carrés moyens
Expliquée	$SCE=\sum_i(\hat y_i-\bar{y})^2$	p	$CME=\frac{SCE}{p}$
Résiduelle	$SCR=\sum_i(y_i-\hat{y}_i)^2$	n - p - 1	$CMR=\frac{SCR}{n-p-1}$
Totale	$SCT=\sum_i(y_i-\bar{y})^2$	n - 1

Dans le meilleur des cas, SCR = 0, le modèle arrive à prédire exactement toutes les valeurs de y à partir des valeurs des x_j. Dans le pire des cas, SCE = 0, le meilleur prédicteur de y est sa moyenne $\bar{y}$ .

Un indicateur spécifique permet de traduire la variance expliquée par le modèle, il s'agit du coefficient de détermination. Sa formule est la suivante :

$R^2 = \frac{SCE}{SCT} = 1 - \frac{SCR}{SCT}\,$

$R=\sqrt{R^2}\,$ est le coefficent de corrélation multiple.

Dans une régression avec constante, nous avons forcément

0 ≤ R ² ≤ 1.

Enfin, si le R ² est certes un indicateur pertinent, il présente un défaut parfois ennuyeux, il a tendance à mécaniquement augmenter à mesure que l'on ajoute des variables dans le modèle. De ce fait, il est inopérant si l'on veut comparer des modèle comportant un nombre différent de variables. Il est conseillé dans ce cas d'utiliser le coefficient de détermination ajusté qui est corrigé des degrés de libertés :

$\bar{R}^2 = 1 - \frac{SCR/(n-p-1)}{SCT/(n-1)} = 1 - \frac{n-1}{n-p-1}(1-R^2)$

[modifier] Significativité globale du modèle

Le R ² est un indicateur simple, on comprend aisément que plus il s'approche de la valeur 1, plus le modèle est intéressant. En revanche, il ne permet pas de savoir si le modèle est statistiquement pertinent pour expliquer les valeurs de y.

Nous devons nous tourner vers les tests d'hypothèses pour vérifier si la liaison mise en évidence avec la régression n'est pas un simple artefact.

La formulation du test d'hypothèse qui permet d'évaluer globalement le modèle est le suivant :

H₀ : a₁ = a₂ = … = a_p = 0 ;
H₁ : un des coefficients au moins est non nul.

La statistique dédiée à ce test s'appuie (parmi les différentes formulations possibles) sur le R ², il s'écrit :

$F_{calc} = \frac{\frac{R^2}{p}}{\frac{1-R^2}{n-p-1}}$ ,

et suit une loi de Fisher à (p, n - p - 1) degrés de liberté.

La région critique du test est donc : rejet de H₀ si et seulement si F_calc > F_{1 - α}(p, n - p - 1), où α est le risque de première espèce.

Une autre manière de lire le test est de comparer la p-value (probabilité critique du test) avec α : si elle est inférieure, l'hypothèse nulle est rejetée.

[modifier] Un exemple

Les données CARS disponibles sur le site DASL ont été utilisées pour illustrer la régression linéaire multiple.

L'objectif est de prédire la consommation des véhicules, exprimée en MPG (miles parcouru par gallon de carburant, plus le chiffre est élevé, moins la voiture consomme) à partir de leurs caractéristiques (weight — poids, drive ratio — rapport de pont, horsepower — puissance, …). Conformément à ce qui est indiqué sur le site, l'observation « Buick Estate Wagon », qui est un point atypique, a été supprimée de l'analyse.

Les résultats sont consignés dans les tableaux suivants :

Résultats globaux
Variable endogène	MPG
Exemples	37
R ²	0,933 367
R ² ajusté	0,922 62
Erreur σ	1,809 093
Test F(5,31)	86,847 2 (0,000 000)

La variance expliquée par le modèle est de R ² = 0,93, ce qui est elévé ; le modèle semble très bon ;
le tableau d'analyse de variance et le test F associé indique effectivement que le modèle est globalement très significatif ; F_calc = 86,84, avec une probabilité critique (p-value) très nettement en-deça du seuil de 5 % couramment utilisé dans la pratique ;
les variables significatives sont le poids (weight) et le rapport de pont (drive ratio). Les autres semblent sans effet dans l'explication de la consommation.

Cette lecture très simplifiée du rôle des variables doit bien sûr être relativisée. La puissance (horsepower) est vraisemblablement masquée par le poids auquel elle est très fortement corrélée. Ce problème de colinéarité des exogènes est crucial dans la régression. Il faut le détecter, et il faut le traiter. Il existe des méthodes de sélection automatique de variables pour y rémedier, l'expert du domaine joue également un rôle important. C'est pour cette raison par exemple qu'en économie, une analyse de régression doit être accompagnée d'une analyse économique fine des causalités que l'on essaie de déceler.

[modifier] Voir aussi

[modifier] Références

Régis Bourbonnais, Économétrie, Dunod, 1998 (ISBN 2100038605)
Yadolah Dodge et Valentin Rousson, Analyse de régression appliquée, Dunod, 2004 (ISBN 2100486594)
R. Giraud, N. Chaix, Économétrie, Puf, 1994
C. Labrousse, Introduction à l'économétrie -- Maîtrise d'économétrie, Dunod, 1983

[modifier] Articles connexes

[modifier] Logiciels

Regress32, un logiciel dédié à la régression linéaire multiple.
Tanagra, un logiciel de statistique et d'analyse de données, comportant un module de régression.
Free Statistics, un portail recensant plusieurs logiciels de statistique libres et gratuits, plusieurs d'entre eux traitent de la régression linéaire multiple.

Catégorie : Estimation (statistique)

Régression linéaire multiple

Un article de Wikipédia, l'encyclopédie libre.

Sommaire

[modifier] Présentation