Discuter:Méthode des moindres carrés

Un article de Wikipédia, l'encyclopédie libre.

je ne comprend pas tres bien comment fonctionne la methode des moindres carrés Pouvez vous la reexpliquer?? merci

Le principe de la méthode est assez simple. Il s'agit de corréler un ensemble statistique un autre ensemble (produit par une fonction paramétrée) en ajustant les paramètres de cette fonction, afin d'en avoir une représentation modèle. Un exemple simple d'application est le suivant : on doit trouver une fonction de formule générale connue (au hasard f:x\rightarrow a+bx+cx^2) pour décrire un ensemble de points d'abscisses et ordonnées connues qui semblent a priori placés sur une courbe de ce type. Appliquer la méthode des moindres carrés revient à minimiser la distance (au carré) entre deux points de mêmes abscisses en manipulant les trois paramères a, b et c. L'appliquer n'est pas toujours très simple, mais il existe des algorithmes de calcul pour pouvoir l'effectuer sur de grands ensembles et des fonctions plus ou moins complexes. --Grimlock 21 août 2006 à 18:39 (CEST)


Bonjour J'ai trouvé cet article très bon mais je me demande deux chose: -si l'article n'est pas un peu trop orienté vers la physique (pour un néophyte, pareils exemples qui font appel à d'autes connaissance sont peut-être décourageants...) -s'il ne serait pas utile aussi de développer la méthode de régression par les moindres carrés ordinaires (donc juste pour le cas simple d'une relation linéaire)


Je ne comprends rien au paragraphe ci-dessous qui se trouvait dans la section Optimalite de la methode des moindres carres. Je pense qu'il faudrait soit detailler, soit plutot remplacer par une application concrete (avec un plot). Ce qui devrait figurer dans la section Optimalite etc... c'est une discussion sur le fait que les estimateurs des moindres carres atteignent generalement la borne de Cramer-Rao generalement au prix d'un biais si le probleme est non-lineaire --Nrl


Il faut se garder de penser que cette méthode est la méthode optimale quels que soient les cas de figure. Ainsi par exemple appliquer une méthode des moindres carrés sur une courbe en log-log (chaque axe porte le logarithme de la valeur représentée) peut ne pas présenter grand sens. De même, selon que l'on a à sa disposition un ampèremètre ou un wattmètre, la mesure de grandeur de ce qui passe dans un réseau de résistance sera soit :
  • L'intensité (i)
  • La puissance (Ri²)
Il va de soi qu'une méthode des moindres carrés sur la première de ces valeurs n'a pas de raison de donner le même résultat sur la seconde. Il faut donc bien s'interroger sur la signification de ce « carré d'erreur » que l'on cherche à minimiser, et si besoin effectuer au préalable les changements de variable adéquats.
Ce serait également une erreur que d'appliquer une méthode de moindres carrés à une classification par rang (voir Loi de Zipf).
En revanche, là où une distribution gaussienne est présumée (ou choisie pour des raisons d'entropie maximale en cas de méthode bayésienne), son choix peut souvent se justifier, et on le démontre même optimal si la relation entre les deux variables est bien linéaire.

[modifier] Doute sur une formule

Bonjour,

j'ai un doute sur cette formule :

 S(\theta) = \sum_{i=1}^N \left(y_i - f(x_i;\theta)\right)^2 = \sum_{i=1}^N r_i(\theta)

Ne serait-ce pas plutôt :

\sum_{i=1}^N (r_i(\theta))^2

Merci d'avance !

--Francois.Nautré (d) 21 décembre 2007 à 13:53 (CET)

oui c'est bien r^2 (c'est corrigé) merci beaucoup Sourire godix (d) 21 décembre 2007 à 14:31 (CET)
Merci à vous ! --Francois.Nautré (d) 21 décembre 2007 à 15:48 (CET)