mais pourquoi les moindres carrés?

Voir le sujet précédent Voir le sujet suivant Aller en bas

mais pourquoi les moindres carrés?

Message par Tazon le Mar 17 Fév 2015 - 18:57

Bonjour,

en essayant aujourd'hui de faire "regresser"mes productions et consommations journalières d'électricité sur  des sinusoïdes, je me posai soudainement la question : "mais pourquoi utiliser sans cesse les moindres carrés?".

Quelqu'un a-t-il réponse à me donner? sachant que je suis en collège depuis près de 20 ans, mes études sont bien loin Crying or Very sad , alors pas trop technique si possible boulet .

Tazon
Niveau 9


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par cignus le Mar 17 Fév 2015 - 19:08

ben si tu fais la somme des écarts par rapport à ta sinusoïde, ils ont tendance à s'annuler.. alors tu fais la somme des écarts au carré, et tu cherches rendre cette somme la plus faible possible...

_________________
2015-2016 : Maths T2 - 2 cinquièmes, 2 quatrièmes et 1 troisième
2014-2015 : Maths T1 - 4 sixièmes !!!
2013-2014 : Maths R2 - 2nde - 1STMG - TSTMG - BTS CGO
2012-2013 : Maths R1 - 6èmes + 4èmes
2011-2012 : SII-SIN - 1ère STI2D + T-STI
1995-2011 : G. Electronique - 2nde-1ère-Tales-BTS-Licence-Ecoles_ingé

cignus
Niveau 5


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par JPhMM le Mar 17 Fév 2015 - 19:31

A cause du théorème de Pythagore, pour le dire rapidement...

_________________
Labyrinthe où l'admiration des ignorants et des idiots qui prennent pour savoir profond tout ce qu'ils n'entendent pas, les a retenus, bon gré malgré qu'ils en eussent. D'ailleurs, il n'y a point de meilleur moyen pour mettre en vogue ou pour défendre des doctrines étranges et absurdes, que de les munir d'une légion de mots obscurs, douteux , et indéterminés. Ce qui pourtant rend ces retraites bien plus semblables à des cavernes de brigands ou à des tanières de renards qu'à des forteresses de généreux guerriers. Que s'il est malaisé d'en chasser ceux qui s'y réfugient, ce n'est pas à cause de la force de ces lieux-là, mais à cause des ronces, des épines et de l'obscurité des buissons dont ils sont environnés. Car la fausseté étant par elle-même incompatible avec l'esprit de l'homme, il n'y a que l'obscurité qui puisse servir de défense à ce qui est absurde. — John Locke

JPhMM
Demi-dieu


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Balthazaard le Mar 17 Fév 2015 - 20:10

Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Balthazaard
Érudit


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Haydens le Mer 18 Fév 2015 - 0:58

Comme la dit cignus ca te permet d'avoir une erreur positive ou il n'y a pas de système de compensation. Tu pourrais aussi prendre la valeur absolue mais ca pourrait créer des problèmes lors du calcul de dérivés dans la théorie. Je pense.

Haydens
Niveau 6


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Dinaaa le Mer 18 Fév 2015 - 1:06

Suspect


Dinaaa
Esprit éclairé


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Balthazaard le Mer 18 Fév 2015 - 1:24

@Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum

Balthazaard
Érudit


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par verdurin le Mer 18 Fév 2015 - 1:38

Il y a effectivement une raison pratique, la distance n'est pas dérivable, alors que son carré est dérivable.
D'une autre façon, on peut considérer les projections dans un espace de fonctions ad hoc.

_________________
Contre la bêtise, les dieux eux mêmes luttent en vain.
Ni centidieux, ni centimètres.

verdurin
Niveau 10


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Whypee le Mer 18 Fév 2015 - 8:02

@Balthazaard a écrit:
@Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum

Y a pas à dire, c'est un métier veneration

Whypee
Neoprof expérimenté


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par cignus le Mer 18 Fév 2015 - 10:58

@Whypee a écrit:
@Balthazaard a écrit:
@Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum

Y a pas à dire, c'est un métier veneration

+1

@Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Super !

_________________
2015-2016 : Maths T2 - 2 cinquièmes, 2 quatrièmes et 1 troisième
2014-2015 : Maths T1 - 4 sixièmes !!!
2013-2014 : Maths R2 - 2nde - 1STMG - TSTMG - BTS CGO
2012-2013 : Maths R1 - 6èmes + 4èmes
2011-2012 : SII-SIN - 1ère STI2D + T-STI
1995-2011 : G. Electronique - 2nde-1ère-Tales-BTS-Licence-Ecoles_ingé

cignus
Niveau 5


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par JPhMM le Mer 18 Fév 2015 - 11:13

@Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...
Oui, moi de même.
Merci beaucoup.

_________________
Labyrinthe où l'admiration des ignorants et des idiots qui prennent pour savoir profond tout ce qu'ils n'entendent pas, les a retenus, bon gré malgré qu'ils en eussent. D'ailleurs, il n'y a point de meilleur moyen pour mettre en vogue ou pour défendre des doctrines étranges et absurdes, que de les munir d'une légion de mots obscurs, douteux , et indéterminés. Ce qui pourtant rend ces retraites bien plus semblables à des cavernes de brigands ou à des tanières de renards qu'à des forteresses de généreux guerriers. Que s'il est malaisé d'en chasser ceux qui s'y réfugient, ce n'est pas à cause de la force de ces lieux-là, mais à cause des ronces, des épines et de l'obscurité des buissons dont ils sont environnés. Car la fausseté étant par elle-même incompatible avec l'esprit de l'homme, il n'y a que l'obscurité qui puisse servir de défense à ce qui est absurde. — John Locke

JPhMM
Demi-dieu


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par cassoulet le Mer 18 Fév 2015 - 13:29

Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

cassoulet
Niveau 3


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Haydens le Mer 18 Fév 2015 - 16:44

@cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

J'aime !

Haydens
Niveau 6


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Balthazaard le Mer 18 Fév 2015 - 17:02

Notons que la question est "pourquoi l'utiliser"...étant entendu que les questions de minimum et autre font partie de la méthode...

Balthazaard
Érudit


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Tazon le Mer 18 Fév 2015 - 17:59

merci pour vos réponses, c'est chouette neoprofs, toujours quelqu'un qui sait ce qu'on a besoin ou envie de savoir! Et m^eme plus, merci pour le texte!

Donc oui, Balthazaard a raison, c'est plus pourquoi que comment qui me faisait m'interroger. Donc des questions de dérivabilités, de linéarité, des erreurs qui s'équilibrent sans s'annihiler les unes les autres (ça oui, je m'en souvenais tout de m^eme Wink ) OK.

Par contre Cassoulet la fonction d'énergie, là je ne sais vraiment pas de quoi tu causes! ( mais ne perds pas de temps à m'expliquer, je sens que ça irait chercher loin, bient^ot les vacances, je chercherai à mon rythme lecteur )

Tazon
Niveau 9


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Balthazaard le Mer 18 Fév 2015 - 18:48

Je te risque une réponse informelle et simplifiée...(qui est présente dans le petit texte d'ailleurs) si on suppose que les valeurs que tu veux ajuster sont entachées de fluctuations (erreurs quoi..) qui obéissent à certaines conditions (en fait celles qui permettent de suspecter une distribution normale) on peut montrer que la méthode des moindres carrés fournit l'estimation la plus efficiente (c'est a dire qui "bougera" le moins si les données fluctuent). (th de Gauss-Markov)
Parce que sinon, mis à part le côté calculatoire de la méthode, on ne voit pas bien ce qui justifie son emploi (que ce soit le choix de la norme, de la projection ou autre qui pourront toujours sembler arbitraires...)

Le coup de l’énergie , je ne connais pas cette présentation mais ça ne me parait pas idiot, dans la mesure où on pourrait rechercher l'état le plus stable...je dis ça comme ça...

Balthazaard
Érudit


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par ben2510 le Mer 18 Fév 2015 - 18:59

@cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

Attention, en posant f(x)=somme (x-x_i)², le minimum est atteint pour x= moyenne(x_i), mais il vaut nV (effectif fois variance).
Je me suis fait avoir là-dessus devant mes 1S l'autre jour (excès d'enthousiasme).

ben2510
Fidèle du forum


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Filnydar le Mer 18 Fév 2015 - 19:04

Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.

Filnydar
Niveau 9


Revenir en haut Aller en bas

Re: mais pourquoi les moindres carrés?

Message par Balthazaard le Mer 18 Fév 2015 - 19:21

@Filnydar a écrit:Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.

Ce n'est pas une question de calcul (d'ailleurs en maths appliquées, on se soucie assez rarement de calcul , l'existence suffit souvent, une valeur approchée prenant alors le relais si besoin) la raison est plus technique

Balthazaard
Érudit


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut


 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum