Voir le sujet précédentAller en basVoir le sujet suivant
avatar
Tazon
Niveau 9

mais pourquoi les moindres carrés? Empty mais pourquoi les moindres carrés?

par Tazon Mar 17 Fév 2015 - 18:57
Bonjour,

en essayant aujourd'hui de faire "regresser"mes productions et consommations journalières d'électricité sur  des sinusoïdes, je me posai soudainement la question : "mais pourquoi utiliser sans cesse les moindres carrés?".

Quelqu'un a-t-il réponse à me donner? sachant que je suis en collège depuis près de 20 ans, mes études sont bien loin 😢 , alors pas trop technique si possible :boulet: .
cignus
cignus
Niveau 5

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par cignus Mar 17 Fév 2015 - 19:08
ben si tu fais la somme des écarts par rapport à ta sinusoïde, ils ont tendance à s'annuler.. alors tu fais la somme des écarts au carré, et tu cherches rendre cette somme la plus faible possible...

_________________
2014-20xx : Maths Tx Je m'éclate au collège...
2013-2014 : Maths R2 - 2nde - 1STMG - TSTMG - BTS CGO
2012-2013 : Maths R1 - 6èmes + 4èmes
2011-2012 : SII-SIN - 1ère STI2D + T-STI
1995-2011 : G. Electronique - 2nde-1ère-Tales-BTS-Licence-Ecoles_ingé
JPhMM
JPhMM
Demi-dieu

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par JPhMM Mar 17 Fév 2015 - 19:31
A cause du théorème de Pythagore, pour le dire rapidement...

_________________
Labyrinthe où l'admiration des ignorants et des idiots qui prennent pour savoir profond tout ce qu'ils n'entendent pas, les a retenus, bon gré malgré qu'ils en eussent. — John Locke

Je crois que je ne crois en rien. Mais j'ai des doutes. — Jacques Goimard
Balthazaard
Balthazaard
Vénérable

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Balthazaard Mar 17 Fév 2015 - 20:10
Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...
avatar
Haydens
Niveau 6

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Haydens Mer 18 Fév 2015 - 0:58
Comme la dit cignus ca te permet d'avoir une erreur positive ou il n'y a pas de système de compensation. Tu pourrais aussi prendre la valeur absolue mais ca pourrait créer des problèmes lors du calcul de dérivés dans la théorie. Je pense.
Dinaaa
Dinaaa
Expert spécialisé

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Dinaaa Mer 18 Fév 2015 - 1:06
Suspect

Balthazaard
Balthazaard
Vénérable

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Balthazaard Mer 18 Fév 2015 - 1:24
Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum
verdurin
verdurin
Habitué du forum

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par verdurin Mer 18 Fév 2015 - 1:38
Il y a effectivement une raison pratique, la distance n'est pas dérivable, alors que son carré est dérivable.
D'une autre façon, on peut considérer les projections dans un espace de fonctions ad hoc.

_________________
Contre la bêtise, les dieux eux mêmes luttent en vain.
Ni centidieux, ni centimètres.
avatar
User21929
Expert

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par User21929 Mer 18 Fév 2015 - 8:02
Balthazaard a écrit:
Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum

Y a pas à dire, c'est un métier veneration
cignus
cignus
Niveau 5

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par cignus Mer 18 Fév 2015 - 10:58
Whypee a écrit:
Balthazaard a écrit:
Dinaaa a écrit:Suspect


moi aussi... humhum humhum humhum

Y a pas à dire, c'est un métier veneration

+1

Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...

Super !

_________________
2014-20xx : Maths Tx Je m'éclate au collège...
2013-2014 : Maths R2 - 2nde - 1STMG - TSTMG - BTS CGO
2012-2013 : Maths R1 - 6èmes + 4èmes
2011-2012 : SII-SIN - 1ère STI2D + T-STI
1995-2011 : G. Electronique - 2nde-1ère-Tales-BTS-Licence-Ecoles_ingé
JPhMM
JPhMM
Demi-dieu

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par JPhMM Mer 18 Fév 2015 - 11:13
Balthazaard a écrit:Un petit texte historique que je viens de découvrir

http://www.persee.fr/web/revues/home/prescript/article/rhs_0151-4105_1989_num_42_1_4132

merci Tazon, je me suis régalé avec ce petit article que je trouve très bien écrit, et j'ai appris des histoires que je ne connaissais pas...
Oui, moi de même.
Merci beaucoup.

_________________
Labyrinthe où l'admiration des ignorants et des idiots qui prennent pour savoir profond tout ce qu'ils n'entendent pas, les a retenus, bon gré malgré qu'ils en eussent. — John Locke

Je crois que je ne crois en rien. Mais j'ai des doutes. — Jacques Goimard
avatar
cassoulet
Niveau 3

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par cassoulet Mer 18 Fév 2015 - 13:29
Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.
avatar
Haydens
Niveau 6

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Haydens Mer 18 Fév 2015 - 16:44
cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

J'aime !
Balthazaard
Balthazaard
Vénérable

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Balthazaard Mer 18 Fév 2015 - 17:02
Notons que la question est "pourquoi l'utiliser"...étant entendu que les questions de minimum et autre font partie de la méthode...
avatar
Tazon
Niveau 9

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Tazon Mer 18 Fév 2015 - 17:59
merci pour vos réponses, c'est chouette neoprofs, toujours quelqu'un qui sait ce qu'on a besoin ou envie de savoir! Et m^eme plus, merci pour le texte!

Donc oui, Balthazaard a raison, c'est plus pourquoi que comment qui me faisait m'interroger. Donc des questions de dérivabilités, de linéarité, des erreurs qui s'équilibrent sans s'annihiler les unes les autres (ça oui, je m'en souvenais tout de m^eme Wink ) OK.

Par contre Cassoulet la fonction d'énergie, là je ne sais vraiment pas de quoi tu causes! ( mais ne perds pas de temps à m'expliquer, je sens que ça irait chercher loin, bient^ot les vacances, je chercherai à mon rythme :lecteur: )
Balthazaard
Balthazaard
Vénérable

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Balthazaard Mer 18 Fév 2015 - 18:48
Je te risque une réponse informelle et simplifiée...(qui est présente dans le petit texte d'ailleurs) si on suppose que les valeurs que tu veux ajuster sont entachées de fluctuations (erreurs quoi..) qui obéissent à certaines conditions (en fait celles qui permettent de suspecter une distribution normale) on peut montrer que la méthode des moindres carrés fournit l'estimation la plus efficiente (c'est a dire qui "bougera" le moins si les données fluctuent). (th de Gauss-Markov)
Parce que sinon, mis à part le côté calculatoire de la méthode, on ne voit pas bien ce qui justifie son emploi (que ce soit le choix de la norme, de la projection ou autre qui pourront toujours sembler arbitraires...)

Le coup de l’énergie , je ne connais pas cette présentation mais ça ne me parait pas idiot, dans la mesure où on pourrait rechercher l'état le plus stable...je dis ça comme ça...
ben2510
ben2510
Expert spécialisé

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par ben2510 Mer 18 Fév 2015 - 18:59
cassoulet a écrit:Il s'agit de mesurer une distance (écart) et donc on définit une norme. On peut prendre la valeur absolue (L1), la borne sup ou autre.
Mais la norme L2 (carrés des écarts) provient d'un produit scalaire et a donc de bonnes propriétés simplificatrices (la bilinéarité !) et donc on la choisit en priorité.
De plus c'est lié à des notions d'"énérgie".
Si tu définis la fonction d'énergie d'un système comme la somme des carrés des écarts, le minimum est atteint à la moyenne et vaut la variance. Si tu prend la somme des valeurs absolues, le minimum est atteint à la médiane.

Attention, en posant f(x)=somme (x-x_i)², le minimum est atteint pour x= moyenne(x_i), mais il vaut nV (effectif fois variance).
Je me suis fait avoir là-dessus devant mes 1S l'autre jour (excès d'enthousiasme).
avatar
Filnydar
Niveau 9

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Filnydar Mer 18 Fév 2015 - 19:04
Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.
Balthazaard
Balthazaard
Vénérable

mais pourquoi les moindres carrés? Empty Re: mais pourquoi les moindres carrés?

par Balthazaard Mer 18 Fév 2015 - 19:21
Filnydar a écrit:Un peu plus de détails : les coordonnées (x_i,y_i) (où i appartient à [[1,n]]) des points étant connues, on cherche a et b minimisant l'expression
somme((y_i-a*x_i-b)^2, où  i appartient à [[1,n]]).

On munit R^n de son produit scalaire naturel, on note Y, X et J les vecteurs de coordonnées respectives (y_1,...,y_n), (x_1,...,x_n) et (1,1,...,1).

On cherche donc le minimum de l'expres​sion(norme(Y-aX-bJ))^2 lorsque (a,b) décrit R^2.

Pour cela, on dispose du théorème de projection orthogonale : cette expression est minimale lorsque aX+bJ est le projeté orthogonal de Y sur le sous-espace engendré par X et J, autrement dit lorsque les produits scalaires (Y-aX-bJ|X) et (Y-aX-bJ|J) sont nuls. Le calcul se ramène donc à la résolution d'un système de deux équations à deux inconnues.

On peut montrer que, pour n'importe quelle norme N sur R^n, on peut trouver a et b minimisant l'expression N(Y-aX-bJ), mais on ne dispose alors plus d'accès par le calcul à un couple (a,b) qui convienne, d'où le choix des moindres carrés.

Ce n'est pas une question de calcul (d'ailleurs en maths appliquées, on se soucie assez rarement de calcul , l'existence suffit souvent, une valeur approchée prenant alors le relais si besoin) la raison est plus technique
Voir le sujet précédentRevenir en hautVoir le sujet suivant
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum