Lorsqu’on étudie des phénomènes réels en sciences, en économie, en sociologie ou même en physique, on se retrouve souvent avec une série de données expérimentales ou statistiques : paires de points \(x_i,y_i)\). La question se pose toujours : comment trouver une « loi simple » qui relie \(y\) à \(x\) ?
La méthode des moindres carrés, introduite au XIXe siècle par Gauss et Legendre, répond à cette question en proposant une technique d’ajustement : trouver la droite (ou plus généralement une courbe) qui passe « le mieux possible » au voisinage des points observés.
En lycée, on se concentre surtout sur la régression linéaire, c’est-à-dire l’ajustement par une droite. Elle permet d’approximer une relation de la forme :
\(y \approx ax + b\)
où \(a\) est la pente de la droite et \(b\) l’ordonnée à l’origine.
Dans cet article :
- Tu vas comprendre le principe de la méthode des moindres carrés ;
- Découvrir la formule du calcul des coefficients \(a\) et \(b\) ;
- Apprendre à interpréter graphiquement une régression linéaire ;
- Découvrir deux exercices corrigés d’application.
Comprendre l’idée des moindres carrés
Imaginons un nuage de points \((x_1,y_1),(x_2,y_2), …, (x_n,y_n)\). La droite \(y = ax + b\) ne passera pas exactement par tous les points, sauf cas particulier. Il y aura donc un écart entre la valeur observée \(y_i\) et la valeur prédite par la droite \(\hat{y_i} = a x_i + b\).
On appelle résidu la différence :
\(\epsilon_i = y_i – (ax_i + b)\)
La méthode des moindres carrés consiste à choisir \(a\) et \(b\) de façon à minimiser la somme des carrés des résidus :
\(S = \sum_{i=1}^{n} \varepsilon_i^2 = \sum_{i=1}^{n} (y_i – a x_i – b)^2\)
Pourquoi un carré ? Parce que :
- cela évite que les écarts positifs et négatifs s’annulent,
- cela donne plus de poids aux écarts importants,
- cela permet une résolution mathématique élégante.
Formules des coefficients de la droite de régression
En cherchant à minimiser la fonction \(S(a,b)\), on obtient les formules suivantes :
\(a = \frac{\sum_{i=1}^{n} (x_i – \bar{x})(y_i – \bar{y})}{\sum_{i=1}^{n} (x_i – \bar{x})^2}\)
\(b = \bar{y} – a\bar{x}\)
où \(\bar{x}\) et \(\bar{y}\) désignent respectivement les moyennes des \(x_i\) et des \(y_i\) :
\(\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i\), \(\bar{y} = \frac{1}{n} \sum_{i=1}^{n} y_i \)
Ces formules garantissent que la droite choisie « s’approche au mieux » de l’ensemble de points en réduisant au maximum les écarts cumulés au carré.
Signification géométrique
La droite des moindres carrés joue le rôle d’axe de symétrie statistique du nuage de points :
- Elle passe par le point moyen \((\bar{x},\bar{y})\).
- Elle « équilibre » le nuage, comme un fil tendu autour duquel les points semblent distribués.
- Plus les données suivent une relation linéaire, plus les points se rapprochent de cette droite.
Exemple simple
Prenons 3 points : \((1,2),(2,3),(3,2) \)
On calcule d’abord les moyennes :
\(\bar{x} = \frac{1 + 2 + 3}{3} = 2\), \(\bar{y} = \frac{2 + 3 + 2}{3} = \frac{7}{3} \approx 2.33\)
Ensuite :
\(a = \frac{(1-2)(2-2.33) + (2-2)(3-2.33) + (3-2)(2-2.33)}{(1-2)^2 + (2-2)^2 + (3-2)^2}\)
\( = \frac{0.33 – 0.33}{2} = 0\)
Ainsi, \(a = 0\) et donc \(b = \bar{y} = 2.33\).
La droite de régression est \(y = 2.33\). Elle est horizontale, traduisant le fait que les \(y\) ne dépendent pas vraiment de \(x\) dans cet exemple.
Intérêt en sciences et en économie
La méthode des moindres carrés n’est pas une curiosité mathématique :
- En économie, elle sert à établir des tendances (par exemple, l’évolution du prix d’un produit en fonction du temps).
- En physique, elle permet d’ajuster une relation entre deux grandeurs mesurées expérimentalement (loi d’Ohm \(U = RI\), étude de la vitesse en fonction du temps, etc.).
- En statistiques, elle est la base de la régression linéaire multiple et des modèles prédictifs plus sophistiqués.
Exercices corrigés
Exercice 1 : On dispose des données suivantes :
| \(x\) | 1 | 2 | 3 | 4 |
| \(y\) | 2 | 4 | 5 | 7 |
- Calcule les moyennes \(\bar{x}\) et \bar{y}.
- Détermine l’équation de la droite de régression \(y = ax + b\).
Exercice 2 :
On mesure la tension \(U\) aux bornes d’un dipôle ohmique en fonction de l’intensité \(I\) :
| \(I(A)\) | 0,5 | 1 | 1,5 | 2 |
| \(U(V)\) | 1 | 2 | 3 | 4 |
Détermine la relation \(U = RI + b\) par la méthode des moindres carrés et interprète les résultats.
Correction
Exercice 1 :
- Moyennes :
\(\bar{x} = \frac{1+2+3+4}{4} = 2.5\) et \(\bar{y} = \frac{2+4+5+7}{4} = 4.5\)
- Calcul de a :
\(a = \frac{(1-2.5)(2-4.5)+(2-2.5)(4-4.5)+(3-2.5)(5-4.5)+(4-2.5)(7-4.5)}{(1-2.5)^2+(2-2.5)^2+(3-2.5)^2+(4-2.5)^2}\)
\(=1.6\)
Puis : \(b = \bar{y} – a\bar{x} = 4.5 – 1.6 \times 2.5 = 0.5\)
La droite de régression est donc :
y = 1.6x + 0.5
Exercice 2 :
- Moyennes :
\(\bar{I} = \frac{0.5+1+1.5+2}{4} = 1.25\), \(\bar{U} = \frac{1+2+3+4}{4} = 2.5\)
- Calcul de la pente R :
\(R = \frac{\sum (I_i – \bar{I})(U_i – \bar{U})}{\sum (I_i – \bar{I})^2} \)
\(= \frac{( -0{,}75 )( -1{,}5 ) + ( -0{,}25 )( -0{,}5 ) + ( 0{,}25 )( 0{,}5 ) + ( 0{,}75 )( 1{,}5 )}{0{,}5625 + 0{,}0625 + 0{,}0625 + 0{,}5625} = 2\)
- Ordonnées à l’origine :
\(b = \bar{U} – R\bar{I} = 2.5 – 2 \times 1.25 = 0\)
La relation est \(U = 2I\), ce qui correspond parfaitement à la loi d’Ohm avec une résistance \(R = R\Omega\)
La méthode des moindres carrés est l’un des outils les plus puissants des mathématiques appliquées. En réduisant au minimum l’écart entre un modèle (ici une droite) et un nuage de données, elle te permet de dégager une tendance fiable.
Derrière sa formule se cache une idée très simple : chercher la droite qui « ajuste au mieux » les observations. Avec elle, tu peux passer du concret (mesures, observations) à l’abstrait (modèle mathématique) et donc prédire, expliquer ou interpréter.
