Exemples de régressions

Le principe de base pour ajuster un modèle (i.e. une fonction) sur des données est de minimiser la sommes du carré des erreurs entre les valeurs réelles et celles obtenues par le modèle. Les algorithmes pour ce faire sont bien connus et se trouvent dans tous les logiciels de statistiques (voir Wolfram Alpha). Cependant, dans tous les cas, il faut au moins autant de données que de paramètres dans le modèle. Par exemple, pour un modèle linéaire reliant 2 variables, il y a 2 paramètres: la pente et l'ordonnée à l'origine, il faut donc au moins 2 données. Notons que cette approche est générale et n'est donc pas limité au cas linéaire. De plus, elle peut s'étendre au cas de plusieurs dimensions (exemple: modèle linéaire à deux dimensions (i.e. un plan)).

Modèle linéaire avec 2 données

Ça revient à calculer la droite entre les 2 points. Le modèle reproduit exactement les données (coefficient de détermination est 1.0), car on a le même de données que de paramètres: exemple.

Modèle linéaire avec plus de 2 données

Ça revient à calculer la droite de régression linéaire passant entre les données. Le modèle ne reproduit pas exactement les données (coefficient de détermination est <1.0), car on a plus de données que de paramètres, mais c'est le meilleur modèle linéaire au sens de la somme du carré des erreurs: exemple.

Modèle quadratique avec 3 données

Ça revient à calculer le polynôme de degré 2 passant par les 3 points. Le modèle reproduit exactement les données (coefficient de détermination est 1.0), car on a le même de données que de paramètres: exemple.

On observe qu'avec les 3 mêmes données, le modèle quadratique est exact alors que le modèle linéaire est imparfait.

Modèle quadratique avec plus de 3 données

Ça revient à calculer la polynôme de régression de degré 2 passant entre les données. Le modèle ne reproduit pas exactement les données (coefficient de détermination est <1.0), car on a plus de données que de paramètres, mais c'est le meilleur modèle linéaire au sens de la somme du carré des erreurs: exemple.