L’origine du mot régression vient de Sir Francis Galton. En 1885, travaillant sur l’hérédité, il chercha à expliquer la taille des fils en fonction de celle des pères. Il constata que lorsque le père était plus grand que la moyenne, taller than mediocrity, son fils avait tendance à être plus petit que lui et, a contrario, que lorsque le père était plus petit que la moyenne, shorter than mediocrity, son fils avait tendance à être plus grand que lui. Ces résultats l’ont conduit à considérer sa théorie de regression toward mediocrity. Cependant, l’analyse de causalité entre plusieurs variables est plus ancienne et remonte au milieu du xviiie siècle. En 1757, R. Boscovich, né à Ragusa, l’actuelle Dubrovnik, proposa une méthode minimisant la somme des valeurs absolues entre un modèle de causalité et les observations. Ensuite Legendre, dans son célèbre article de 1805, « Nouvelles méthodes pour la détermination des orbites des comètes », introduisit la méthode d’estimation par moindres carrés des coefficients d’un modèle de causalité et donna le nom à la méthode. Parallèlement, Gauss publia en 1809 un travail sur le mouvement des corps célestes qui contenait un développement de la méthode des moindres carrés, qu’il affirmait utiliser depuis 1795 (Birkes & Dodge, 1993).
Dans ce chapitre, nous allons analyser la régression linéaire simple : nous pouvons la voir comme une technique statistique permettant de modéliser la relation linéaire entre une variable explicative (notée …