Régression polynomiale

La régression polynomiale est une généralisation de la régression linéaire qui consiste, à partir d'un ensemble de couples (x_i, y_i) (i = 1 .. n), à trouver une fonction linéaire y = f(x) = a * x + b qui minimise la somme des carrés des écarts entre les y_i et les f(x_i) ( somme pour i = 1 à n de (f(x_i) - y_i) ^ 2 ).

La régression polynomiale de degré p consiste à trouver, à partir d'un ensemble de couples (x_i, y_i), une fonction polynomiale y = f(x) = a_0 + a_1 * x + a_2 * x^2 + ... + a_p * x^p qui minimise la somme des carrés des écarts entre les y_i et les f(x_i) (somme de i = 1 à n de (f(x_i) - y_i) ^ 2 ).

La régression polynomiale de degré 0 correspond à la moyenne des y_i, et la régression polynomiale de degré 1 correspond à la régression linéaire.

Exemple : régression polynomiale de degré 2 (ou régression quadratique)

Soit un ensemble de couples (x_i, y_i) ( i = 1 ... n ). On cherche la valeur des 3 coefficents a_0, a_1, a_2 qui minimise :
S = somme pour i = 1 à n de ((f(x_i) - y_i) ^ 2) = somme de ((a_0 + a_1 * x + a_2 * x^2 - y_i) ^ 2) ( Sauf indication contraire, somme représentera la somme pour i = 1 à n )

La dérivée partielle de S par rapport à a_0, a_1, a_2 respectivement est donc nulle :

dS/da_0 = 0
dS/da_1 = 0
dS/da_2 = 0

En développant S, en dérivant et en simplifiant on obtient :

a_0 * n + a_1 * somme(x_i) + a_2 * somme(x_i^2) = somme(y_i)
a_0 * somme(x_i) + a_1 * somme(x_i^2) + a_2 * somme(x_i^3) = somme(x_i*y_i)
a_0 * somme(x_i^2) + a_1 $ somme(x_i^3) + a_2 * somme(x_i^4) = somme(x_i^2*y_i)

Ces équations peuvent s'écrire de façon matricielle :

( n            somme(x_i)   somme(x_i^2) ) ( a_0 )   ( somme(y_i)       )
( somme(x_i)   somme(x_i^2) somme(x_i^3) ) ( a_1 ) = ( somme(x_i*y_i)   )
( somme(x_i^2) somme(x_i^3) somme(x_i^4) ) ( a_2 )   ( somme(x_i^2*y_i) )

La solution est :

 
                                                    -1
( a_0 )   ( n            somme(x_i)   somme(x_i^2) )   ( somme(y_i)       )
( a_1 ) = ( somme(x_i)   somme(x_i^2) somme(x_i^3) )   ( somme(x_i*y_i)   )
( a_2 )   ( somme(x_i^2) somme(x_i^3) somme(x_i^4) )   ( somme(x_i^2*y_i) )

Remplacement des sommes par des moyennes

On peut réécrire ces formules en remplaçant somme(...) par n * moyenne(...). où moyenne(...) représente la moyenne arithmétique. On obtient alors, après simplification :

( 1              moyenne(x_i)   moyenne(x_i^2) ) ( a_0 )   ( moyenne(y_i)       )
( moyenne(x_i)   moyenne(x_i^2) moyenne(x_i^3) ) ( a_1 ) = ( moyenne(x_i*y_i)   )
( moyenne(x_i^2) moyenne(x_i^3) moyenne(x_i^4) ) ( a_2 )   ( moyenne(x_i^2*y_i) )

et :

 
                                                          -1
( a_0 )   ( 1              moyenne(x_i)   moyenne(x_i^2) )   ( moyenne(y_i)       )
( a_1 ) = ( moyenne(x_i)   moyenne(x_i^2) moyenne(x_i^3) )   ( moyenne(x_i*y_i)   )
( a_2 )   ( moyenne(x_i^2) moyenne(x_i^3) moyenne(x_i^4) )   ( moyenne(x_i^2*y_i) )

Régression polynomiale mobile exponentielle

On remplace les moyennes arithmétiques par des moyennes mobiles exponentielles. On obtient ainsi un lissage du graphique formé par les points (x_i, y_i).

La courbe lissée est définie par :

y = f(x) = a_0(x) + a_1(x) * x + a_2(x) * x^2

La régression polynomiale mobile exponentielle de degré 0 correspond à la moyenne mobile exponentielle, et la régression polynomiale mobile exponentielle de degré 1 correspond à la régression linéaire mobile exponentielle.