Si tenemos un conjunto de datos y queremos encontrar una función que aproxime el conjunto de datos, entonces buscamos una función cuyo error cuadrático medio sea el mínimo posible. Buscamos la recta de mínimos cuadrados que aproxima los datos.
Desde un punto de vista algebraica, buscamos un vector que minimiza la norma del error. A partir de una proyección sobre el subespacio de funciones.
Lineal
Si creemos que nuestros datos se asemejan a una función lineal, entonces aplicamos lo visto anteriormente para encontrar la mejor recta que aproxime.
Por mínimos cuadrados, resolvemos la expresión anterior
Exponencial
Si el modelo es de la forma exponencial, entonces trataremos de modificar la expresión para llegar a una relación lineal y aplicar la técnica anterior.
Potencial
Si el modelo es de la forma potencial, lo resolveremos de forma similar
Racional
El modelo racional es un poco más complejo, sin embargo, se resuelve da la misma forma
Regresión por Polinomios
El procedimiento es fácilmente extensible al ajuste de datos con un polinomio de orden superior.