Mínimos cuadrados

El método de mínimos cuadrados se utiliza frecuentemente en cursos superiores dentro de STEM. El método ajusta una línea a datos de medición para explicar la relación con un fenómeno. El fenómeno puede ser cualquier cosa desde un experimento físico controlado, hasta una serie de observaciones en el mundo real, por ejemplo, en psicología o economía. Los estudiantes con ambiciones profesionales como analistas o científicos de datos ahora obtienen su primera herramienta para trabajar con modelado.

Digamos que tenemos datos de medición en el formato , es decir, para cada observación tenemos un conjunto de variables que queremos relacionar con el respectivo valor en . Nos gustaría expresar esta relación como una función que mejor explique la relación entre y . Nunca podemos exigir que nuestro modelo nos dé para algún , porque todos los modelos son incorrectos, pero algunos son útiles. Por lo tanto, usamos el signo de aproximación de la siguiente manera:

Si es un mapeo lineal, podemos derivar lo siguiente de las ecuaciones anteriores:

Este sistema de ecuaciones es prácticamente sobredeterminado, porque representa las constantes de , que usualmente son solo unas pocas en número, mientras que el número de filas puede ser cientos, miles o incluso millones (piense en las cantidades de datos con las que trabajan Google y Facebook). Por lo tanto, no hay soluciones para esta ecuación. Por otro lado, buscamos los valores de que ajusten óptimamente la función a los datos de medición.

Una definición matemática de lo que hace una función "ajustada óptimamente" es encontrar valores de que generen la menor desviación, o "error", de los datos de medición. Definimos el error como:

que reconocemos como la distancia entre y . Sumamos este error para todas las observaciones para obtener el error total. Breve:

Dijimos que el método de mínimos cuadrados minimiza la distancia entre los puntos y la línea. Podemos reescribir el sistema de ecuaciones a la famosa ecuación:

donde las constantes que queremos encontrar son la variable (notación convencional para desconocido) y la derecha se escribe como la derecha convencional (convencionalmente lo que se conoce). Este es un problema de optimización y pertenece a una rama completamente separada de la matemática. Sin embargo, este es un problema de optimización muy sencillo porque la solución es única y fácil de calcular. Sin prueba ni justificación, ahora mostramos el cálculo. Multiplicamos por a ambos lados desde la izquierda.

La ecuación se llama la ecuación normal y es un sistema cuadrático cuya solución única son los valores de las constantes que minimizan la distancia entre los puntos y la línea. Este elegante método se minimiza a la siguiente expresión:

Digamos que tenemos datos de medición sobre las alturas y tallas de zapatos de las personas en el formato:

donde es la talla de zapato y es la altura. Estos datos de medición parecen crecer en una relación lineal entre los ejes, lo cual es lógico. Pies más grandes se encuentran generalmente en personas más altas, y viceversa. Esto justifica ajustar una línea recta a los datos de medición, es decir, para algunos valores de las constantes y , deberíamos poder obtener una línea que explique la relación:

Tenemos puntos de medición, por lo tanto podemos plantear esto como un sistema lineal de ecuaciones con líneas:

Podemos escribir esto como una matriz aumentada:

Este sistema se llama sobredeterminado porque hay más ecuaciones que incógnitas, o equivalentemente, las filas son más numerosas que las columnas. (Nota: si un sistema es subdeterminado tenemos al escenario opuesto, es decir, hay menos ecuaciones que incógnitas). Multiplicamos ambos lados desde la izquierda por :

Muchos fenómenos en la naturaleza y la realidad no son lineales. Algunos fenómenos primero tienen un efecto creciente hasta un máximo seguido de un efecto decreciente. Un ejemplo clásico es en los negocios. Si quieres aumentar las ventas de un negocio, debes aumentar el precio. Al subir el precio, se puede esperar cierta pérdida de clientes, es decir, se obtienen menos clientes que pagan más. Sin embargo, las ventas aún aumentan hasta cierto punto. Lo que ha sucedido en el punto de ruptura es que el precio por cliente que paga ya no compensa la pérdida de clientes, y el volumen total de ventas comienza a disminuir nuevamente.

Supongamos que los datos de medición están en el formato:

donde es el precio del producto/servicio y es el volumen total de ventas. Adaptamos la siguiente curva a los datos de medición:

y obtenemos el siguiente sistema, donde cada fila corresponde al ajuste de un punto medido:

Convertimos a la ecuación normal:

lo que proporciona una solución única para los valores de los parámetros , y que dan la mejor curva cuadrática ajustada a nuestros datos de medición.