Análisis y comunicación de datos cuantitativos

El modelo teórico de regresión lineal múltiple al que aludíamos en el post anterior es, como allí se mencionó, un sistema de ecuaciones lineales compatible e indeterminado con k+1 grados de libertad -siendo k el número de variables explicativas del modelo-. Este sistema tiene infinitas soluciones y de entre ellas habremos de seleccionar aquella que resulte óptima en el sentido de asignar los valores mínimos -en un sentido global- a las n incógnitas relativas a los errores del modelo.

El criterio llamado de los mínimos cuadrados garantiza que la solución encontrada hace que la suma de los cuadrados de los valores asignados a los errores -a los que llamaremos residuos- sea mínima.

Es muy fácil comprobar que dicha suma de cuadrados puede expresarse como e’e, siendo e el vector de n componentes que recoge los residuos. Además e’e=Y’Y-2Y’XB+B’X'XB .

Ahora necesitamos unas cuantas definiciones y teoremas para encontrar el valor de B que minimiza la suma de cuadrados de los residuos:

• Definición de gradiente: si x es un vector de R^m y f(x) es una función escalar de x, se llama gradiente de la función f -grad(f)- al vector cuyos componentes son las derivadas parciales de f respecto de x_i.

• Definición de matriz hessiana: si x es un vector de R^m y f(x) es una función escalar de x, se llama matriz hessiana de la función f -H(f)- a la matriz de orden mxm cuyo elemento genérico es la segunda derivada de f respecto de x_i y de x_j.

• Teorema: criterio de mínimo relativo: sea f una función escalar diferenciable. Esta función tiene un extremo relativo en x₀ sólo si el gradiente en x₀ es nulo. Si el gradiente es nulo en x₀ y la matriz hessiana es semidefinida positiva en x₀ entonces f tiene un mínimo relativo en x₀.

• Teorema: Si B es una matriz cualquiera, la matriz B’B es simétrica y semidefinida positiva.

• Teorema: Sea A una matriz simétrica de orden mxm y x y b vectores de R^m. Entonces el gradiente de x’Ax es 2Ax, la matriz hessiana de x’Ax es 2A, el gradiente de b’x es b y la matriz hessiana de b’x es la matriz nula.

A partir de todos estos teoremas podemos calcular el gradiente de la función escalar e’e así como su matriz hessiana:

• grad(e’e)=-2X’Y+2X’XB
• H(e’e)=2X’X

Igualando grad(e’e) a 0 obtenemos que B=(X’X)^-1(X’Y) y como 2X’X es semidefinida positiva se concluye que cuando B=(X’X)^-1(X’Y) la suma de cuadrados de los residuos presenta un mínimo relativo.