Análisis y comunicación de datos cuantitativos

El vector del modelo teórico de regresión pertenece al espacio vectorial . El cálculo del modelo de ajuste consiste, por tanto, en encontrar un vector en que consiga minimizar .

Frente a la situación que se plantea en el párrafo anterior, en la que no existe ninguna restricción sobre el “espacio de búsqueda” de la solución , es habitual considerar modelos de regresión en los que el modelo teórico está sometido a un conjunto de restricciones sobre los componentes del vector . Por ejemplo, se puede obligar a que sea igual a 0 o a que . En general, una restricción lineal sobre el vector será de la forma:

Esta restricción limita el espacio de búsqueda de la solución para , en el sentido de que determina un subespacio afín de de dimensión y es en este subespacio afín en el que deberemos buscar el valor de que haga mínima la suma de los cuadrados de los residuos. En concreto, cada restricción lineal añadida reduce en una unidad la dimensión del espacio de búsqueda.

Si deseamos considerar un conjunto de m restricciones lineales linealmente independientes sobre el vector -con m<k+1- podemos emplear una representación matricial para expresarlas:

donde es la matriz (m,k+1) de rango m que contiene los coeficientes de los elementos de en las restricciones y es el vector (m,1) de los términos independientes de las restricciones. Por ejemplo, el conjunto de restricciones y en un modelo con tres variables independientes vendría expresado por:

Una vez expresadas las restricciones lineales en forma matricial podemos plantearnos que, dado que el espacio de búsqueda se ha reducido, lo más razonable es que la solución que encontremos para sea distinta de la que encontrábamos en un modelo sin restricciones. Cabe también preguntarse cómo afectará esta restricción del espacio de búsqueda a la suma de los cuadrados de los residuos aunque ya se puede barruntar que la suma de cuadrados de residuos en un modelo con restricciones no puede ser inferior a la de un modelo libre. Este post lo vamos a dedicar a dar respuesta a la primera cuestión, dejando el asunto de la suma de los cuadrados de los residuos para el siguiente.

El problema de encontrar la solución de que hace mínima la suma de cuadrados de los residuos sujeto a la restricción es un caso de optimización con restricciones, en el que el modo habitual de operar es confeccionar la llamada función lagrangiana, calcular sus derivadas respecto a las incógnitas de la función e igualarlas a cero. Resolviendo el sistema resultante se obtiene la solución óptima.

En efecto, la función lagrangiana en nuestro caso es:

donde es un vector -multiplicador lagrangiano- de dimensión (m,1).

Operando de forma elemental sobre la función lagrangiana llegamos a que:

Las derivadas respecto a y son respectivamente:

y

Igualando a cero la primera derivada llegamos a que:

y como la matriz tiene inversa:

Por otra parte, igualando a cero la segunda derivada tenemos que:

Ahora, despejando de esta última expresión -lo que es posible dado que el rango de la matriz es m- obtenemos:

y sustituyendo esta expresión en la obtenida para :

Como se deduce de la expresión anterior, la diferencia entre la estimación de con restricciones y la estimación sin restricciones depende, entre otras cosas, del valor del factor . Este factor será nulo cuando la estimación sin restricciones cumpla las restricciones y será tanto mayor cuanto más alejado se encuentre de satisfacer las restricciones.

El vector de los residuos en este modelo con restricciones viene dado por , es decir:

Pero bajo el supuesto de que podemos expresar de la siguiente forma:

Sustituyendo esta última expresión en la anterior, tenemos que:

Pero . Si, además, llamamos a la matriz simétrica e idempotente

tenemos que:

Naturalmente, por ser tanto como , simétricas e idempotentes, también lo es . Además, es muy fácil comprobar que y que

En cualquier caso, la expresión encontrada permite el cálculo del modelo de ajuste bajo el conjunto de restricciones -representado por la solución - a partir del modelo de ajuste del modelo libre -representado por el vector y nos facilitará el establecer una relación entre la suma de los cuadrados de los residuos sin restricciones y la suma de los cuadrados de los residuos bajo las restricciones impuestas .