Análisis y comunicación de datos cuantitativos

Este post continúa con el objetivo de justificar la afirmación realizada al comienzo del anterior. En él se refrescaron los conceptos de aplicación lineal, proyección y proyección ortogonal. Toca ahora hablar de subespacios vectoriales y, más en concreto, de un cierto tipo de ellos. Finalmente uniremos todas estas definiciones y las relacionaremos con el modelo de regresión lineal múltiple.

Dado un espacio vectorial se dice que un subconjunto de vectores es un subespacio vectorial de si restringidas la suma y el producto por un escalar definidas sobre a , éste es un espacio vectorial.

Expresado de otra forma, es un subespacio vectorial de si cumple que:

Para entendernos, podemos decir que un subespacio vectorial es un espacio vectorial contenido dentro de otro espacio vectorial.

Dado un espacio vectorial y un conjunto de vectores se llama subespacio vectorial generado por al conjunto de todos los vectores de que pueden obtenerse como combinación lineal de los vectores de . Es muy sencillo comprobar que este conjunto es un subespacio vectorial y que, además, es el menor subespacio vectorial que contiene a todos los vectores .

Dada una matriz se llama subespacio columna de al subespacio vectorial generado por el conjunto de vectores que conforman las columnas de la matriz . La dimensión de este subespacio coincide con el rango de la matriz . Además, si es una matriz cualquiera, la matriz asociada a la proyección ortogonal sobre el subespacio columna de es .

Definidos todos los conceptos es hora de ir juntando las piezas del puzzle para justificar nuestra afirmación.

Consideremos la matriz del modelo teórico de regresión, que recoge los valores que el conjunto de los n individuos toman en las k variables explicativas -además de la columna inicial de 1-. El subespacio columna de dicha matriz es el conjunto de todos los vectores que pueden obtenerse como combinación lineal de la columna de unos y los vectores que conforman las columnas de la matriz , es decir, todas las combinaciones de la forma:

Además, la proyección ortogonal de los puntos del espacio sobre este subespacio vectorial tiene como matriz asociada a:

por lo que dado el vector de n componentes que recoge las puntuaciones de los individuos en la variable dependiente -- tendremos que su proyección sobre el espacio columna de es:

Esta proyección coincide con el valor que el modelo de ajuste estima para el vector de valores de la variable dependiente -- ya que:

Hemos comprobado que la estimación que el modelo de ajuste proporciona para el vector de los valores de la variable dependiente -el vector - es precisamente la proyección del vector de los valores observados -el vector - sobre el subespacio vectorial generado por las columnas de la matriz , es decir, por las variables explicativas. En otras palabras, la estimación para que proporciona el modelo de ajuste es la mejor combinación posible de las variables explicativas en el sentido de que es la combinación que más se aproxima al verdadero valor de .

Lógicamente, la diferencia entre e es el vector de residuos que, por construcción, tiene un módulo que resulta ser mínimo y que, además es ortogonal a todos los vectores del subespacio columna de y, en particular, a las columnas de dicha matriz. En efecto, ya que:

El método de los mínimos cuadrados descompone el espacio vectorial en la suma directa de dos subespacios vectoriales:

• El espacio columna de la matriz , es decir, el conjunto de todas las combinaciones lineales posibles de las variables explicativas y la columna de unos. En este subespacio vectorial, que tiene dimensión k+1, el método de los mínimos cuadrados selecciona el vector , que es la proyección de sobre el mencionado subespacio.
• El complemento ortogonal del anterior subespacio. En este subespacio, de dimensión n-k-1, el método de los mínimos cuadrados selecciona el vector de residuos

De esta manera, cada vector de se expresa de manera única como suma de sendos vectores correspondientes a cada uno de los subespacios, del siguiente modo:

Nótese que la matriz es simétrica e idempotente y que, por tanto es la matriz asociada a la proyección sobre el complemento ortogonal al subespacio columna de la matriz .