Las hipótesis de Gauss-Markov

29 de Octubre de 2008 · Imprimir Imprimir

En los anteriores posts relativos al modelo de regresión multivariante nos hemos ocupado de presentar diferentes formas de calcular una solución óptima para este sistema de ecuaciones -a la que hemos dado en llamar modelo de ajuste- y a demostrar que dicha solución es óptima en el sentido de que el módulo del vector de residuos es mínimo. Sin embargo, no hemos prestado atención al carácter constante o aleatorio de los distintos elementos que conforman el modelo teórico de regresión. Este carácter -fijo o aleatorio- es crucial para poder estudiar la calidad del modelo de ajuste que hemos encontrado.

El modelo teórico de regresión supone que la variable aleatoria dependiente Y es la suma de dos elementos:

  • Un sumando constante y desconocido, X \beta, que es una combinación lineal de las variables explicativas -además de la columna de unos-.
  • Un sumando aleatorio y también desconocido \varepsilon que recoge el efecto sobre la variable dependiente de todas aquellas variables candidatas a ser explicativas que no se encuentran recogidas en la parte constante del modelo.

De aquí deducimos que:

  • El vector conocido Y se descompone en la suma de dos elementos desconocidos. Sabemos que Y se explica por un sumando constante X \beta y otro sumando aleatorio \varepsilon pero no sabemos el valor de cada uno de estos dos sumandos.
  • El vector Y es aleatorio, ya que el carácter aleatorio de \varepsilon “se contagia” a Y a través de la expresión del modelo teórico de regresión Y = X \beta + \varepsilon.

Pues bien, las llamadas hipótesis de Gauss-Markov nos informan acerca de cuál es el comportamiento del vector aleatorio \varepsilon y, a partir de ellas, podremos determinar el comportamiento de otros vectores aleatorios tales como Y o B.

Las hipótesis de Gauss-Markov son las siguientes:

  • El vector de los errores \varepsilon tiene media nula, es decir, E[\varepsilon]=0
  • Todas las variables aleatorias que componen el vector \varepsilon tienen la misma varianza \sigma^2, es decir Var( \varepsilon_{i})= \sigma^2 \forall i
  • La covarianza entre cualesquiera dos términos de error es nula, es decir, Cov (\varepsilon_{i}, \varepsilon_{j}) = 0 \forall {i \ne j}

La segunda y tercera hipótesis se pueden resumir diciendo que la matriz de covarianzas del vector de los errores es:

Cov( \varepsilon) = \sigma^2 I

Bajo el supuesto de que las hipótesis de Gauss-Markov se cumplen, es muy sencillo calcular la esperanza matemática y la matriz de covarianzas de otros vectores aleatorios relacionados con \varepsilon.

En efecto, en lo que se refiere al vector aleatorio Y tenemos que:

E[Y]=E[X \beta + \varepsilon]

pero como X \beta es constante tenemos que:

E[Y] = X \beta + E[ \varepsilon] = X \beta

Esta expresión indica que la parte constante del modelo de regresión X \beta recoge el comportamiento promedio de la variable aleatoria Y y que, por tanto, la diferencia entre este comportamiento promedio y el comportamiento real de la variable se debe a la existencia de otros factores que no se han considerado y que han sido relegados al término de error aleatorio. Es decir:

Y = X \beta + \varepsilon = E[Y] + \varepsilon

Por otra parte, respecto a la covarianza de Y tenemos que:

Cov(Y)=Cov(X \beta + \varepsilon)

pero como X \beta es constante:

Cov(Y)=Cov(\varepsilon) = \sigma^2 I

Por lo que respecta al vector B -la solución óptima que hemos encontrado para el vector \beta- resulta que también es un vector aleatorio -ya que depende de Y, que es aleatorio-. El cálculo de su esperanza matemática y de su matriz de covarianzas es sencillo.

Respecto a la esperanza matemática de B tenemos que:

E[B] = E[(X^t X)^{-1} X^t Y]=(X^t X)^{-1} X^t E[Y] = (X^t X)^{-1} X^t X \beta = \beta

lo que convierte a B en un estimador insesgado de \beta. El significado de la ausencia de sesgo es sencillo de entender: a pesar de que no siempre B “acertará” con el verdadero -y desconocido- valor de \beta nos queda el consuelo de saber que “por término medio” acierta a la hora de estimar el verdadero valor de \beta. Sin embargo, el hecho de que el estimador sea insesgado es un magro consuelo si cuando se “equivoca” el error cometido es muy grande. La medida de la variabilidad del estimador B nos la proporciona su matriz de covarianzas, cuyo cálculo es muy sencillo:

Cov(B)=Cov[(X^t X)^{-1} X^t Y]

pero como (X^t X)^{-1} X^t es constante tenemos que:

Cov(B)=(X^t X)^{-1} X^t Cov[Y] [(X^t X)^{-1} X^t]^t

Además, como la inversa de la traspuesta es igual a la traspuesta de la inversa y, por otra parte, la matriz X^t X es simétrica:

Cov(B)=(X^t X)^{-1} X^t \sigma^2 I X (X^t X)^{-1}

El escalar \sigma^2 puede desplazarse a voluntad con lo que nos queda que:

Cov(B)=\sigma^2 (X^t X)^{-1}

Etiquetado con , , , , , , , , , , ,

4 comentarios »

  1. El teorema de Gauss-Markov ‹ Análisis y comunicación de datos cuantitativos ha dicho,

    29 de 29 de 2008 @ 8:22 am

    [...] -un tanto simplificado- y su demostración. Teorema: Sea el modelo teórico de regresión . Si las hipótesis de Gauss-Markov se satisfacen, entonces el estimador de mínimos cuadrados es el mejor estimador lineal insesgado [...]

  2. Acerca de… más información sobre estadistica y R « Acerca de… ha dicho,

    2 de 2 de 2008 @ 10:37 am

    [...] el modelo teórico de regresión . Si las hipótesis de Gauss-Markov se satisfacen, entonces el estimador de mínimos cuadrados [...]

  3. Una estimación de la varianza de los errores ‹ Análisis y comunicación de datos cuantitativos ha dicho,

    3 de 3 de 2008 @ 8:23 am

    [...] el post relativo a las hipótesis de Gauss-Markov hemos concluido que la matriz de covarianzas del vector [...]

  4. La distribución de las sumas de cuadrados de residuos ‹ Análisis y comunicación de datos cuantitativos ha dicho,

    1 de 1 de 2008 @ 4:05 pm

    [...] nueva hipótesis junto con las que anteriormente se han hecho acerca del vector de errores pueden resumirse en la siguiente: El vector de errores aleatorios [...]

Deja un comentario