Inferencia en modelo lineal con heterocedasticidad condicional

Supongamos que observo vectores variables independientes y y la variable dependiente . Me gustaría ajustar un modelo de la forma: donde es una función dos veces diferenciable de valor positivo, es un parámetro de escala desconocido y es una variable aleatoria gaussiana de media unidad y varianza unitaria (se supone que es independiente de y ). Esto es esencialmente la configuración de la prueba de heterocedasticidad de Koenker (al menos hasta donde yo entiendo). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

Tengo $n$ de observaciones de $\vec{x}, \vec{z}$ e $y$ , y me gustaría estimar $\vec{\beta_1}$ y $\vec{\beta_2}$ . Sin embargo, tengo algunos problemas:

No estoy seguro de cómo plantear el problema de estimación como algo así como mínimos cuadrados (supongo que hay un truco bien conocido). Mi primera suposición sería algo como $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$ pero yo No estoy seguro de cómo resolver eso numéricamente (quizás un método iterativo cuasi-Newton podría hacer).
Suponiendo que pueda plantear el problema de una manera sensata y encontrar algunas estimaciones $\hat{\beta}_1, \hat{\beta}_2$ , me gustaría conocer la distribución de las estimaciones para que, por ejemplo , pueda realizar pruebas de hipótesis. Estaría bien con probar los dos vectores de coeficientes por separado, pero preferiría alguna forma de probar, por ejemplo , $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ para $\vec{w_1}, \vec{w_2}, c$ .

— shabbychef
fuente

Buena pregunta. ¿Tienes una idea de cómo se ve ? es suave? tiene saltos? En lugar del mínimo cuadrado, ¿ha probado la máxima probabilidad (¿conoce este documento projecteuclid.org/… ?)

g

$g$

— robin girard

@robin girard: MLE es una buena idea para la pregunta 1. Sospecho que para los errores gaussianos, MLE dará estimaciones idénticas a mi minimización ad hoc . En cuanto a , como señalé, podemos suponer que tiene un valor positivo y dos veces diferenciable. Probablemente podamos suponer que también es convexo, y tal vez podamos suponer que es analítico.

g

$g$

— shabbychef

En un contexto ligeramente más general con un vector -dimensional de -Observaciones (las respuestas, o variables dependientes), un matriz de -Observaciones (covariables o variables dependientes) y los parámetros tales como entonces la probabilidad de registro negativo es En la pregunta del OP, es diagonal con $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ por lo que el determinante se convierte en y la probabilidad de registro negativa resultante se convierte en Hay varias formas de abordar la minimización de esta función (suponiendo que los tres parámetros son independientes de la variación).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Puede intentar minimizar la función mediante un algoritmo de optimización estándar que recuerde la restricción que . $\sigma > 0$
Puede calcular el perfil menos la probabilidad de registro de minimizando over para fijo , y luego conecte la función resultante a un algoritmo de optimización estándar sin restricciones. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
Puede alternar entre la optimización de cada uno de los tres parámetros por separado. La optimización sobre se puede hacer analíticamente, la optimización sobre es un problema de regresión de mínimos cuadrados ponderados, y la optimización sobre es equivalente a ajustar un modelo lineal generalizado gamma con el enlace inverso. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

La última sugerencia me atrae porque se basa en soluciones que ya conozco bien. Además, la primera iteración es algo que consideraría hacer de todos modos. Es decir, primero calcule una estimación inicial de por mínimos cuadrados ordinarios, ignorando la posible heterocedasticidad, y luego ajuste una gamma glm a los residuos cuadrados para obtener una estimación inicial de solo para verificar si el modelo más complicado parece valioso. Las iteraciones que incorporan la heterocedasticidad en la solución de mínimos cuadrados como pesos podrían mejorar la estimación. $\beta_1$ $\beta_2$ $-$

Con respecto a la segunda parte de la pregunta, probablemente consideraría calcular un intervalo de confianza para la combinación lineal utilizando asintóticos MLE estándar (comprobando con simulaciones que funcionan los asintóticos) o mediante bootstrapping. $w_1^T\beta_1 + w_2^T\beta_2$

Editar: Por asintóticos MLE estándar me refiero a usar la aproximación normal multivariada a la distribución del MLE con la matriz de covarianza de la información inversa de Fisher. La información de Fisher es, por definición, la matriz de covarianza del gradiente de . Depende en general de los parámetros. Si puede encontrar una expresión analítica para esta cantidad, intente conectar el MLE. Como alternativa, puede estimar la información de Fisher por la información de Fisher observada , que es la arpillera de en el MLE. Su parámetro de interés es una combinación lineal de los parámetros en los dos $l$ $l$ $\beta$ -vectores, por lo tanto, a partir de la aproximación normal multivariada de la MLE puede encontrar una aproximación normal de la distribución de estimadores como se describe aquí . Esto le proporciona un error estándar aproximado y puede calcular intervalos de confianza. Está bien descrito en muchos libros de estadística (matemática), pero una presentación razonablemente accesible que puedo recomendar es In All Likelihood de Yudi Pawitan. De todos modos, la derivación formal de la teoría asintótica es bastante complicada y se basa en una serie de condiciones de regularidad, y solo proporciona una asintótica válida.distribuciones Por lo tanto, en caso de duda, siempre haría algunas simulaciones con un nuevo modelo para verificar si puedo confiar en los resultados para parámetros realistas y tamaños de muestra. El arranque simple, no paramétrico, en el que se muestras de los triples del conjunto de datos observado con reemplazo, puede ser una alternativa útil si el procedimiento de ajuste no consume demasiado tiempo. $(y_i,x_i,z_i)$

— NRH
fuente

¿ Cuáles son las asintóticas MLE estándar?

— shabbychef

@ Shabbychef, ya era tarde. He dado una explicación más detallada. Tenga en cuenta que para que los asintóticos funcionen en teoría como se explicó, el modelo debe ser correcto y el estimador debe ser el MLE. Se pueden obtener resultados más generales en el marco de funciones de estimación generales y ecuaciones de estimación, véase, por ejemplo, el libro Cuasi-verosimilitud y ... de Heyde.

— NRH