Prueba de igualdad de coeficientes de dos regresiones diferentes

Esto parece ser un problema básico, pero acabo de darme cuenta de que en realidad no sé cómo probar la igualdad de los coeficientes de dos regresiones diferentes. ¿Alguien puede arrojar algo de luz sobre esto?

Más formalmente, supongamos que ejecuté las siguientes dos regresiones: e donde refiere a la matriz de diseño de la regresión , y al vector de coeficientes en la regresión . Tenga en cuenta que y son potencialmente muy diferentes, con diferentes dimensiones, etc. Me interesa, por ejemplo, si .

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

Si vinieran de la misma regresión, esto sería trivial. Pero dado que provienen de diferentes, no estoy muy seguro de cómo hacerlo. ¿Alguien tiene una idea o me puede dar algunos consejos?

Mi problema en detalle: mi primera intuición fue mirar los intervalos de confianza, y si se superponen, entonces diría que son esencialmente los mismos. Sin embargo, este procedimiento no viene con el tamaño correcto de la prueba (es decir, cada intervalo de confianza individual tiene , por ejemplo, pero mirarlos conjuntamente no tendrá la misma probabilidad). Mi "segunda" intuición fue realizar una prueba t normal. Es decir, toma $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

donde se toma como el valor de mi hipótesis nula. Sin embargo, esto no tiene en cuenta la incertidumbre de la estimación de , y la respuesta puede depender del orden de las regresiones (a cuál llamo 1 y 2). $\beta_{21}$ $\beta_{21}$

Mi tercera idea fue hacerlo como en una prueba estándar para la igualdad de dos coeficientes de la misma regresión, es decir, tomar

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

La complicación surge debido al hecho de que ambos provienen de regresiones diferentes. Tenga en cuenta que

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ pero desde son de diferentes regresiones, ¿cómo obtendría ?

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

Esto me llevó a hacer esta pregunta aquí. Esto debe ser un procedimiento estándar / prueba estándar, pero no puedo encontrar nada que sea lo suficientemente similar a este problema. Entonces, si alguien puede señalarme el procedimiento correcto, ¡estaría muy agradecido!

hypothesis-testing inference

— coffeinjunky
fuente

Esto parece estar relacionado con el modelado de ecuaciones estructurales / simultáneas. Una forma de resolver este problema es ajustar ambas ecuaciones simultáneamente, por ejemplo, con la máxima probabilidad, y luego usar una prueba de razón de probabilidad de un modelo restringido (modelo de igual parámetro) contra un modelo sin restricciones. Prácticamente esto se puede hacer con el software SEM (Mplus, lavaan, etc.)

— tomka

¿Conoces la Regresión aparentemente no relacionada (SUR)?

— Dimitriy V. Masterov

Creo que la pregunta que plantea su planteamiento, es decir, cómo obtener el cov de ambos coeficientes, está resuelta por SEM, que le daría la matriz var-cov de todos los coeficientes. Entonces, podría utilizar una prueba de Wald de la manera que sugirió en lugar de una prueba LRT. Además, también puede usar re-sample / bootstrap, que puede ser más directo.

— tomka

Sí, tienes razón en eso, @tomka. En un modelo SUR (que puede ser considerado como un caso especial de modelos SEM), puedo obtener la prueba adecuada. ¡Gracias por señalarme en esa dirección! Creo que no lo pensé porque parece un poco como dispararle a un gorrión con un cañón, pero de hecho no puedo pensar en una mejor manera. Si escribe una respuesta, la marcaré como correcta. De lo contrario, lo escribiré yo mismo pronto, con una explicación teórica rápida y potencialmente con un ejemplo.

— coffeinjunky

SUR es bastante fácil de implementar. Aquí hay un ejemplo con Stata . Con R, quieres un ajuste del sistema .

— Dimitriy V. Masterov

Respuestas:

Aunque este no es un análisis común, realmente es de interés. La respuesta aceptada se ajusta a la forma en que formuló su pregunta, pero voy a proporcionar otra técnica razonablemente bien aceptada que puede ser o no equivalente (lo dejaré a las mejores mentes para comentar sobre eso).

Este enfoque es utilizar la siguiente prueba Z:

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

Donde es el error estándar de . $SE\beta$ $\beta$

Esta ecuación es proporcionada por Clogg, CC, Petkova, E. y Haritou, A. (1995). Métodos estadísticos para comparar coeficientes de regresión entre modelos. American Journal of Sociology , 100 (5), 1261-1293. y es citado por Paternoster, R., Brame, R., Mazerolle, P. y Piquero, A. (1998). Usando la prueba estadística correcta para la igualdad de los coeficientes de regresión. Criminología , 36 (4), 859-866. ecuación 4, que está disponible sin un muro de pago. He adaptado la fórmula de Peternoster para usar lugar de $\beta$ $b$ porque es posible que pueda estar interesado en diferentes DV por alguna terrible razón y mi memoria de Clogg et al. fue que su fórmula usaba . También recuerdo verificar esta fórmula con Cohen, Cohen, West y Aiken, y la raíz del mismo pensamiento se puede encontrar allí en el intervalo de confianza de las diferencias entre coeficientes, ecuación 2.8.6, pg 46-47. $\beta$

— russellpierce
fuente

Ver también: stats.stackexchange.com/questions/55501/…

— russellpierce

Respuesta impresionante! Una pregunta de seguimiento: ¿esto también se aplica a combinaciones lineales de del Modelo 1 y del Modelo 2? Me gusta,

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

— Sibbs Gambling

También noto que el documento discute el caso en el que un modelo está anidado dentro del otro, y los DV de dos modelos son iguales. ¿Qué pasa si no se cumplen estas dos condiciones? En cambio, tengo matrices de diseño de los dos modelos que son iguales, pero tienen DV diferentes. ¿Todavía se aplica esta fórmula? ¡Muchas gracias!

— Sibbs Gambling

@SibbsGambling: es posible que desee hacer una pregunta por derecho propio para llamar más la atención.

— russellpierce

A simple vista, esto parece un caso especial de la solución SUR insinuado en la respuesta de coffeinjunky. Es un caso especial porque se supone implícitamente que la covarianza entre los estimadores de y es cero. Me pregunto si en general es justificable. Para estar seguro, preferiría la solución más general de coffeinjunky. Lo que me hace preguntarme por qué esta es la respuesta aceptada con claramente la mayoría de los votos.

β_{1}

$\beta_1$

β_{2}

$\beta_2$

— Richard Hardy

Para las personas con una pregunta similar, permítanme proporcionar un resumen simple de la respuesta.

El truco consiste en configurar las dos ecuaciones como un sistema de ecuaciones aparentemente no relacionadas y estimarlas conjuntamente. Es decir, apilamos e uno encima del otro, y hacemos más o menos lo mismo con la matriz de diseño. Es decir, el sistema a estimar es: $y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

Esto conducirá a una matriz de varianza-covarianza que permite probar la igualdad de los dos coeficientes.

— coffeinjunky
fuente

Implementé la forma en que sugirió y lo comparé con la forma anterior. Encontré que la diferencia clave es si la suposición de que la varianza del error es la misma o no. Su camino supone que la varianza del error es la misma y el camino anterior no lo asume.

— KH Kim

Esto funcionó bien para mí. En Stata, hice algo como: El expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); uso de errores estándar agrupados explica el hecho de que e1 y e2 no son independientes para la misma observación después de apilar el conjunto de datos.

— wkschwartz

Cuando las regresiones provienen de dos muestras diferentes, puede suponer: que conduce a la fórmula provista en otra respuesta. $Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
Pero su pregunta estaba precisamente relacionada con el caso cuando . En este caso, las ecuaciones aparentemente no relacionadas parecen ser el caso más general. Sin embargo, proporcionará coeficientes diferentes de los de las ecuaciones originales, que pueden no ser lo que está buscando. $covar(\beta_1,\beta_2) \neq 0$
(Clogg, CC, Petkova, E. y Haritou, A. (1995). Métodos estadísticos para comparar los coeficientes de regresión entre modelos. American Journal of Sociology, 100 (5), 1261-1293.) Presenta una respuesta en el caso especial de ecuaciones anidadas (es decir, para obtener la segunda ecuación, considere la primera ecuación y agregue algunas variables explicativas) Dicen que es fácil de implementar.
Si lo entiendo bien, en este caso especial, también se puede implementar una prueba de Haussman. La diferencia clave es que su prueba considera verdadera la segunda ecuación (completa), mientras que la prueba de Haussman considera verdadera la primera ecuación.
Tenga en cuenta que Clogg et al (1995) no son adecuados para los datos del panel. Pero su prueba ha sido generalizada por (Yan, J., Aseltine Jr, RH y Harel, O. (2013). Comparación de coeficientes de regresión entre modelos lineales anidados para datos agrupados con ecuaciones de estimación generalizadas. Journal of Educational and Behavioral Statistics, 38 (2), 172-189.) Con un paquete proporcionado en R: geepack Consulte: https://www.jstor.org/stable/pdf/41999419.pdf?refreqid=excelsior%3Aa0a3b20f2bc68223edb59e3254c234be&seq=1

Y (para el paquete R): https://cran.r-project.org/web/packages/geepack/index.html

— Alexandre Cazenave-Lacroutz
fuente