Prueba de autocorrelación: Ljung-Box versus Breusch-Godfrey

35

Estoy acostumbrado a ver Ljung-Box utilizado con bastante frecuencia para las pruebas de autocorrelación en los datos en bruto o en residuos del modelo. Casi había olvidado que no hay otra prueba de autocorrelación, es decir, de Breusch-Godfrey.

Pregunta: ¿cuáles son las principales diferencias y similitudes de las pruebas Ljung-Box y Breusch-Godfrey, y cuándo debería preferirse una sobre la otra?

(Las referencias son bienvenidas. De alguna manera no pude encontrar ninguna comparación de las dos pruebas, aunque busqué en algunos libros de texto y busqué material en línea. Pude encontrar las descripciones de cada prueba por separado , pero lo que me interesa es la comparación de los dos.)

time-series hypothesis-testing autocorrelation

— Richard Hardy
fuente

36

Hay algunas voces fuertes en la comunidad de Econometría contra la validez de la estadística Ljung-Box para probar la autocorrelación basada en los residuos de un modelo autorregresivo (es decir, con variables dependientes rezagadas en la matriz del regresor), ver particularmente Maddala (2001) "Introducción a la Econometría (edición 3d), cap. 6.7 y 13. 5 pág . 528. Maddala literalmente lamenta el uso generalizado de esta prueba, y en su lugar considera apropiada la prueba del" Multiplicador de Langrange "de Breusch y Godfrey. $Q$

El argumento de Maddala contra la prueba de Ljung-Box es el mismo que el obtenido contra otra prueba de autocorrelación omnipresente, el "Durbin-Watson" uno: con variables dependientes rezagadas en la matriz de regresores, la prueba está sesgada a favor de mantener la hipótesis nula de "no-autocorrelación" (los resultados Monte-Carlo obtenidos en @javlacalle respuesta aludir a este hecho). Maddala también menciona la baja potencia de la prueba, véase, por ejemplo, Davies, N., y Newbold, P. (1979). Algunos estudios potencia de una prueba acrónimo de especificación del modelo de series de tiempo. Biometrika, 66 (1), 153-155 .

Hayashi (2000) , cap. 2,10 "Testing para la correlación en serie" , presenta un análisis teórico unificado, y creo, aclara la materia. Hayashi parte de cero: Para el Ljung-Box-estadística que se distribuye asintóticamente como una chi-cuadrado, tiene que ser el caso de que el proceso(cualquiera que searepresenta), cuya autocorrelaciones de la muestra que se introduce en la estadística es decir, bajo la hipótesis nula de no autocorrelación, una secuencia martingala-diferencia, es decir, que satisface $Q$ $\{z_t\}$ $z$

mi (z_{t} ∣ z_{t - 1}, z_{t - 2}, . . .) = 0 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

y también exhibe "propia" homocedasticidad condicional

mi (z_{t}^{2} ∣ z_{t - 1}, z_{t - 2}, . . .) = σ^{2} > 0 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

En estas condiciones el Ljung-Box -estadística (que es una variante corregida para la finitas muestras del original de Box-Pierce -estadística), tiene asintóticamente una distribución chi-cuadrado, y su uso tiene justificación asintótica. $Q$ $Q$

Supongamos ahora que hemos especificado un modelo autorregresivo (que tal vez incluye también regresores independientes, además de las variables dependientes rezagadas), por ejemplo

y_{t} = x_{t}^{'} β + ϕ (L) y_{t} + u_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

donde es un polinomio en el operador de retardos, y queremos poner a prueba la correlación serial mediante el uso de los residuos de la estimación. Así que aquí . $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi muestra que para que la estadística Ljung-Box basada en las autocorrelaciones muestrales de los residuos, tenga una distribución asintótica de chi-cuadrado bajo la hipótesis nula de no autocorrelación, debe darse el caso de que todos los regresores sean "estrictamente exógenos". " al término de error en el siguiente sentido: $Q$

mi (X_{t} \cdot {tu}_{s}) = 0 0, mi (y_{t} \cdot {tu}_{s}) = 0 0 \forall t, s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

El "para todos los " es el requisito crucial aquí, el que refleja la exogeneidad estricta. Y no se mantiene cuando existen variables dependientes rezagadas en la matriz del regresor. Esto se ve fácilmente: establezca y luego $t,s$ $s= t-1$

E [y_{t} u_{t - 1}] = E [(x_{t}^{'} β + ϕ (L) y_{t} + u_{t}) u_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

mi [X_{t}^{'} β \cdot {tu}_{t - 1}] + mi [ϕ (L) y_{t} \cdot {tu}_{t - 1}] + mi [{tu}_{t} \cdot {tu}_{t - 1}] \neq 0 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

incluso si las son independientes del término de error, e incluso si el término de error no tiene autocorrelación : el término no es cero. $X$ $E[\phi(L)y_t \cdot u_{t-1}]$

Pero esto prueba que la estadística Ljung-Box no es válida en un modelo autorregresivo, porque no se puede decir que tenga una distribución asintótica de chi-cuadrado debajo de la nula. $Q$

Suponga ahora que se satisface una condición más débil que la exogeneidad estricta, a saber, que

E (u_{t} ∣ x_{t}, X_{t - 1}, . . ., ϕ (L) y_{t}, {tu}_{t - 1}, {tu}_{t - 2}, . . .) = 0 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

La fuerza de esta condición es "entre" estricta exogeneidad y ortogonalidad. Bajo la hipótesis nula de no autocorrelación del término de error, esta condición se "automáticamente" satisfecha por un modelo autorregresivo, con respecto a las variables dependientes retardados (para el 'es se debe suponer por separado por supuesto). $X$

Entonces, existe otra estadística basada en las autocorrelaciones de la muestra residual ( no la de Ljung-Box), que tiene una distribución asintótica de chi-cuadrado debajo de la nula. Esta otra estadística se puede calcular, por conveniencia, utilizando la ruta de "regresión auxiliar": regrese los residuos en la matriz regresiva completa y en los residuos pasados (hasta el retraso que hemos usado en la especificación ), obtenga el centrado de esta regresión auxiliar y multiplíquelo por el tamaño de la muestra. $\{\hat u_t\}$ $R^2$

Esta estadística se utiliza en lo que llamamos la "prueba de Breusch-Godfrey para la correlación serial" .

Parece entonces que, cuando los regresores incluyen variables dependientes rezagadas (y también en todos los casos de modelos autorregresivos), la prueba Ljung-Box debe abandonarse en favor de la prueba LM Breusch-Godfrey. , no porque "funcione peor", sino porque no posee justificación asintótica. Un resultado bastante impresionante, especialmente a juzgar por la presencia ubicua y la aplicación de los primeros.

ACTUALIZACIÓN: Respondiendo a las dudas planteadas en los comentarios sobre si todo lo anterior se aplica también a modelos de series temporales "puras" o no (es decir, sin regresores " "), he publicado un examen detallado para el modelo AR (1), en https://stats.stackexchange.com/a/205262/28746 . $x$

— Alecos Papadopoulos
fuente

Muy impresionante, Alecos! ¡Gran explicación! Muchas gracias! (Espero que muchas personas más lean su respuesta eventualmente y se beneficien de ella en su trabajo o estudios.)

— Richard Hardy

+1 Muy interesante. Mi suposición inicial fue que en un modelo AR la distribución de la prueba de BG podría distorsionarse, pero como usted explicó y sugirió el ejercicio de simulación, es la prueba LB la que se ve más seriamente afectada.

— javlacalle

El problema con su respuesta es que se basa en el supuesto de que estamos tratando con un modelo similar a ARMAX, es decir, con los regresores . no series temporales puras como AR.

x_{t}

$x_t$

— Aksakal

1

@Aksakal, también, parte del problema podría ser que el enfoque está saltando un poco aquí y allá. Deberíamos separar los problemas de (1) cuál de las pruebas es mejor de (2) qué prueba funciona bajo qué supuestos y, lo que es más importante, (3) qué prueba funciona para qué modelo (debido a diferentes supuestos del modelo). Esta última es quizás la pregunta más útil para los practicantes. Por ejemplo, no usaría LB para los residuos de un modelo ARMA debido a lo que Alecos ha mostrado. ¿Argumenta que LB todavía se puede usar para los residuos de los modelos ARMA (que ahora también es la pregunta central en el otro hilo)?

— Richard Hardy

1

@Alexis Y ese es un comentario casi demasiado halagador para ser verdad. Gracias.

— Alecos Papadopoulos

12

Conjetura

No conozco ningún estudio que compare estas pruebas. Tenía la sospecha de que la prueba de Ljung-Box es más apropiada en el contexto de modelos de series temporales como los modelos ARIMA, donde las variables explicativas son retrasos de las variables dependientes. La prueba de Breusch-Godfrey podría ser más apropiada para un modelo de regresión general donde se cumplen los supuestos clásicos (en particular los regresores exógenos).

Mi conjetura es que la distribución de la prueba de Breusch-Godfrey (que se basa en los residuos de una regresión ajustada por mínimos cuadrados ordinarios) puede verse afectada por el hecho de que las variables explicativas no son exógenas.

Hice un pequeño ejercicio de simulación para verificar esto y los resultados sugieren lo contrario: la prueba de Breusch-Godfrey funciona mejor que la prueba de Ljung-Box cuando se prueba la autocorrelación en los residuos de un modelo autorregresivo. Los detalles y el código R para reproducir o modificar el ejercicio se proporcionan a continuación.

Pequeño ejercicio de simulación

Una aplicación típica de la prueba de Ljung-Box es probar la correlación en serie en los residuos de un modelo ARIMA ajustado. Aquí, genero datos de un modelo AR (3) y me ajusto a un modelo AR (3).

Los residuos satisfacen la hipótesis nula de no autocorrelación, por lo tanto, esperaríamos valores p distribuidos uniformemente. La hipótesis nula debe rechazarse en un porcentaje de casos cercano a un nivel de significación elegido, por ejemplo, 5%.

Prueba de Ljung-Box:

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Valores p de prueba de Ljung-Box

Los resultados muestran que la hipótesis nula es rechazada en casos muy raros. Para un nivel del 5%, la tasa de rechazos es muy inferior al 5%. La distribución de los valores p muestra un sesgo hacia el no rechazo del nulo.

Editar En principio fitdf=3debe establecerse en todos los casos. Esto explicará los grados de libertad que se pierden después de ajustar el modelo AR (3) para obtener los residuos. Sin embargo, para retrasos de orden inferiores a 4, esto conducirá a grados de libertad negativos o cero, haciendo que la prueba sea inaplicable. De acuerdo con la documentación ?stats::Box.test: Estas pruebas a veces se aplican a los residuos de un ajuste ARMA (p, q), en cuyo caso las referencias sugieren que se obtiene una mejor aproximación a la distribución de hipótesis nulas por ajuste fitdf = p+q, siempre que, por supuesto, eso lag > fitdf.

Prueba de Breusch-Godfrey:

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Prueba de Breusch-Godfrey valores p

Los resultados de la prueba de Breusch-Godfrey se vean más sensata. Los valores p están distribuidos uniformemente y las tasas de rechazo están más cerca del nivel de significancia (como se esperaba bajo la hipótesis nula).

— javlacalle
fuente

1

Gran trabajo (como siempre)! ¿Qué pasa LB.pvals[i,j]con : tiene sentido la prueba de Ljung-Box para dado que se un modelo AR (3) con 3 coeficientes ( )? Si no es así, los malos resultados de la prueba de Ljung-Box para no son sorprendentes.

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

— Richard Hardy

Además, con respecto a lo que dices en el primer párrafo: ¿podrías ampliar un poco eso? Percibo las declaraciones allí como bastante importantes, pero faltan los detalles. Puedo estar pidiendo demasiado para "digerir" cosas para mí, pero si no fuera demasiado difícil para usted, se lo agradecería.

— Richard Hardy

1

Mi intuición es que este problema tiene que ver con lo siguiente: una suma de variables aleatorias linealmente independientes se distribuye como . Una suma de variables aleatorias linealmente dependientes con restricciones lineales se distribuye como . Cuando esto está mal definido. Sospecho que algo así sucede cuando la prueba de Ljung-Box se usa en los residuos del modelo de un modelo AR ( ).

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

— Richard Hardy

1

Los residuos no son independientes sino linealmente restringidos; primero, suman cero; segundo, sus autocorrelaciones son cero para los primeros rezagos. Lo que acabo de escribir puede no ser exactamente cierto, pero la idea está ahí. Además, he sido consciente de que la prueba de Ljung-Box no debe solicitarse , simplemente no recuerdo la fuente. Quizás lo escuché en una conferencia del profesor. Ruey S. Tsay, o leer eso en sus apuntes. Pero realmente no recuerdo ...

k

$k$ lag<fitdf

— Richard Hardy

1

En resumen, cuando dice para retrasos de orden inferiores a 4, esto conducirá a grados de libertad negativos o cero, haciendo que la prueba sea inaplicable , creo que debería hacer una conclusión diferente: no use la prueba para esos retrasos. Si continúa estableciéndose fitdf=0en su lugar fitdf=3, podría estar engañándose a sí mismo.

— Richard Hardy

2

Greene (Análisis econométrico, 7ª edición, p. 963, sección 20.7.2):

"La diferencia esencial entre las pruebas Godfrey-Breusch [GB] y Box-Pierce [BP] es el uso de correlaciones parciales (control de y otras variables) en las correlaciones anteriores y simples en la segunda. Bajo la hipótesis nula , no hay autocorrelación en , y no hay correlación entre y en ningún caso, por lo que las dos pruebas son asintóticamente equivalentes. Por otro lado, dado que no condiciona en , la prueba [BP] es menos poderosa que la [GB] prueba cuando la hipótesis nula es falsa, como sugiere la intuición ". $X$ $e_t$ $x_t$ $e_s$ $x_t$

(Sé que la pregunta se refiere a Ljung-Box y lo anterior se refiere a Box-Pierce, pero el primero es un simple refinamiento del último y, por lo tanto, cualquier comparación entre GB y BP también se aplicaría a una comparación entre GB y LB).

Como otras respuestas ya han explicado de manera más rigurosa, Greene también sugiere que no hay nada que ganar (aparte de alguna eficiencia computacional tal vez) usando Ljung-Box versus Godfrey-Breusch, pero potencialmente mucho que perder (la validez de la prueba).

— Candamir
fuente

0

Parece que las pruebas de Box-Pierce y Ljung-Box son principalmente pruebas univariadas, pero hay algunas suposiciones detrás de la prueba de Breusch-Godfrey cuando se prueba si la estructura lineal se deja atrás en los residuos de la regresión de series de tiempo (proceso MA o AR).

Aquí hay un enlace a la discusión:

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

— Analista
fuente

Creo que no entiendo el significado de la oración debido a la gramática. ¿Podrías reformularlo?

— Richard Hardy

0

La principal diferencia entre las pruebas es la siguiente:

La prueba de Breusch-Godfrey es una prueba de multiplicador de Lagrange derivada de la función de probabilidad (correctamente especificada) (y, por lo tanto, de los primeros principios).
La prueba de Ljung-Box se basa en segundos momentos de los residuos de un proceso estacionario (y, por lo tanto, de una naturaleza comparativamente más ad-hoc).

La prueba de Breusch-Godfrey es como la prueba del multiplicador de Lagrange, asintóticamente equivalente a la prueba uniformemente más potente. Sea como fuere, solo es asintóticamente más poderoso que la hipótesis alternativa de regresores omitidos (independientemente de si son variables rezagadas o no). El punto fuerte de la prueba de Ljung-Box puede ser su poder contra una amplia gama de hipótesis alternativas.

— bmbb
fuente