¿Cómo detectar un cambio significativo en los datos de series temporales debido a un cambio de "política"?

15

Espero que este sea el lugar correcto para publicar esto, consideré publicarlo en escépticos, pero creo que solo dirían que el estudio fue estadísticamente incorrecto. Tengo curiosidad sobre el otro lado de la pregunta que es cómo hacerlo bien.

En el sitio web Quantified Self , el autor publicó los resultados de un experimento de alguna métrica de producción medida en sí mismo a lo largo del tiempo y comparada antes y después de dejar de tomar café abruptamente. Los resultados se evaluaron subjetivamente y el autor creía que tenía pruebas de que había un cambio en la serie temporal y que estaba relacionado con el cambio en la política (tomar café)

Lo que esto me recuerda son los modelos de la economía. Solo tenemos una economía (que nos importa en este momento), por lo que los economistas a menudo están haciendo esencialmente n = 1 experimentos. Es casi seguro que los datos están autocorrelacionados con el tiempo debido a esto. Los economistas generalmente observan, dice la Fed, mientras inicia una política e intentan decidir si la serie temporal cambió, posiblemente debido a la política.

¿Cuál es la prueba adecuada para determinar si la serie temporal ha aumentado o disminuido según los datos? ¿Cuántos datos necesitaría? ¿Qué herramientas existen? Mi búsqueda inicial en Google sugiere modelos de series de tiempo de cambio de Markov, pero no mis habilidades para buscar en Google no me ayudan a hacer nada con solo el nombre de la técnica.

time-series change-point

— MatthewMartin
fuente

4

El documento de Box-Tiao al que Jason hizo referencia se basó en un cambio de ley conocido. La pregunta aquí es cómo detectar el punto en el tiempo. La respuesta es utilizar el procedimiento Tsay para detectar intervenciones, ya sean pulsos, cambios de nivel, pulsos estacionales y / o tendencias de tiempo local.

— IrishStat
fuente

1

Mirando algunas notas antiguas sobre roturas estructurales, tengo estas dos citas:

Enders, "Serie cronométrica econométrica aplicada", 2ª edición, cap. 5)

Enders analiza intervenciones, funciones de pulso, funciones de cambio gradual, funciones de transferencia, etc. Este artículo también puede ser útil:

Box, GEP y GC Tiao. 1975. "Análisis de intervención con aplicaciones a problemas económicos y ambientales". Revista de la Asociación Americana de Estadística 70: 70-79.

— Jason Morgan
fuente

1

¿No podría simplemente usar un modelo de punto de cambio y luego intentar identificar el punto de cambio utilizando un algoritmo MCMC como Gibbs Sampling?

Esto debería ser relativamente sencillo de implementar, siempre que tenga algunas distribuciones previas para sus datos o la perturbación condicional completa (para Gibbs).

Puede encontrar una descripción general rápida aquí

— Berk U.
fuente

1

Si estaba considerando todos los puntos de tiempo como puntos de cambio candidatos (también conocidos como puntos de ruptura, también conocido como cambio estructural), entonces el paquete strucchange es una muy buena opción.

Parece que en su escenario particular, solo hay un punto de tiempo candidato. En este caso, me vienen a la mente varias opciones rápidas:

Prueba T: una prueba t sobre las horas de concentración por día en los períodos "antes de dejar de fumar" versus "después de dejar de fumar". Si le preocupa la correlación diaria, podría renunciar a algunas observaciones para tener intervalos lo suficientemente largos como para creer que los días ya no están correlacionados. Con este enfoque, intercambiará potencia con simplicidad.
AR: Ajuste un modelo AR con un maniquí: "después de dejar de fumar". Si el predictor es significativo, entonces tienes un cambio. Usando un AR, capturará la (posible) dependencia entre días.

— JohnRos
fuente

: John La idea es que no conoces el "punto de tiempo de un candidato", pero quieres encontrarlo analíticamente, tal vez por literalmente cientos de series de tiempo. La "prueba ocular" para determinar este candidato a menudo es deficiente ya que los pulsos de una sola vez y la estructura ARIMA subyacente se ocluyen. Los métodos de detección de intervención a la R. Rsay o George Tiao que buscan un cambio de NIVEL / PASO desconocido en realidad construyen la variable que usted describe (el único ficticio con ceros seguido de 1). Se debe tener cuidado al considerar la identificación de las intervenciones PRIMERO y luego el componente ARIMA y viceversa.

— IrishStat

@IrishStat: en el Blog al que se hace referencia, se conoce el punto de cambio. Para los casos en que no lo es, se hizo referencia al paquete strucchange R.

— JohnRos

: John De la documentación de struchange "Finalmente, los puntos de corte en los modelos de regresión con cambios estructurales pueden estimarse" usando el Método CHOW con el que estoy íntimamente familiarizado. Probar o encontrar puntos de corte en los coeficientes de regresión requiere una especificación del modelo de regresión y si estoy ¿correcto esto no tiene nada que ver con responder la pregunta "prueba para determinar si la serie temporal ha aumentado o disminuido en función de los datos?". Creo que su recomendación es insuficiente para responder la pregunta del OP. Su recomendación responde una pregunta No creo que se le pregunte.

— IrishStat

: john Eso es cierto pero trivial ya que los modelos con solo una intersección solo se encuentran en los libros de texto o en los sueños.

— IrishStat

@IrishStat: es cierto que el marco de cambio estructural es más general. Sin embargo, la detección de un aumento o disminución en los "datos" se puede hacer ajustando un modelo de solo intercepción.

— JohnRos

1

Hace unos años escuché una charla de una estudiante graduada, Stacey Hancock , durante una reunión local del capítulo ASA y fue sobre la "estimación de ruptura estructural" de series de tiempo. La charla fue realmente interesante y luego hablé con ella y ella estaba trabajando con Richard Davis (de Brockwell-Davis ), luego en la Universidad Estatal de Colorado, ahora en Columbia. La charla fue una extensión de Davis et al. trabaje en un artículo de 2006 de JASA llamado Estimación de ruptura estructural para modelos de series temporales no estacionarias , que está disponible gratuitamente aquí .

Davis tiene una implementación de software del método que él llama Auto-PARM, que convirtió en un ejecutable de Windows. Si se comunica con él, puede obtener una copia. Tengo una copia, y aquí hay un ejemplo de salida en una serie de tiempo de observación de 1.200:

    ============== RESULTS ===============
  ISLAND           1
    SC=   1910.58314770669
    Breaking point/AR order
           1              1
         351              1
         612              3
    ======================================
 Total time:   5.812500

Entonces, la serie es AR (1) al principio, en la observación 351 el proceso AR (1) cambia a otro proceso AR (1) (puede obtener los parámetros), y luego en la observación 612 el proceso cambia a AR (3) .

Una configuración interesante en la que probé Auto-PARM fue ver los datos de retiro de cajeros automáticos semanales que formaban parte de la competencia NN5 . Recuerdo el algoritmo que encontró interrupciones estructurales a fines de noviembre de un año determinado, por ejemplo, el comienzo de la temporada de compras navideñas en los Estados Unidos.

Entonces, ¿cómo usar este algoritmo a través de implementaciones existentes? Bueno, una vez más, podría comunicarse con Davis y ver si puede obtener el ejecutable de Windows. Cuando estaba en Rogue Wave Software trabajé con Davis para que Auto-PARM ingresara a las bibliotecas numéricas de IMSL. El primer idioma al que fue portado fue Fortran , donde se llama Auto_PARM, y sospecho que Rogue Wave lanzará un puerto C pronto, con Python, C # y puertos Java a seguir.

— Josh Hemann
fuente

: Josh he OP no estaba en mi opinión refiriéndose a la hipótesis de prueba de la constancia de parámetros del modelo, en su caso donde un AR (3) tiene o no parámetros constantes a lo largo del tiempo. Él cree que es interesante detectar un cambio hasta ahora desconocido en la media de los residuos.

— IrishStat

mods: El OP no se refería, en mi opinión, a la hipótesis de prueba de la constancia de parámetros del modelo, en su caso si AR (3) tiene parámetros constantes a lo largo del tiempo. Creo que le interesa detectar un cambio hasta ahora desconocido en la media de la residuales. Este es un problema bastante diferente del que usted mencionó. Ahora estoy totalmente de acuerdo en que en ausencia de detección de intervención en la media de los residuales. Uno podría encontrar un punto en el tiempo donde los parámetros de algún modelo y / o la varianza de los errores pueden haber cambiado significativamente, PERO eso no es lo que el OP quiere descubrir.

— IrishStat

@IrishStat: ¿Está familiarizado con Auto-PARM? El algoritmo utiliza residuos en la estimación de ruptura (tanto con respecto al número de rupturas como al orden AR (p) de los segmentos). El OP no parece tener un método específico sobre el que está preguntando. Más bien, parece estar preguntando de manera muy general "Si estoy midiendo un proceso a tiempo y cambio algo sobre el proceso, ¿hay alguna forma de detectar este punto de cambio solo con los datos?". No está preguntando sobre el cambio de nivel frente a la innovación frente a la detección aditiva de valores atípicos. Esperemos que el OP pueda aclararnos ...

— Josh Hemann

josh: Desde el OP "¿Cuál es la prueba adecuada para determinar si la serie temporal ha aumentado o disminuido en función de los datos?". Creo que esto requiere una determinación si la media de los residuos no ha cambiado los parámetros de algún modelo ARIMA. En mi opinión, está recomendando un software / procedimiento de solución incorrecto, pero esa es solo mi opinión.

— IrishStat

1

Josh dijo:

josh: Desde el OP "¿Cuál es la prueba adecuada para determinar si la serie temporal ha aumentado o disminuido en función de los datos?". Creo que esto requiere una determinación si la media de los residuos no ha cambiado los parámetros de algún modelo ARIMA. En mi opinión, está recomendando un procedimiento de software / solución incorrecto, pero esa es solo mi opinión. - IrishStat 28 de octubre de 11 a las 19:08

Supongamos que uno comienza con un modelo AR (1):

Y_{t} = γ + ϕ * Y_{t - 1} + {mi}_{t}

$Y_t = \gamma + \phi*Y_{t-1} + E_t$

Dónde ${E_t}$ es, por ejemplo, un ruido gaussiano (media cero y varianza $\sigma^2$ La media de esta serie.

La media de la serie es $\frac{\gamma}{1-phi}$

Entonces, si por algún tiempo los parámetros $\gamma$ y $\phi$ no cambia, entonces también lo hace la media general de la serie. Sin embargo, cualquiera de estos cambios, necesariamente cambiará la media de la serie. Entonces, bajo la estacionariedad por partes, ¡estamos buscando cambios en estos parámetros!

Si se asumen modelos estructurales, Auto-PARM es el procedimiento a utilizar.

— usuario43737
fuente

1

Parece que en realidad estás citando IrishStat ... ¿podrías vincular la fuente original de la cita por favor?

— Nick Stauner