Prueba de la importancia de los picos en la densidad espectral

A veces usamos la gráfica de densidad espectral para analizar la periodicidad en series de tiempo. Normalmente analizamos la trama mediante inspección visual y luego tratamos de llegar a una conclusión sobre la periodicidad. ¿Pero los estadísticos han desarrollado alguna prueba para verificar si los picos en la trama son estadísticamente diferentes del ruido blanco? ¿Los expertos R han desarrollado algún paquete para el análisis de densidad espectral y para hacer ese tipo de prueba? Genial si alguien pudiera ayudar.

Saludos,
P.

r time-series hypothesis-testing

— Pantera
fuente

Presionado por @Wesley, eliminé mis pensamientos rápidos sobre las funciones de autocorrelación y el periodograma (puede ser que sea un gurú del análisis del dominio de la frecuencia, pero personalmente no pienso en Bartlett, mientras trabajo con autocorrelaciones en el dominio del tiempo), pero sigo pensando que mi segunda sugerencia sobre bootspecdenspuede ser útil.

— Dmitrij Celov

Estoy basando mi suposición sobre la respuesta de la gente a '¿qué es una autocorrelación?' sobre aspectos de la literatura, en los que casi todos los casos en los que se utiliza una autocorrelación son de la autocorrelación de Barlett estándar, computada en el dominio del tiempo. Y, desafortunadamente, ¡esto es malo! :) Agradezco la sugerencia de bootspecdensDmitrij; deseando echarle un vistazo.

— Wesley Burr

Debe tener en cuenta que no se recomienda estimar los espectros de potencia utilizando un periodograma , y de hecho ha sido una mala práctica desde ~ 1896. Es un estimador inconsistente para cualquier cosa menos que millones de muestras de datos (e incluso entonces ...), y en general parcial. Lo mismo se aplica exactamente al uso de estimaciones estándar de autocorrelaciones (es decir, Bartlett), ya que son pares de transformadas de Fourier. Siempre que esté utilizando un estimador consistente, hay algunas opciones disponibles para usted.

Lo mejor de esto es una estimación de ventana múltiple (o conicidad) de los espectros de potencia. En este caso, al usar los coeficientes de cada ventana a una frecuencia de interés, puede calcular una estadística armónica F contra una hipótesis nula de ruido blanco. Esta es una excelente herramienta para la detección de componentes de línea en ruido, y es muy recomendable. Es la opción predeterminada en la comunidad de procesamiento de señales para la detección de periodicidades en ruido bajo la suposición de estacionariedad.

Puede acceder tanto al método multitaper de estimación de espectro como a la prueba F asociada a través del multitaperpaquete en R (disponible a través de CRAN). La documentación que viene con el paquete debería ser suficiente para comenzar; la prueba F es una opción simple en la llamada a la función spec.mtm.

La referencia original que define ambas técnicas y proporciona los algoritmos para ellas es la Estimación del espectro y el análisis armónico , DJ Thomson, Proceedings of the IEEE, vol. 70, pág. 1055-1096, 1982.

Aquí hay un ejemplo usando el conjunto de datos incluido con el multitaperpaquete.

require(multitaper);
data(willamette);
resSpec <- spec.mtm(willamette, k=10, nw=5.0, nFFT = "default",
                    centreWithSlepians = TRUE, Ftest = TRUE,
                    jackknife = FALSE, maxAdaptiveIterations = 100,
                    plot = TRUE, na.action = na.fail)

Los parámetros que debe tener en cuenta son k y nw : estos son el número de ventanas (establecido en 10 arriba) y el producto de ancho de banda de tiempo (5.0 arriba). Puede dejarlos fácilmente con estos valores casi predeterminados para la mayoría de las aplicaciones. El comando centreWithSlepians elimina una estimación robusta de la media de la serie temporal mediante una proyección en ventanas Slepian; esto también se recomienda, ya que dejar la media en produce mucha potencia en las frecuencias bajas.

También recomendaría trazar la salida del espectro de 'spec.mtm' en una escala logarítmica, ya que limpia las cosas significativamente. Si necesita más información, simplemente publique y me complace proporcionarla.

— Wesley Burr
fuente

A Burr, Silva y Celov, muchas gracias por sus interesantes respuestas y sugerencias. Espero probar estos estimadores. Saludos cordiales

— Pantera

(+1) Esta noche pensé cuidadosamente en sus sugerencias, y decidí que el dominio del tiempo es lo último (debido al truncamiento de retraso y las propiedades débiles en muestras pequeñas) para intentar buscar el comportamiento de ciclismo. Lo que me preocupa personalmente son los supuestos de las estadísticas F y las propiedades de tamaño de muestra pequeño del esquema sugerido. Bueno, y probablemente sea bueno comenzar una pregunta por separado con respecto a la selección óptima de la ventana, porque de hecho hay muchas.

— Dmitrij Celov

De hecho, hay muchas opciones de ventana, aunque las dos más comunes son las Secuencias Esferoidales Prolatas Discretas (o Slepians ) y las formas sinusoidales. Si está buscando la concentración máxima de energía en un ancho de banda local, los Slepianos han demostrado ser óptimos, y de hecho son el resultado de la forma de ecuación integral de la densidad espectral (consulte el documento que mencioné para obtener todos los detalles). En lo que respecta a las estadísticas F, ciertamente hay algunos problemas con los grados de libertad, pero en general funcionan bastante bien, con ~ 2k-2 dof disponibles.

— Wesley Burr

El periodograma alisado también utiliza la forma cónica, permite FFT, el libro de David Stoffer también le enseña cómo calcular los intervalos de confianza. Este multitaperpaquete parece haber empleado técnicas más avanzadas para reducir y calcular el intervalo de confianza. Pero creo que la idea era la misma, según David Stoffer. Esto es lo único en lo que podría pensar que enseñar peridogoram de vainilla en realidad todavía tiene sentido hoy.

— estucash

ok, entonces usted es uno de los autores de este paquete y ha usado algunas palabras muy fuertes contra el periodograma. Espero que algún día pueda volver con más evidencia. Los pros y los contras comunes para el Periodograma son bien conocidos, como su varianza explosiva, por lo que no es un buen estimador consistente para el espectro, pero el periodograma suavizado no es realmente tan malo, no es tan malo como dijiste aquí, creo.

— estucas el

Hemos intentado tratar de resolver este problema mediante una transformación wavelet de una prueba basada en el espectro recientemente en este documento . Esencialmente, debe considerar la distribución de ordenadas del periodograma, de manera similar al artículo de Fisher, mencionado en las respuestas anteriores. Otro artículo de Koen es este . Recientemente hemos publicado un paquete R hwwntest .

— Delyan Savchev
fuente

Savchev, muchas gracias por sus comentarios y referencias. Espero probar su paquete R.

— Pantera

$f(\omega_k)$

Puede obtener más detalles sobre la prueba en MB Priestley, Spectral Analysis and Time Series , Academic Press, Londres, 1981, página 406.

En R, el paquete GeneCycle contiene la función fisher.g.test():

library(GeneCycle)
?fisher.g.test

Espero que esto ayude.

— Washington S. Silva
fuente

esto es genial, pero la prueba g del paquete se basa en su propia función periodograma que tiene opciones muy limitadas para calcular los espectros de potencia ...

— estucas