Uso dudoso de los principios de procesamiento de señales para identificar una tendencia.

Estoy proponiendo intentar encontrar una tendencia en algunos datos a largo plazo muy ruidosos. Los datos son básicamente mediciones semanales de algo que se movió unos 5 mm durante un período de aproximadamente 8 meses. Los datos tienen una precisión de 1 mm y son muy ruidosos y cambian regularmente +/- 1 o 2 mm en una semana. Solo tenemos los datos al mm más cercano.

Planeamos usar un procesamiento de señal básico con una rápida transformación de Fourier para separar el ruido de los datos sin procesar. La suposición básica es que si reflejamos nuestro conjunto de datos y lo agregamos al final de nuestro conjunto de datos existente, podemos crear una longitud de onda completa de los datos y, por lo tanto, nuestros datos se mostrarán en una rápida transformación de Fourier y esperamos poder separarlos. .

Dado que esto me parece un poco dudoso, ¿vale la pena analizar este método o es el método de duplicar y agregar nuestro conjunto de datos de alguna manera fundamentalmente defectuoso? Estamos analizando otros enfoques, como el uso de un filtro de paso bajo también.

A mí me suena dudoso ya que la estimación de tendencia estará sesgada cerca del punto donde empalmes los datos falsos. Un enfoque alternativo es una regresión no paramétrica más suave, como loess o splines.

Si desea filtrar la tendencia a largo plazo utilizando el procesamiento de señal, ¿por qué no utilizar un paso bajo?

Lo más simple que se me ocurre sería una media móvil exponencial.

Creo que puede obtener cierta distorsión en el punto de pegado, ya que no todas las ondas subyacentes se conectarán muy bien.

Sugeriría usar una transformación de Hilbert Huang para esto. Simplemente haga la división en funciones de modo intrínseco y vea lo que queda como residuo al calcularlas.

Puede usar la transformación de wavelet discreta (rápida :)) . El paquete wavethresh bajo R hará todo el trabajo. De todos modos, me gusta la solución de @James porque es simple y parece ir directamente al grano.

La mayoría de las veces, cuando escucho "tendencia a largo plazo", pienso en tendencias al alza a largo plazo o tendencias a la baja a largo plazo , ninguna de las cuales es capturada adecuadamente por una transformación de Fourier. Tales tendencias unidireccionales se analizan mejor mediante el uso de regresión lineal . (Las transformadas de Fourier y los periodogramas son más apropiados para las cosas que suben y bajan).

La regresión lineal es fácil de hacer en la mayoría de las hojas de cálculo. (a) Visualice ecuaciones para líneas de regresión (b) Creación de diagramas de dispersión XY con hojas de cálculo

La regresión lineal intenta aproximar sus datos con una línea recta. Las transformadas de Fourier intentan aproximar sus datos con unas pocas ondas sinusoidales agregadas. Existen otras técnicas ("regresión no lineal") que intentan aproximar sus datos a polinomios u otras formas.

La transformada de Fourier supone una estacionariedad de señal de sentido amplio y una invariancia lineal de tiempo (LTI). Si bien es robusto ante alguna violación de estas condiciones, realmente no creo que sea apropiado para el análisis de tendencias debido al supuesto de estacionariedad, es decir, está tratando de medir algo que viola uno de los supuestos básicos de FFT.

Estoy de acuerdo con los carteles anteriores; duplicar sus datos y agregar los datos reflejados al final de su serie temporal es dudoso. Sugeriría que ajustar un modelo de regresión lineal con una tendencia temporal como se mencionó anteriormente es probablemente más apropiado.

Si estaba buscando examinar la periodicidad, podría eliminar la tendencia mediante el filtrado de paso alto y realizando un análisis de Fourier. Si la tendencia permanece visible después del filtrado, puede restar una línea de regresión lineal ajustada de la señal original antes de FFT.