Una idea subyacente en el aprendizaje estadístico es que puedes aprender repitiendo un experimento. Por ejemplo, podemos seguir volteando una chincheta para saber la probabilidad de que una chincheta caiga sobre su cabeza.
En el contexto de series de tiempo, observamos una sola ejecución de un proceso estocástico en lugar de ejecuciones repetidas del proceso estocástico. Observamos 1 experimento largo en lugar de múltiples experimentos independientes.
Necesitamos estacionariedad y ergodicidad, de modo que observar una larga ejecución de un proceso estocástico es similar a observar muchas ejecuciones independientes de un proceso estocástico.
Algunas definiciones (imprecisas)
Deje que sea un espacio muestral. Un proceso estocástico es una función del tiempo y el resultado .Ω{Yt}t∈{1,2,3,…}ω∈Ω
- Para cualquier momento , es una variable aleatoria (es decir, una función de a algún espacio, como el espacio de números reales).tYtΩ
- Para cualquier resultado tenemos es una serie deterministaωX(ω){Y1(ω),Y2(ω),Y3(ω),…}
Una cuestión fundamental en series de tiempo
En Estadísticas 101, se nos enseña sobre una serie de variables independientes e idénticamente distribuidas , , , etc. Observamos experimentos múltiples e idénticos donde un es aleatorio elegido y esto nos permite aprender acerca variable aleatoria . Según la Ley de Números Grandes , tenemos convergiendo casi seguramente a .X1X2X3i=1,…,nωi∈ΩX1n∑ni=1XiE[X]
Una diferencia fundamental en la configuración de series de tiempo es que estamos observando múltiples observaciones a lo largo del tiempo lugar de múltiples sorteos de .tΩ
En el caso general, puede no converger en nada.1T∑Tt=1Yt
Para que múltiples observaciones a lo largo del tiempo realicen una tarea similar a las múltiples tomas del espacio muestral , necesitamos estacionariedad y ergodicidad .
Si existe una media incondicional y se cumplen las condiciones para el teorema ergódico, la serie temporal, la media muestral convergerán a la media incondicional .E[Y]1T∑Tt=1YtE[Y]
Ejemplo 1: falla de estacionariedad
Sea el proceso degenerado . Podemos ver que no es estacionario (la distribución conjunta no es invariable en el tiempo).{Yt}Yt=t{Yt}
Deje que sea la media de la muestra de series de tiempo, y es obvio que no converge a nada como : . La media de no existe y no converge a nada como .St=1t∑ti=1YiStt→∞S1=1,S2=32,S3=2,…,St=t+12YtStt→∞
Ejemplo: falla de ergodicidad
Deje que sea el resultado de un solo lanzamiento de moneda. Deje para todo , es decir, o .XYt=Xt{Yt}=(0,0,0,0,0,0,0,…){Yt}=(1,1,1,1,1,1,1,…
Aunque , la muestra de la serie significa no dará eres la media de .E[Yt]=12St=1t∑ti=1YiYt