Estimación de máxima verosimilitud en presencia de ruido coloreado

Estoy tratando de probar la identificación del sistema en presencia de ruido de medición (1) Un ruido gaussiano blanco (2) Ruido de color: rosa, violeta. Cuando estamos estimando parámetros, lo hacemos en presencia de iid, cero ruido medio no correlacionado.

P1: Me gustaría saber si el ruido de color está correlacionado o no. Creo que tienen una distribución diferente, pero no pude encontrar ninguna información si las muestras se correlacionarán o no.

P2: En estimación, suponemos que el ruido es un ruido gaussiano blanco aditivo que no está correlacionado con iid. ¿Qué sucede cuando el ruido no es gaussiano? ¿Cómo estimamos theta? Por ejemplo: $x = s(\theta) + Colored noise$ donde estamos tratando de estimar $\theta$ . ¿El rendimiento, es decir, MSE, variará con diferentes niveles de ruido coloreado y no coloreado?

noise estimation maximum-likelihood-estimation

— Ria George
fuente

"color" ruido es sobre el espectro de potencia, no la distribución o pdf en realidad, un pdf condicional hace tener algo que ver con el espectro, pero no el pdf incondicional

— Robert Bristow-Johnson

@ robertbristow-johnson: De la respuesta a continuación, ¿se considera siempre que el pdf es gaussiano para el ruido de color?

— Ria George

No siempre, pero generalmente. un contraejemplo simple es el dither triangular pdf de paso alto,

y [n]

$y[n]$ formado a partir de ruido uniforme "blanco" pdf

x [n]

$x[n]$ (lo que viene de una buena rand()función) así:

y [norte] = X [norte] - X [norte - 1]

$y[n] = x[n] - x[n-1]$ eso es ruido de color (menos espectro a bajas frecuencias), pero no es pdf gaussiano, es pdf triangular

— robert bristow-johnson

Las muestras de ruido coloreado (tomadas en diferentes momentos) generalmente son variables aleatorias correlacionadas porque la función de autocorrelación del proceso de ruido no es una función delta como lo es en el caso del ruido blanco. Por lo tanto, si suponemos un proceso de media cero (generalmente se supone que el ruido es independiente de su color), entonces la covarianza de dos señales separadas en el tiempo por $\tau$ segundos es $R(\tau)$ dónde $R(t) = \mathcal F^{-1}(S(f)$ es la función de autocorrelación del proceso (transformación inversa de Fourier de la densidad espectral de potencia). Tenga en cuenta que es posible para $R(t)$ ser cero para algunos valores de $t$ (p.ej $R(t) = \operatorname{sinc}(t)$ es una función de auto-correlación válida), pero no puede ser cero para todo distinto de cero $t$ .

En cuanto a la función de densidad de cualquier muestra, si el proceso es gaussiano, la muestra es gaussiana incluso si el proceso se ha filtrado con un filtro lineal antes del muestreo. Pero si el proceso no es gaussiano (es, digamos, LaPlacian), entonces, si bien cada muestra será LaPlacian, generalmente no se puede decir lo mismo de las muestras del proceso después del filtrado de ningún tipo. En otras palabras, Gaussianity sobrevive al filtrado lineal, el LaPlacism generalmente no.

Entonces, ¿cómo funciona la estimación de máxima verosimilitud cuando las muestras tienen ruido correlacionado? Considere el caso cuando deseamos estimar la media desconocida de un $\mathcal N(\mu, 1)$ variable aleatoria, y tenemos dos observaciones $x$ y $y$ . En el caso estándar de observaciones independientes, la función de probabilidad es

L (μ) = \frac{1}{2 π} Exp (- \frac{1}{2} [(X - μ)^{2} + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi}\exp\left(-\frac{1}{2}\left[(x-\mu)^2+(y-\mu)^2\right]\right).$ El estimador de máxima verosimilitud para

μ

$\mu$ es el numero

\hat{μ}

$\hat{\mu}$ que maximiza

L (μ)

$L(\mu)$ , que resulta ser el número

\hat{μ}

$\hat{\mu}$ que minimiza

(x - μ)^{2} + (y - μ)^{2}

$(x-\mu)^2+(y-\mu)^2$ . Esta es una cuadrática en

μ

$\mu$ y la estimación de máxima verosimilitud resulta ser

\hat{μ} = \frac{x + y}{2}

$\hat{\mu}=\frac{x+y}{2}$ . Cuando las observaciones están correlacionadas con el coeficiente de correlación

ρ

$\rho$ , entonces

L (μ) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} Exp (- \frac{1}{2 \sqrt{1 - ρ^{2}}} [(X - μ)^{2} - 2 ρ (X - μ) (y - μ) + (y - μ)^{2}]) .

$L(\mu) = \frac{1}{2\pi\sqrt{1-\rho^2}} \exp\left(-\frac{1}{2\sqrt{1-\rho^2}} \left[(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2\right]\right).$ Una vez más necesitamos encontrar el

\hat{μ}

$\hat{\mu}$ dónde

(x - μ)^{2} - 2 ρ (x - μ) (y - μ) + (y - μ)^{2}

$(x-\mu)^2-2\rho(x-\mu)(y-\mu)+(y-\mu)^2$ Tiene un mínimo. Todavía tenemos un cuadrático en

μ

$\mu$ pero ahora tenemos términos como

x y

$xy$ en los coeficientes Qué

\hat{μ}

$\hat{\mu}$ funciona para ser dejado para que usted trabaje.

¿Y si tenemos $n$ observaciones donde $n > 2$ ? Todo lo anterior aún se aplica. Para ruido gaussiano distribuido idénticamente independiente en las muestras, la media muestral $n^{-1}\sum_i x_i$ es la estimación de máxima verosimilitud de $\mu$ pero en el caso de variables aleatorias gaussianas correlacionadas, tenemos problemas de minimización muy desordenados porque la cuadrática que estamos tratando de minimizar depende de la inversa de la matriz de covarianza y el resultado es una función no lineal de los datos en lugar de una simple y fácil de recuerde el resultado como la media de la muestra.

¿Qué pasa si el ruido no es gaussiano? Se aplican los mismos principios: configure la función de probabilidad y encuentre dónde alcanza su valor máximo, pero los cálculos son bastante diferentes, todo lo que depende de lo que asume o sabe es la densidad conjunta de las observaciones.

— Dilip Sarwate
fuente