¿MLE requiere datos de iid? ¿O solo parámetros independientes?

16

La estimación de parámetros usando la estimación de máxima verosimilitud (MLE) implica evaluar la función de verosimilitud, que mapea la probabilidad de que la muestra (X) ocurra con los valores (x) en el espacio de parámetros (θ) dada una familia de distribución (P (X = x | θ ) sobre los posibles valores de θ (nota: ¿estoy en lo cierto?) Todos los ejemplos que he visto implican calcular P (X = x | θ) tomando el producto de F (X) donde F es la distribución con el local El valor para θ y X es la muestra (un vector).

Dado que solo estamos multiplicando los datos, ¿se sigue que los datos sean independientes? Por ejemplo, ¿no podríamos usar MLE para ajustar datos de series temporales? ¿O los parámetros solo tienen que ser independientes?

maximum-likelihood

— Felix
fuente

14

La función de probabilidad se define como la probabilidad de un evento (conjunto de datos ) como una función de los parámetros del modelo $E$ ${\bf x}$ $\theta$

L (θ; x) \propto P (Event E; θ) = P (observing x; θ) .

${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$

Por lo tanto, no se asume la independencia de las observaciones. En el enfoque clásico no existe una definición para la independencia de los parámetros, ya que no son variables aleatorias; Algunos conceptos relacionados pueden ser identificabilidad , ortogonalidad de parámetros e independencia de los estimadores de máxima verosimilitud (que son variables aleatorias).

Algunos ejemplos,

(1) Caso discreto . es una muestra de observaciones discretas (independientes) con , luego ${\bf x}=(x_1,...,x_n)$ ${\mathbb P}(\text{observing } x_j ; \theta)>0$

L (θ; x) \propto \prod_{j = 1}^{n} P (observing x_{j}; θ) .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$

Particularmente, si , con conocido, tenemos que $x_j\sim \text{Binomial}(N,\theta)$ $N$

L (θ; x) \propto \prod_{j = 1}^{n} θ^{x_{j}} (1 - θ)^{N - x_{j}} .

${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$

(2) Aproximación continua . Sea una muestra de una variable aleatoria continua , con distribución y densidad , con error de medición , es decir, observa los conjuntos . Luego ${\bf x}=(x_1,...,x_n)$ $X$ $F$ $f$ $\epsilon$ $(x_j-\epsilon,x_j+\epsilon)$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} P [observing (x_{j} - ϵ, x_{j} + ϵ); θ] = \prod_{j = 1}^{n} [F (x_{j} + ϵ; θ) - F (x_{j} - ϵ; θ)] \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$

Cuando es pequeño, se puede aproximar (usando el Teorema del valor medio) por $\epsilon$

\begin{array}{rcl} L (θ; x) \propto \prod_{j = 1}^{n} f (x_{j}; θ) \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$

Para un ejemplo con el caso normal, eche un vistazo a esto .

(3) Dependiente y modelo de Markov . Suponga que es un conjunto de observaciones posiblemente dependientes y que sea la densidad conjunta de , entonces ${\bf x}=(x_1,...,x_n)$ $f$ ${\bf x}$

\begin{array}{rcl} L (θ; x) \propto f (x; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$

Si además se satisface la propiedad de Markov , entonces

\begin{array}{rcl} L (θ; x) \propto f (x; θ) = f (x_{1}; θ) \prod_{j = 1}^{n - 1} f (x_{j + 1} | x_{j}; θ) . \end{array}

$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$

Mira también esto .

— Comunidad
fuente

3

Desde el momento en que escribe la función de probabilidad como producto, asume implícitamente una estructura de dependencia entre las observaciones. Entonces, para MLE, se necesitan dos supuestos (a) uno sobre la distribución de cada resultado individual y (b) uno sobre la dependencia entre los resultados.

10

(+1) Muy buena pregunta.

Una cosa menor, MLE significa estimación de máxima probabilidad (no múltiple), lo que significa que solo maximizas la probabilidad. Esto no especifica que la probabilidad tiene que ser producida por el muestreo IID.

Si la dependencia del muestreo puede escribirse en el modelo estadístico, simplemente escriba la probabilidad en consecuencia y maximícela como de costumbre.

El único caso que vale la pena mencionar cuando no se asume la dependencia es el del muestreo gaussiano multivariado (en el análisis de series de tiempo, por ejemplo). La dependencia entre dos variables gaussianas puede ser modelada por su término de covarianza, que usted incorpora en la probabilidad.

Para dar un ejemplo simplista, suponga que extrae una muestra de tamaño partir de variables gaussianas correlacionadas con la misma media y varianza. Escribirías la probabilidad como $2$

\frac{1}{2 π σ^{2} \sqrt{1 - ρ^{2}}} \exp (- \frac{z}{2 σ^{2} (1 - ρ^{2})}),

$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$

donde es $z$

z = (x_{1} - μ)^{2} - 2 ρ (x_{1} - μ) (x_{2} - μ) + (x_{2} - μ)^{2} .

$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$

Este no es el producto de las probabilidades individuales. Aún así, maximizaría esto con parámetros para obtener su MLE. $(\mu, \sigma, \rho)$

— gui11aume
fuente

2

Estas son buenas respuestas y ejemplos. Lo único que agregaría para ver esto en términos simples es que la estimación de probabilidad solo requiere que un modelo para la generación de datos se especifique en términos de algunos parámetros desconocidos que se describan en forma funcional.

— Michael R. Chernick

(+1) ¡Absolutamente cierto! ¿Tiene un ejemplo de modelo que no se puede especificar en esos términos?

— gui11aume

@ gu11aume Creo que te refieres a mi comentario. Diría que no estaba dando una respuesta directa a la pregunta. La respuesta a la pregunta es sí porque hay ejemplos que se pueden mostrar en los que la función de probabilidad se puede expresar cuando los datos son generados por variables aleatorias dependientes.

— Michael R. Chernick

2

Los ejemplos en los que esto no se puede hacer serían donde los datos se proporcionan sin una descripción del mecanismo de generación de datos o el modelo no se presenta en forma paramétrica, como cuando se le dan dos conjuntos de datos iid y se le pide que pruebe si provienen de la misma distribución donde solo especifica que las distribuciones son absolutamente continuas.

— Michael R. Chernick

4

Por supuesto, los modelos ARMA gaussianos poseen una probabilidad, ya que su función de covarianza se puede derivar explícitamente. Esto es básicamente una extensión de la respuesta de gui11ame a más de 2 observaciones. Google mínimo produce documentos como este donde la probabilidad se da en forma general.

Otra clase, hasta cierto punto, más intrigante de ejemplos es la que ofrecen los modelos de efectos aleatorios multinivel . Si tiene datos de la forma donde los índices están anidados en (piense en los estudiantes en las aulas , por ejemplo, para una aplicación clásica de modelos multinivel) , entonces, suponiendo , la probabilidad es

y_{i j} = x_{i j}^{'} β + u_{i} + ϵ_{i j},

$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$

j

$j$

i

$i$

j

$j$

i

$i$

ϵ_{i j} ⊥ u_{i}

$\epsilon_{ij} \perp u_i$

y es una suma sobre las contribuciones de probabilidad definidas a nivel de grupos, no observaciones individuales. (Por supuesto, en el caso gaussiano, puede impulsar las integrales para producir una solución analítica similar a ANOVA. Sin embargo, si ha dicho un modelo logit para su respuesta

, entonces no hay forma de salir de la integración numérica. )

\ln L \sim \sum_{i} \ln \int \prod_{j} f (y_{i j} | β, u_{i}) d F (u_{i})

$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$

y_{i j}

$y_{ij}$

— StasK
fuente

2

Stask y @ gui11aume, estas tres respuestas son buenas, pero creo que pierden un punto: ¿qué pasa con la consistencia del MLE para los datos dependientes?

— Stéphane Laurent