¿Cuál es mejor probabilidad máxima o probabilidad marginal y por qué?

Al realizar la regresión, si vamos por la definición de: ¿Cuál es la diferencia entre una probabilidad parcial, probabilidad de perfil y probabilidad marginal?

eso, máxima verosimilitud
Encuentra β y θ que maximiza L (β, θ | datos).

Mientras, probabilidad marginal Integramos
θ a partir de la ecuación de probabilidad explotando el hecho de que podemos identificar la distribución de probabilidad de θ condicional en β.

¿Cuál es la mejor metodología para maximizar y por qué?

regression maximum-likelihood

— Ankit Chiplunkar
fuente

Respuestas:

Cada uno de estos dará resultados diferentes con una interpretación diferente. El primero encuentra el par , que es más probable, mientras que el segundo encuentra el que es (marginalmente) más probable. Imagine que su distribución se ve así: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Entonces la respuesta de probabilidad máxima es ( ), mientras que la respuesta de probabilidad marginal máxima es (ya que, marginando sobre , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Yo diría que, en general, la probabilidad marginal es a menudo lo que desea: si realmente no le importan los valores de los parámetros , entonces debería colapsar sobre ellos. Pero, probablemente, en la práctica, estos métodos no arrojarán resultados muy diferentes; si lo hacen, puede indicar cierta inestabilidad subyacente en su solución, por ejemplo, modos múltiples con diferentes combinaciones de , que dan predicciones similares. $\theta$ $\beta$ $\theta$

— Chris
fuente

Encontré resultados diferentes para los métodos de probabilidad máxima / marginal y de ahí la pregunta. Diría que los dos resultados en mi caso dan interpretaciones diferentes pero posibles resultados.

— Ankit Chiplunkar

Estoy lidiando con esta pregunta yo mismo en este momento. Aquí hay un resultado que puede ser útil. Considere el modelo lineal.

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

donde y y son los parámetros de interés. La probabilidad conjunta es $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Optimizar los rendimientos de probabilidad conjunta

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

donde es la pseudoinverse de y es el vector residual en forma. Nótese que en tenemos en lugar de los grados de libertad familiares corregidos relación de $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$ . Se sabe que este estimador está sesgado en el caso de muestras finitas.

Ahora supongamos que en lugar de optimizar tanto como , integramos out y estimamos partir de la probabilidad integrada resultante: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Usando álgebra lineal elemental y la fórmula integral gaussiana, puede mostrar que

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Esto tiene la corrección de grados de libertad que lo hace imparcial y generalmente favorecido sobre la estimación conjunta de LD.

A partir de este resultado, uno podría preguntarse si hay algo inherentemente ventajoso sobre la probabilidad integrada, pero no conozco ningún resultado general que responda a esa pregunta. El consenso parece ser que el LD integrado es mejor para dar cuenta de la incertidumbre en la mayoría de los problemas de estimación. En particular, si está estimando una cantidad que depende de otras estimaciones de parámetros (incluso implícitamente), la integración sobre los otros parámetros explicará mejor sus incertidumbres.

— Pablo
fuente

β

$\beta$

@whuber I share your concerns and don't have a ready answer, but note that the likelihood being marginalized is just a posterior with a uniform improper prior on

β

$\beta$ , so I think this is related to the "objective Bayesian" approach. There one does not care when a parameter like

β

$\beta$ has an improper prior distribution, so long as the posterior is integrable.

— Paul

Actually, based on this post and comments therein, I think integrated ML, not marginal ML, is the right term for what we're doing here. Edited accordingly.

— Paul

+1 I know i'm pretty late to this party but isn't integrating out fixed effects by putting an improper uniform prior on them exactly what REML does, so you've actually just obtained the REML estimate and this df correction is exactly the reason here that REML is better for smaller samples?

— jld

@Chaconne yes, this post was motivated by trying to understand REML! I have (almost) no formal statistics education, so deriving this was all new to me.

— Paul

This is usually not a matter of choice. If we are interested in the estimation of $\beta$ (e.g. when $\beta$ is a model hyperparameter and $\theta$ is a latent variable) and there is not a single value for $\theta$ and instead the distribution of $\theta$ in known, we need to integrate out $\theta$ . You can think of marginal likelihood as the weighted average of the likelihood for different values of $\theta_i$ weighted by their probability density $p(\theta_i)$ . Now that $\theta$ has disappeared, using training samples as $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

— Seeda
fuente