Comparación de la estimación de máxima verosimilitud (MLE) y el teorema de Bayes

12

En el teorema bayesiano, , y del libro que estoy leyendo,se llamaprobabilidad, pero supongo que es solo laprobabilidad condicionaldedado, ¿verdad?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

La estimación de máxima verosimilitud intenta maximizar , ¿verdad? Si es así, estoy muy confundido, porque son variables aleatorias, ¿verdad? Para maximizar es sólo para descubrir la ? Un problema más, si estas 2 variables aleatorias son independientes, entonces es solo , ¿verdad? Entonces maximizando $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ es maximizar . $p(x|y)$ $p(x)$

O tal vez, es una función de algunos parámetros , es decir , y MLE intenta encontrar el que puede maximizar . O incluso que es, en realidad los parámetros del modelo, no variable aleatoria, lo que maximiza la probabilidad es encontrar la ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

ACTUALIZAR

Soy un novato en el aprendizaje automático, y este problema es una confusión de lo que leí en un tutorial de aprendizaje automático. Aquí es, dado un conjunto de datos observado , los valores objetivo son , y trato de ajustar un modelo sobre este conjunto de datos, por lo que supongo que, dado , tiene una forma de distribución llamada parametrizada por , es decir $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ , y supongo que esta es laprobabilidad posterior, ¿verdad? $p(y|x; \theta)$

Ahora para estimar el valor de , uso MLE. OK, aquí viene mi problema, creo que la probabilidad es , ¿verdad? ¿Maximizar la probabilidad significa que debería elegir el correcto y ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Si mi comprensión de la probabilidad es incorrecta, muéstrame el camino correcto.

bayesian maximum-likelihood

— aguacate
fuente

Creo que la confusión es esta: el teorema de Bayes es solo la manipulación de las probabilidades condicionales que da al comienzo de su pregunta. La Estimación Bayesiana hace uso del teorema de Bayes para hacer estimaciones de parámetros. Solo en este último, entran en juego la estimación de máxima verosimilitud (MLE) y el parámetro theta, etc.

— Zhubarb

@Berkan, bueno, en realidad trato de averiguar qué probabilidad hay, dada

.

x, y, θ

$x,y,\theta$

— aguacate

1

Ya veo, le recomendaría que eche un vistazo a este gran conjunto de diapositivas introductorias en la estimación de parámetros.

— Zhubarb

1

Otro gran tema para leer es sobre los Estimadores empíricos de Bayes. Acabamos de enterarnos de

— bdeonovic

16

Creo que el malentendido principal proviene de las preguntas que haces en la primera mitad de tu pregunta. Me acerco a esta respuesta como MLE y paradigmas inferenciales bayesianos contrastantes. Una discusión muy accesible de MLE se puede encontrar en el capítulo 1 de Gary King, Unifying Political Methodology. El análisis de datos bayesianos de Gelman puede proporcionar detalles sobre el lado bayesiano.

En el teorema de Bayes, y del libro que estoy leyendo,se llama probabilidad, pero supongo que es solo la probabilidad condicional dedado, ¿verdad?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

La probabilidad es una probabilidad condicional. Para un Bayesiano, esta fórmula describe la distribución del parámetro datos dados y . Pero como esta notación no refleja su intención, de ahora en adelante ( , ) para los parámetros para sus datos. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Pero su actualización indica que se observan desde alguna distribución . Si colocamos nuestros datos y parámetros en los lugares apropiados en la regla de Bayes, encontramos que estos parámetros adicionales no plantean problemas para los bayesianos: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Creo que esta expresión es lo que buscas en tu actualización.

$p(x,y|\theta)$

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

$x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

$\hat{\theta}$ $\theta$ $\hat{\theta}$

— Sycorax dice reinstalar a Mónica
fuente

1

Gracias por su respuesta, actualizo mi publicación, vea mi actualización.

— aguacate

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

+1 Esta sigue siendo una gran respuesta: espero que la mantenga intacta en gran medida incluso si la modifica para que coincida con los cambios en la pregunta.

— whuber

He actualizado mi respuesta para reflejar su pregunta actualizada. Espero que estos detalles ayuden. Realmente recomiendo consultar las referencias que menciono. Y espero que @whuber todavía lo apruebe. ;-)

— Sycorax dice Reinstate Monica

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

3

$p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

O incluso más explícitamente (con respecto a la noción de probabilidad):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Para un ejemplo concreto, considere el modelo

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— David Marx
fuente

y

$y$

x

$x$

Y suele ser un parámetro en el pdf de X. En una configuración frecuenta, y normalmente es un valor fijo. En un entorno bayesiano, Y es en sí misma una variable aleatoria (como en el ejemplo que di). X | Y también puede ser una probabilidad condicional en el sentido que quieres decir, estaba tratando de darte la motivación detrás de por qué esa cantidad se llama probabilidad.

— David Marx

θ

$\theta$

X

$X$

El hecho de que algo sea una variable aleatoria no significa que no pueda ser un parámetro. Bienvenido al maravilloso mundo de la probabilidad bayesiana :)

— David Marx

0

$p(x|y)$

$p(x|y)$ $x$ $y$

$p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

$p(x|y) = p(x)$ $p(x)$ $y$ $y$

$p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

$\theta$ $y$ $p(x|y;\theta)$ $\theta$

— Palmadita
fuente

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

0

Del manual de referencia de STAN:

Si lo anterior es uniforme, el modo posterior corresponde a la estimación de máxima verosimilitud (MLE) de los parámetros. Si lo anterior no es uniforme, el modo posterior a veces se denomina la estimación máxima a posterior (MAP).

— Neerav
fuente