Constante de normalización en el teorema de Bayes

15

$\Pr(\textrm{data})$

Pr (parameters ∣ data) = \frac{Pr (data ∣ parameters) Pr (parameters)}{Pr (data)}

$\Pr(\text{parameters} \mid \text{data}) = \frac{\Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\text{parameters})}{\Pr(\text{data})}$

se llama una constante de normalización . ¿Qué es exactamente? ¿Cual es su propósito? ¿Por qué se ve como ? ¿Por qué no depende de los parámetros? $\Pr(data)$

probability bayesian

— aficionado
fuente

44

Cuando integra

, se está integrando sobre los parámetros y, por lo tanto, el resultado no tiene un término que dependa de los parámetros, de la misma manera que

f (data | params) f (params)

$f(\text{data}|\text{params})f(\text{params})$

no depende de

.

\int_{x = 0}^{x = 2} x y d x = 2 y

$\int_{x=0}^{x=2}xy\;dx = 2y$

x

$x$

— Henry

16

El denominador, , se obtiene integrando los parámetros de la probabilidad de unión, . Esta es la probabilidad marginal de los datos y, por supuesto, no depende de los parámetros ya que estos se han integrado. $\Pr(\textrm{data})$ $\Pr(\textrm{data}, \textrm{parameters})$

Ahora, desde:

no depende de los parámetros para los que se quiere hacer inferencia; $\Pr(\textrm{data})$
es generalmente difícil de calcular en forma cerrada; $\Pr(\textrm{data})$

a menudo se usa la siguiente adaptación de la fórmula de Baye:

$\Pr(\textrm{parameters} \mid \textrm{data}) \propto \Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\textrm{parameters})$

Básicamente, no es más que una "constante de normalización", es decir, una constante que hace que la densidad posterior se integre a una . $\Pr(\textrm{data})$

— ocram
fuente

2

¿Qué quiere decir exactamente con " integrando los parámetros"? ¿Cuál es el significado preciso de "integrarse" en este contexto?

— nbro

2

@nbro: Me refiero a Pr (datos) = integral sobre los parámetros de Pr (datos, parámetros)

— ocram

2

Al aplicar la regla de Bayes, generalmente deseamos inferir los "parámetros" y los "datos" ya están dados. Por lo tanto, es una constante y podemos suponer que es solo un factor de normalización. $\Pr(\textrm{data})$

— Duro
fuente