¿Puede una probabilidad adecuada anterior y exponencial conducir a una posterior incorrecta?

(Esta pregunta está inspirada en este comentario de Xi'an ).

Es bien sabido que si la distribución anterior es adecuada y la probabilidad está bien definida, entonces la distribución posterior es apropiado casi con seguridad. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

En algunos casos, utilizamos en cambio una probabilidad moderada o exponencial, que conduce a un pseudo-posterior

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ para algunos (por ejemplo, esto puede tener ventajas computacionales).

α > 0

$\alpha>0$

En este contexto, ¿es posible tener un pseudo-posterior adecuado pero incorrecto?

bayesian prior posterior

— Robin Ryder
fuente

De hecho, unos minutos más tarde, consideraría poco probable, ya que la divergencia del producto de probabilidad x anterior se reduce al considerar el producto de probabilidad x anterior ^ α ... ¡Cualquier tern que vaya al infinito irá allí más lentamente! Y los términos que van a cero más lentamente están controlados por el previo adecuado. Mi apuesta es que esto es imposible. (advertencia: ¡se sabe que estoy equivocado!)

— Xi'an

Posiblemente útil para buscar un contraejemplo cuando : la desigualdad de Markov nos dice que Entonces, si puede encontrar un caso en el que tenga colas polinomiales, entonces posiblemente pueda construir un pseudo-posterior incorrecto.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— πr8

¿Funcionaría este argumento también para ? Además, ¿hay alguna manera de demostrar que una probabilidad construida de esta manera sería adecuada?

α < 1

$\alpha < 1$

— InfProbSciX

En realidad, para , ya que sabemos que , el supremum en el RHS siempre es finito, y para , uno usa su argumento Jensen para hacer la misma deducción. Entonces el argumento falla a ese respecto. Una pequeña observación de que este argumento requiere una probabilidad ilimitada para tener éxito, es decir, para todo .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

Es cierto que para , no puedes construir uno, ¡buen punto! Debo decir que me fascinaría ver un ejemplo de una probabilidad ilimitada. Quizás una beta posterior sería el resultado de una probabilidad ilimitada.

α = 1

$\alpha = 1$

— InfProbSciX

Respuestas:

Para , ¿tal vez este es un argumento para demostrar que es imposible construir tal posterior? $\alpha \leq 1$

Nos gustaría saber si es posible para . $\int \tilde \pi(\theta|x)d\theta = \infty$

En el RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Si , es una función cóncava, por la desigualdad de Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... donde como Xi'an señaló, es la constante de normalización (la evidencia). $m(x)$

— InfProbSciX
fuente

Genial, gracias. Me gusta que estés usando el hecho de que para lo posterior es apropiado.

α = 1

$\alpha=1$

— Robin Ryder

Es posible usar el resultado en la respuesta de @ InfProbSciX para probar el resultado en general. Reescribe como Si , tenemos el caso de desigualdad de Jensen anterior, ya que sabemos que es normalizable. Del mismo modo, si , podemos escribir con , cayendo nuevamente en el mismo caso, ya que sabemos que es normalizable. Ahora se puede usar la inducción (fuerte) para mostrar el caso en general. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Comentarios antiguos

No estoy seguro de si esto es súper útil, pero como no puedo comentar, dejaré esto en una respuesta. Además del excelente comentario de @ InfProbSciX acerca de , si uno asume que , entonces es imposible tener un pseudo-posterior adecuado pero incorrecto para . Por ejemplo, si sabemos que existe el segundo momento ( -ésimo) de , sabemos que está en ( ) y, por lo tanto, el pseudo-posterior será apropiado para . Sección 1 en estas notas $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ entra un poco más en detalles, pero desafortunadamente no está claro qué tan amplia es la clase de, digamos, pdfs. Pido disculpas si estoy hablando fuera de turno aquí, realmente quería dejar esto como un comentario. $L^{10}$

— Luiz Max Carvalho
fuente

Tienes razón, si la función de probabilidad está dentro del espacio , es decir, el espacio la medida inducida por el anterior, entonces el posterior será apropiado para . Estoy completamente adivinando aquí, pero creo que el espacio abarcaría la mayoría de las posibilidades en las que podemos pensar: creo que podría haber leído una prueba hace mucho tiempo que dice que si es Riemann integrable, entonces sus poderes positivos también lo son. embargo es integrable. Teorema 1.26 para referencia

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, creo que podría haber una prueba completa al acecho en las sombras aquí. De su respuesta deduzco que puede ser negativo. Si eso es correcto, entonces podemos mostrar que para cualquier la pseudo-verosimilitud será integrable porque los recíprocos de las funciones integrables son integrables. Y si la probabilidad es integrable, sostengo que lo posterior será integrable porque lo anterior está limitado, y el producto de una función integrable y limitada es integrable ( math.stackexchange.com/a/56008/271610 ). Déjame saber lo que piensas.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

Creo que puede ignorar el caso donde , ya que la pregunta asume explícitamente lo contrario. Es necesario mostrar la integrabilidad de para cualquier caso general. Además, no estoy seguro de si lo anterior siempre está limitado, por ejemplo, la densidad de un no lo estaría.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, lo que quise decir es que incluso si no está en la pregunta, si su prueba también es válida para esa condición, entonces podríamos mostrar integrabilidad para al aprovechar el hecho de que si es integrable, entonces es . Como usted dice, todo eso es nulo si lo anterior no tiene límites. Podemos tratar de limitar la probabilidad en su lugar y me parece que cualquier probabilidad que uno usaría en MLE tendría que estar delimitada o fuertemente cóncava ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), las cuales se pueden usar para Construir una prueba general. ¿Alguna idea?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

Lo siento, me perdí eso, sí, ¡parece que sería un intento interesante!

— InfProbSciX