¿Cómo se relaciona la Suficiencia Bayesiana con la Suficiencia Frequentista?

9

La definición más simple de estadísticas suficientes en la perspectiva frecuentista se da aquí en Wikipedia . Sin embargo, recientemente me encontré con un libro bayesiano, con la definición . En el enlace se afirma que ambos son equivalentes, pero no veo cómo. Además, en esa misma página, en la sección «Otros tipos de suficiencia» se afirma que ambas definiciones no son equivalentes en espacios de dimensiones infinitas ... $P(\theta|x,t)=P(\theta|t)$

Además, ¿cómo se relaciona la suficiencia predictiva con la suficiencia clásica?

bayesian mathematical-statistics sufficient-statistics

— Un anciano en el mar.
fuente

4

Si una estadística es suficiente en la forma frecuentista, entonces , entonces $T$ $p(\mathbf{x} \mid \theta, t) = p(\mathbf{x} \mid t)$

\begin{aligned} p (θ ∣ x, t) & = \frac{p (x ∣ t, θ) p (t ∣ θ) p (θ)}{p (x ∣ t) p (t)} \\ (freq. suff.) & = \frac{p (t ∣ θ) p (θ)}{p (t)} \\ = p (θ ∣ t) . \end{aligned}

$\begin{align*} p(\theta \mid \mathbf{x}, t) &= \frac{p(\mathbf{x}\mid t,\theta)p(t \mid \theta) p(\theta)}{p(\mathbf{x}\mid t)p(t)} \\ &= \frac{p(t \mid \theta) p(\theta)}{p(t)} \tag{freq. suff.}\\ &= p(\theta \mid t). \end{align*}$

Por otro lado, si es suficiente en la forma bayesiana, entonces $T$

\begin{aligned} p (x ∣ θ, t) & = \frac{p (x, θ, t)}{p (θ, t)} \\ = \frac{p (θ ∣ x, t) p (x, t)}{p (θ ∣ t) p (t)} \\ (Bayesian suff.) & = \frac{p (x, t)}{p (t)} \\ = p (x ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x} \mid \theta, t) &= \frac{p(\mathbf{x}, \theta,t)}{p(\theta,t)}\\ &= \frac{p(\theta \mid \mathbf{x},t) p(\mathbf{x},t)}{p(\theta\mid t)p(t)}\\ &= \frac{p(\mathbf{x},t)}{p(t)} \tag{Bayesian suff.}\\ &= p(\mathbf{x} \mid t). \end{align*}$

Con respecto a la "suficiencia predictiva", ¿qué es eso?

Editar: Si tiene suficiencia bayesiana, tiene suficiencia predictiva:

\begin{aligned} p (x^{'} ∣ x) & = \int p (x^{'} ∣ θ) p (θ ∣ x) d θ \\ (Bayesian suff.) & = \int p (x^{'} ∣ θ) p (θ ∣ t) d θ \\ = p (x^{'} ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x}' \mid \mathbf{x}) &= \int p(\mathbf{x}' \mid \theta)p(\theta \mid \mathbf{x}) d\theta\\ &= \int p(\mathbf{x}' \mid \theta) p(\theta \mid t)d\theta \tag{Bayesian suff.}\\ &= p(\mathbf{x}' \mid t). \end{align*}$

— Taylor
fuente

1

Taylor, se define en el mismo enlace, justo debajo de la sección de Suficiencia Bayesiana.

— Un viejo en el mar.

3

Nos encontramos con un fenómeno interesante hace unos años , cuando investigábamos la elección del modelo bayesiano con ABC. Lo cual creo que está relacionado con esta pregunta. De hecho, existe una noción de suficiencia para la elección del modelo bayesiano que no parece particularmente significativa fuera del enfoque bayesiano.

Dados dos modelos y y una muestra de uno de estos dos modelos, una estadística es suficiente para la elección del modelo o a través del modelo si la distribución de condicional en no depende del índice del modelo (1 o 2) ni del valor del parámetro dentro del modelo.

M_{1} = {f_{θ} (\cdot); θ \in Θ}

$\mathfrak{M}_1=\{f_\theta(\cdot); \theta\in\Theta\}$

M_{2} = {g_{ξ} (\cdot); ξ \in Ξ}

$\mathfrak{M}_2=\{g_\xi(\cdot); \xi\in\Xi\}$

x = (x_{1}, \dots, x_{n})

$\mathbf{x}=(x_1,\ldots,x_n)$

S

$S$

X

$\mathbf{X}$

S (X)

$S(\mathbf{X})$

Cuando existen estadísticas tan suficientes, un factor de Bayes basado en es el mismo que un factor de Bayes basado en . Si bien esta es una definición que no es bayesiana per se, no veo ninguna aplicación directa fuera de la elección del modelo bayesiano. $\mathbf{X}$ $S(\mathbf{X})$

— Xi'an
fuente