¿Por qué el teorema de Rao-Blackwell requiere ?

El teorema de Rao-Blackwell afirma

Sea un estimador de con para todos . Suponga que es suficiente para , y deje que Entonces para todos , La desigualdad es estricta a menos que sea una función de $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Si entiendo este teorema correctamente, esto indica que, si tengo una estadística suficiente $T$ para $\theta$ , entonces el valor condicional esperado de $\hat{\theta}$ dado $T$ es la solución a $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Mis preguntas

¿Estoy en lo cierto que $\theta^*$ minimiza $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
¿Por qué el teorema de Rao-Blackwell requiere $\Bbb E(\hat{\theta}^2) < \infty$ ?
¿Por qué es estricta la desigualdad a menos que $\hat{\theta}$ sea una función de $T$ ?

rao-blackwell

— Stan Shunpike
fuente

Posible duplicado de la justificación intuitiva y formulada para el teorema de Rao-Blackwell

— Xi'an

¿Qué se requiere para encontrar ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike

Respuestas:

No, es un mejor estimador que pero no necesariamente el mejor (¡lo que sea que eso signifique!) $\theta^*$ $\hat\theta$
Si el estimador no tiene variación, entonces su riesgo es infinito y no hay garantía de que tenga un riesgo finito (a pesar de que esto puede suceder como lo señala Horst Grünbusch en sus comentarios). $\theta^*$
Bajo la varianza finita para , la desigualdad es estricta debido a la descomposición de la varianza como la suma de la varianza condicional esperada más la varianza de la expectativa condicional A menos que la varianza condicional esperada sea cero, lo que equivale a en función de solamente. $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Xi'an
fuente

ad 2: ¿Por qué es imposible que ? Considere como estimador de , donde y un rv distribuido Cauchy no relacionado.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch

@ HorstGrünbusch ¿Por qué la pieza de Cauchy desaparecería cuando condicionaras ? Además, no es un estimador imparcial.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch Me parece que su ni siquiera tiene una expectativa condicional (ya que no tiene una expectativa), por lo tanto, no estaría definido.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

Bien, todo lo que quería era sin varianza, no sin expectativas. ;) Ahora tome , es decir Student-t-distribuido con 2 grados de libertad y y independiente de . Estadístico suficiente es claramente . Entonces , pero

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

Así que creo que está mal que un estimador Rao-Blackwell tenga necesariamente una varianza infinita si el estimador original tiene una varianza infinita. (Sin embargo, incluso si ambas variaciones fueran necesariamente infinitas aún se mantendrían).

\infty \leq \infty

$\infty \leq \infty$

— Horst Grünbusch

Tenga en cuenta que ser una estadística suficiente no es única. Trivialmente, todos los datos son suficientes, pero condicionar un estimador sobre ellos no cambia nada. Por lo tanto, una estadística suficiente por sí sola no es suficiente (¡juego de palabras!) Para tener un error cuadrático medio mínimo. Vea el teorema de Lehmann-Scheffé, que usa el teorema de Rao-Blackwell en la demostración, para una suficiencia suficiente (de hecho, es suficiente y completa).
Si ambos son infinitos, la desigualdad débil siempre es cierta. Pero luego, como contraejemplo, puede construir una estadística suficiente que no sea una función de pero que tenga una varianza infinita (de modo que solo se mantenga ). $T$ $\leq$

Tomemos, por ejemplo, , una variable aleatoria t_2 con y , y como otra variable aleatoria independiente . El parámetro a estimar es . El estimador original es . Una estadística suficiente es, por supuesto, . Tanto el estimador Rao-Blackwell como tienen una varianza infinita. Entonces la desigualdad se mantendría débilmente. Por otro lado, no es una mera función de $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Implica la otra variable aleatoria, por lo que sería una contradicción con la última oración sobre la que hizo su tercera pregunta. De hecho, algunos libros de texto admiten una varianza infinita para el estimador original, pero a su vez no pueden indicar cuándo mantiene. $<$

Si es una función de , puede probar con el teorema de factorización que ya es suficiente para . Así que nuevamente terminamos sin mejorar nada. Aparte de este caso, la desigualdad es estricta, y esa es la afirmación no trivial del teorema. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Horst Grünbusch
fuente