¿Un estimador de Bayes requiere que el parámetro verdadero sea una posible variante del anterior?


9

Esto podría ser un poco de una cuestión filosófica, pero aquí vamos: En teoría de la decisión, el riesgo de un estimador de Bayes θ ( x ) para θ Θ se define con respecto a una distribución a priori π en Θ .θ^(x)θΘπΘ

Ahora, por un lado, para que el verdadero haya generado los datos (es decir, "existe"), θ debe ser una posible variante bajo π , por ejemplo, tener probabilidad no nula, densidad no nula, etc .; por otro lado, θ no se conoce, de ahí la elección de un previo, por lo que no tenemos garantía de que el verdadero θ sea ​​una variante posible bajo el π que elegimos.θθπθθπ

Ahora, me parece que de alguna manera tenemos que seleccionar modo que θ sea ​​una posible variante. De lo contrario, ciertos teoremas no serían válidos. Por ejemplo, la estimación minimax no sería una estimación de Bayes para un prior menos favorable, ya que podríamos hacer que ese prior sea arbitrariamente malo excluyendo una gran región alrededor e incluyendo θ de su dominio. Sin embargo, garantizar que θ está realmente en el dominio puede ser difícil de lograr.πθθθ

Entonces mis preguntas son:

  1. ¿Se supone generalmente que el real es una posible variante de π ?θπ
  2. ¿Se puede garantizar esto?
  3. ¿Pueden los casos que violan esto al menos ser detectados de alguna manera, por lo que uno no confía en teoremas como minimax cuando las condiciones no se cumplen?
  4. Si no es necesario, ¿por qué los resultados estándar en la teoría de la decisión son válidos?

Respuestas:


6

Muy buena pregunta! De hecho, tendría sentido que una distribución previa "buena" proporcione probabilidad positiva o valor de densidad positiva al parámetro "verdadero" , pero desde una perspectiva puramente decisiva este no tiene que ser el caso. Un simple contraejemplo a esta "intuición" de que π ( θ 0 ) > 0 debería ser necesario, cuando π ( ) es la densidad anterior y θ 0 es el valor "verdadero" del parámetro, es el resultado de minimaxidad brillante de Casella y Strawderman (1981): al estimar una media normal μ basada en una sola observación xθ0

π(θ0)>0
π()θ0μ con la restricción adicional de que | μ | < ρ , si ρ es lo suficientemente pequeño, ρ 1.0567 específicamente, el estimador minimax corresponde a un uniforme (menos favorable) anterior en { - ρ , ρ } , lo que significa que π da el mismo peso a - ρ y ρ (y ninguno a ninguno otro valor de la media μ ) π ( θ ) = 1xN(μ,1)|μ|<ρρρ1.0567{ρ,ρ}πρρμ Cuandoρaumenta, el anterior menos favorable ve crecer su soporte, pero sigue siendo un conjunto finito de valores posibles. Sin embargo, la expectativa posterior,E[μ| x], puede tomar cualquier valor en(-ρ,ρ).
π(θ)=12δρ(θ)+12δρ(θ)
ρE[μ|x](ρ,ρ)

El núcleo de la discusión (ver comentarios) puede ser que, si el estimador de Bayes se limitara a ser un punto en el soporte de , sus propiedades serían bastante diferentes.π()

Del mismo modo, cuando se consideran estimadores admisibles, los estimadores Bayes asociados con un previo adecuado en un conjunto compacto generalmente son admisibles, aunque tienen un soporte restringido.

ΘL(θ,δ)π(θ|x)dθ
XΘL(θ,δ)π(θ)f(x|θ)dθdx
θ0

θ^π(x)=Θθπ(θ|x)dθ
L2π

Como un aparte, al leer

para que el verdadero θ haya generado los datos (es decir, "existe"), θ debe ser una posible variante bajo π, por ejemplo, tener probabilidad distinta de cero, densidad distinta de cero

θ0πxf(x|θ0)πAAθ^π


μ[0,+)μ

1
Por lo general, cf Berger (1985), un previo menos favorable corresponde al riesgo minimax.
Xi'an

1
θπ(θ)Θ=[m,m]Θ

1
El riesgo integrado no involucra el parámetro "verdadero" en ninguna etapa. Entonces, en este sentido, no importa.
Xi'an

1
Entonces, en cierto sentido, el riesgo captura la pérdida que esperamos, no la que realmente experimentamos. Esto ha sido tremendamente útil, ¡muchas gracias!
user32849

8
  1. θ

  2. (,)[0,1](0,)

  3. Si su parte posterior está "apilada" en un borde del dominio del anterior, y su anterior impone una restricción innecesaria en el dominio en ese mismo borde, este es un indicador ad-hoc de que la restricción innecesaria puede estar causándole problemas. Pero esto solo debería ocurrir si a) ha construido un prior cuya forma se basa principalmente en la conveniencia en lugar del conocimiento previo real, yb) la forma inducida por la conveniencia del prior restringe el dominio del parámetro a un subconjunto de lo que es " "dominio natural" puede considerarse como.

Un ejemplo de esto es una práctica antigua, con suerte obsoleta, de delimitar lo anterior en un término de variación ligeramente alejado de cero para evitar posibles dificultades computacionales. Si el valor verdadero de la varianza está entre el límite y el cero, bueno ... pero en realidad pensar en los valores potenciales de la varianza dados los datos, o (por ejemplo) poner el previo en el registro de la varianza, permitirá para evitar este problema, y ​​una inteligencia leve similar debería permitirle evitar las limitaciones previas de dominio en general.

  1. Respondido por el n. ° 1.

2
En caso de que quien rechace la respuesta regrese, ¿por qué "no es útil"?
jbowman

3

θ

θ

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.