¿Cuáles son / son los antecedentes implícitos en las estadísticas frecuentistas?


20

He escuchado la noción de que Jaynes afirma que los frecuentistas operan con un "previo implícito".

¿Qué es o son estos antecedentes implícitos? ¿Significa esto que los modelos frecuentistas son todos casos especiales de modelos bayesianos que esperan ser encontrados?


El previo implícito es una distribución degenerada que pone toda la masa de probabilidad en , el parámetro que el frecuentista bayesiano está tratando de estimar. θ
Dilip Sarwate

3
Hasta donde yo sé, no hay un modelo frecuentista o bayesiano, solo hay modelos y diferentes enfoques para ellos.
Andrey Kolyadin el

3
@DilipSarwate: No estoy de acuerdo con esta declaración. El uso de una masa de Dirac como previo no induce procedimientos frecuentas. Y el paradigma bayesiano no permite priors con parámetros desconocidos, excepto cuando se establece otro prior en esos parámetros.
Xi'an

2
Siempre hay un previo pase lo que pase. Desafortunadamente, todos los procedimientos estadísticos requieren un punto de partida ad-hoc que los hace muy arbitrarios. Lo bueno es que se le brindan suficientes datos y la metodología correcta para acercarse a su destino. Lo malo es qué tan lejos terminas del destino depende de dónde comienzas y cuántos datos tienes a mano.
Cagdas Ozgenc

2
@Cagdas Ozgenc: No, siempre hay suposiciones , pero no necesitan tomar la forma de distribuciones previas.
kjetil b halvorsen

Respuestas:


17

En la teoría de decisión frecuentista, existen resultados completos de clase que caracterizan los procedimientos admisibles como procedimientos de Bayes o como límites de los procedimientos de Bayes. Por ejemplo, Stein condición necesaria y suficiente (Stein. 1955; Farrell, 1968b) establece que, bajo los siguientes supuestos

  1. la densidad de muestreo es continua en y estrictamente positiva en ; yf(x|θ)θΘ
  2. la función de pérdida es estrictamente convexa, continua y, si es compacto,LEΘ
    limδ+infθEL(θ,δ)=+.

un estimador es admisible si, y solo si, existeδ

  • una secuencia de conjuntos compactos crecientes de modo que ,Θ = n F n(Fn)Θ=nFn
  • una secuencia de medidas finitas con soporte , yF n(πn)Fn
  • una secuencia de estimadores de Bayes asociados con modo queπ n(δn)πn

    1. existe un conjunto compacto tal queinf n π n ( E 0 ) 1E0Θinfnπn(E0)1
    2. si es compacto,sup n π n ( E ) < + EΘsupnπn(E)<+
    3. limnr(πn,δ)r(πn)=0 y
    4. limnR(θ,δn)=R(θ,δ) .

[reproducido de mi libro, Bayesian Choice , Theorem 8.3.0, p.407]

En este sentido restringido, la propiedad frecuentista de la admisibilidad está dotada de un fondo bayesiano, por lo tanto, asocia un previo (o secuencia) implícito con cada estimador admisible.

Nota al margen: En una triste coincidencia, Charles Stein falleció el 25 de noviembre en Palo Alto, California. Tenía 96 años.

Hay un resultado similar (si está matemáticamente involucrado) para la estimación invariante o equivalente, a saber, que el mejor estimador equivalente es un estimador de Bayes para cada grupo transitivo que actúa sobre un modelo estadístico, asociado con la medida correcta de Haar, , inducida on por este grupo y la pérdida invariante correspondiente. Ver Pitman (1939), Stein (1964) o Zidek (1969) para los detalles involucrados. Esto es muy probablemente lo que Jaynes tenía en mente, ya que argumentó a la fuerza sobre la resolución de las paradojas de la marginación por los principios de invariancia . ΘπΘ

Además, como se detalla en la respuesta civilstat , otra noción frecuentista de optimismo, a saber, la minimaxidad, también está relacionada con los procedimientos bayesianos en el sentido de que el procedimiento minimax que minimiza el error máximo (sobre el espacio del parámetro) es a menudo el procedimiento maximin que maximiza el error mínimo ( sobre todas las distribuciones anteriores), por lo tanto, es un procedimiento Bayes o límite de Bayes.

P .: ¿Hay algo para llevar que pueda usar para transferir mi intuición bayesiana a modelos frecuentistas?

Primero, evitaría usar el término "modelo frecuentista", ya que hay modelos de muestreo (los datos son una realización de para un valor de parámetro )X f ( x | θ ) θ xXf(x|θ)θ y procedimientos frecuentistas (mejor estimador imparcial, mínimo intervalo de confianza de varianza, & tc.)95 95En segundo lugar, no veo una razón metodológica o teórica convincente para considerar los métodos frecuentistas como limítrofes o limitando los métodos bayesianos. La justificación de un procedimiento frecuentista, cuando existe, es satisfacer alguna propiedad de optimización en el espacio de muestreo, es decir, al repetir las observaciones. La justificación principal para los procedimientos bayesianos es ser óptima [bajo un criterio específico o función de pérdida] dada una distribución previa y una realización del modelo de muestreo. A veces, el procedimiento resultante satisface algunas propiedades frecuentistas (la región con un % de credibilidad es una región con un % de confianza)9595 , pero esto es casualidad porque esta optimización no se transfiere a todos los procedimientos asociados con el modelo bayesiano.


1
Muchas gracias. Como novato, ¿hay algo para llevar que pueda usar para transferir mi intuición bayesiana a modelos frecuentistas? es decir (este GLM es similar a x con y anterior, o este lazo es como bayesiano xyz).
Bayesquest

1
Además, ¿le importaría echar un vistazo a mi otra pregunta aquí: stats.stackexchange.com/questions/247850/ ... Sé que ha propuesto algunas soluciones al problema de la fragilidad bayesiana ... pero tengo la sensación de que las soluciones no son sólidas o fácil de manejar para un científico social.
Bayesquest

1
Para el primer comentario, aquí hay algunos ejemplos de lo que estaba hablando: - Redes neuronales y GP - stats.stackexchange.com/questions/71782/… - sumsar.net/blog/2015/04/… - [Un Bayesiano no paramétrico (npB) punto de vista permite la interpretación de los bosques como una muestra de una parte posterior sobre los árboles] ( arxiv.org/pdf/1502.02312.pdf )
Bayesquest

Trabajamos en la inferencia bayesiana aproximada con bosques aleatorios y descubrimos que la variabilidad resultante de esa herramienta no estaba relacionada con la posterior original. Por supuesto, esto no significa que no permita una interpretación bayesiana, pero no obstante ...
Xi'an

12

La respuesta de @ Xi'an es más completa. Pero como también pediste una comida para llevar, aquí tienes una. (Los conceptos que menciono no son exactamente los mismos que los de la admisibilidad establecida anteriormente).

A los frecuentes frecuentemente (pero no siempre) les gusta usar estimadores que son "minimax": si quiero estimar , el riesgo de peor caso de mi estimador debería ser mejor que el riesgo de peor caso de cualquier otro estimador . Resulta que los MLE son a menudo (aproximadamente) minimax. Ver detalles, por ejemplo, aquí o aquí .thetaθθ^

Para encontrar el estimador de minimax para un problema, una forma es pensar en Bayesiano por un momento y encontrar el "menos favorable anterior" . Este es el prior cuyo estimador Bayes tiene un riesgo promedio más alto que el estimador Bayes de cualquier otro prior. Si puede encontrarlo, entonces resulta que el estimador de Bayes de es minimax.πππ

En este sentido, se podría decir con sinceridad: un Frequentista (que usa minimax) es como un Bayesiano que eligió (la estimación puntual basada en) un prior menos favorable.

Tal vez podría estirar esto para decir: un Frecuentista de este tipo es un Bayesiano conservador, que elige no prioritarios subjetivos o incluso prioritarios no informativos, sino (en este sentido específico) los precedentes del peor de los casos.

Finalmente, como han dicho otros, es difícil comparar Frequentistas y Bayesianos de esta manera. Ser un frequentista no implica necesariamente que use un determinado estimador. Simplemente significa que hace preguntas sobre las propiedades de muestreo de su estimador, mientras que estas preguntas no son la máxima prioridad de Bayesian. (Por lo tanto, cualquier Bayesiano que espera buenas propiedades de muestreo, por ejemplo, "Bayes calibrado", también es un Frecuentista).
Incluso si define un Frequentista como uno cuyos estimadores siempre tienen propiedades de muestreo óptimas , hay muchas de esas propiedades y no siempre puede reunirse con todos a la vez. Por lo tanto, es difícil hablar en general sobre "todos los modelos frequentistas".


44
Pensé que un prior implícito para el análisis frecuentista sería un prior uniforme.
Michael R. Chernick el

55
Puede ser, a veces. Se podría pensar en un MLE como la estimación de MAP utilizando un uniforme previo. Pero los MLE no son la única herramienta que usan los frequentistas.
civilstat

Otro concepto relacionado: "anteriores coincidentes" o "previos coincidentes de probabilidad", los previos específicos diseñados para su intervalo creíble coinciden aproximadamente con el intervalo de confianza frecuente para ese parámetro en particular. Nuevamente, estos pueden ser uniformes pero no tienen que serlo. Depende de la elección del parámetro y de qué tan buena quiere que sea la aproximación. Véase por ejemplo utstat.utoronto.ca/reid/research/vaneeden.pdf1 - α1α1α
civilstat
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.