¿Calcular "probabilidad de cobertura real" es lo mismo que calcular un "intervalo creíble"?

9

Estaba leyendo un libro de texto de estadísticas de nivel de entrada. En el capítulo sobre la estimación de máxima verosimilitud de la proporción de éxito en datos con distribución binomial, dio una fórmula para calcular un intervalo de confianza y luego mencionó con indiferencia

Considere su probabilidad de cobertura real, es decir, la probabilidad de que el método produzca un intervalo que capture el valor del parámetro verdadero. Esto puede ser bastante menor que el valor nominal.

Y continúa con una sugerencia para construir un "intervalo de confianza" alternativo, que presumiblemente contiene la probabilidad de cobertura real.

Me encontré con la idea de la probabilidad de cobertura nominal y real por primera vez. Al abrirme paso a través de viejas preguntas aquí, creo que lo entendí: hay dos conceptos diferentes que llamamos probabilidad, el primero es qué tan probable es que un evento que aún no ha sucedido producirá un resultado dado, y el segundo es cuán probable es que la suposición de un agente de observación sobre el resultado de un evento ya sucedido sea cierta. También parecía que los intervalos de confianza solo miden el primer tipo de probabilidad, y que algo llamado "intervalos creíbles" mide el segundo tipo de probabilidad. Supuse sumariamente que los intervalos de confianza son los que calculan la "probabilidad de cobertura nominal" y los intervalos creíbles son los que cubren la "probabilidad de cobertura real".

Pero tal vez he malinterpretado el libro (no está del todo claro si los diferentes métodos de cálculo que ofrece son para un intervalo de confianza y un intervalo creíble, o para dos tipos diferentes de intervalo de confianza), o las otras fuentes a las que solía llegar Mi comprensión actual. Especialmente un comentario que recibí sobre otra pregunta,

Intervalos de confianza para frecuentistas, creíbles para bayesianos

me hizo dudar de mis conclusiones, ya que el libro no describía un método bayesiano en ese capítulo.

Por lo tanto, aclare si mi comprensión es correcta o si he cometido un error lógico en el camino.

confidence-interval terminology coverage-probability

— rumtscho
fuente

La probabilidad de cobertura nominal es la probabilidad de cobertura "objetivo": la que intentamos alcanzar cuando derivamos un método que proporciona un intervalo de confianza. La cobertura real es la cobertura "verdadera". Algunas personas dicen que el intervalo de confianza es exacto cuando la cobertura real es igual a la cobertura nominal. Scotchi y Unwisdom han mencionado que el intervalo de confianza nunca es exacto para datos discretos. Otro ejemplo es cuando usamos un intervalo de confianza asintótico: es exacto solo cuando . Entiendo totalmente su idea porque "actual" también es sinónimo de "presente".

n \to \infty

$n \to \infty$

— Stéphane Laurent

4

En general, la probabilidad de cobertura real nunca será igual a la probabilidad nominal cuando trabaje con una distribución discreta.

El intervalo de confianza se define como una función de los datos. Si está trabajando con la distribución binomial, solo hay muchos resultados posibles ( para ser precisos), por lo que solo hay muchos intervalos de confianza posibles. Dado que el parámetro es continuo, es bastante fácil ver que la probabilidad de cobertura (que es una función de ) no puede ser mejor que aproximadamente el 95% (o lo que sea). $n+1$ $p$ $p$

En general, es cierto que los métodos basados en el CLT tendrán probabilidades de cobertura por debajo del valor nominal, pero otros métodos pueden ser más conservadores.

— Falta de sabiduría
fuente

1

Aquí hay una declaración formal útil de la definición: dado un espacio de muestra y un parámetro desconocido , un procedimiento de confianza consiste en un par de funciones tal queEl lado izquierdo de esta expresión es (tenga en cuenta que esto depende de θ) y el RHS es el nivel de confianza nominal . Si el infimum (sobre ) del LHS es igual al RHS, entonces el procedimiento es exacto .

⟨ Ω, F, P ⟩

$\langle\Omega,\mathcal{F},P\rangle$

θ

$\theta$

1 - α

$1-\alpha$

L \leq U : Ω \to R

$L\leq U:\Omega\to\mathbb{R}$

P [{ω \in Ω | [L (ω), U (ω)] ∋ θ}] \approx 1 - α .

$P\big[\left\{\omega\in\Omega\vert [L(\omega),U(\omega)]\ni\theta\right\}\big]\approx 1-\alpha.$

coverage probability

$\textit{coverage probability}$

Ω

$\Omega$

— Desconocimiento

8

$\pi$ $\pi=\pi_1$ $\pi=\pi_2$ $\pi$

$x$ $n$ $\pi$

\begin{array}{ccc} x & π_{U} & Pr (X = x | π = 0.7) & I (π_{U} \leq 0.7) \\ 0 & 0.3930378 & 0.000729 & 0 \\ 1 & 0.5818034 & 0.010206 & 0 \\ 2 & 0.7286616 & 0.059535 & 1 \\ 3 & 0.8468389 & 0.185220 & 1 \\ 4 & 0.9371501 & 0.324135 & 1 \\ 5 & 0.9914876 & 0.302526 & 1 \\ 6 & 1.0000000 & 0.117649 & 1 \end{array}

$\begin{array}{c,c,c} x & \pi_\mathrm{U} & \Pr(X= x | \pi=0.7) & I(\pi_\mathrm{U}\leq 0.7)\\ 0 & 0.3930378 & 0.000729 & 0\\ 1 & 0.5818034 & 0.010206 & 0\\ 2 & 0.7286616 & 0.059535 & 1\\ 3 & 0.8468389 & 0.185220 & 1\\ 4 & 0.9371501 & 0.324135 & 1\\ 5 & 0.9914876 & 0.302526 & 1\\ 6 & 1.0000000 & 0.117649 & 1\\ \end{array}$

x

$x$

95 %

$95\%$

π_{U} = π : [Pr (X > x | π) = 0.95]

$\pi_\mathrm{U} =\pi: [\Pr(X>x | \pi)=0.95]$

π = 0.7

$\pi=0.7$

x

$x$ bajo esta suposición; el cuarto muestra para qué casos el intervalo de confianza calculado cubre el valor del parámetro verdadero, marcándolos con un . Si suma las probabilidades para los casos en que el intervalo de confianza cubre el valor verdadero, obtiene la cobertura real, . Para diferentes valores verdaderos de , la cobertura real será diferente:

1

$1$

0.989065

$0.989065$

π

$\pi$

coberturas

La cobertura nominal solo se logra cuando los valores de los parámetros verdaderos coinciden con los límites superiores obtenibles.

[Acabo de volver a leer su pregunta y noté que el autor dice que el valor real puede ser menor que la probabilidad de cobertura nominal. Así que supongo que están hablando de un método aproximado para calcular el intervalo de confianza, aunque lo que dije anteriormente todavía funciona. El gráfico podría sugerir informar un nivel de confianza promedio de aproximadamente pero, ¿promediar los valores de un parámetro desconocido?] $98\%$

† Exacto en el sentido de que la cobertura real nunca es menor que la cobertura nominal para cualquier valor de , e igual para algunos valores de - @ El sentido de Unwisdom, no @ Stephane. $\pi$ $\pi$

‡ Los intervalos con límites superior e inferior se usan más comúnmente, por supuesto; pero un poco más complicado de explicar, y solo hay un intervalo exacto para considerar con solo un límite superior. (Ver Blaker (2000), "Curvas de confianza e intervalos de confianza exactos mejorados para distribuciones discretas", Canadian Journal of Statistics , 28 , 4 y las referencias).

— Scortchi - Restablece a Monica
fuente

Gracias por responder. Ahora que sé cuál es la probabilidad real de cobertura, ¿tiene alguna idea de por qué el usuario en esta pregunta fue enviado a preguntas que explican la diferencia entre los intervalos creíbles y de confianza? Aquí es donde surgió la idea de que el problema de cobertura real / nominal. La dualidad está relacionada. stats.stackexchange.com/questions/63922/…

— rumtscho

Probablemente porque el OP solo da un enlace a donde ha visto los términos "nominal" y "real" (en lugar de resumirlo o citarlo en la pregunta como lo hizo), y luego dedica el resto de su pregunta a su interpretación errónea de su usar en ese contexto.

— Scortchi - Restablece a Monica

1

Creo que la diferencia es en realidad sobre el uso de aproximaciones hechas al calcular los intervalos de confianza. Por ejemplo, si usamos el CI bastante estándar de

estimate \pm 1.96 \times estimated standard error

$\text{estimate}\pm 1.96 \times \text {estimated standard error}$

Podemos llamar a esto un "intervalo de confianza del 95%". Sin embargo, suele ocurrir que aquí se hacen varias aproximaciones. Si no hacemos las aproximaciones, podemos calcular la cobertura real. Una situación típica es subestimar el error estándar. Entonces, los intervalos son demasiado estrechos para capturar el valor verdadero con un 95% de probabilidad. Solo podrían capturar el valor verdadero con una probabilidad del 85%. La probabilidad de "cobertura real" podría calcularse utilizando una simulación de Monte Carlo de algún tipo (por ejemplo, generar conjuntos de datos de muestra utilizando un valor verdadero elegido, luego calcular el IC del 95% para cada uno y encontrar que realmente contenía el valor verdadero). $1000$ $850$

— probabilidadislogica
fuente