Funciones discretas: ¿Cobertura de intervalo de confianza?

¿Cómo calcular la cobertura de intervalo discreto?

Lo que sé hacer:

Si tuviera un modelo continuo, podría definir un intervalo de confianza del 95% para cada uno de mis valores predichos, y luego ver con qué frecuencia los valores reales estaban dentro del intervalo de confianza. Podría encontrar que solo el 88% del tiempo mi intervalo de confianza del 95% cubrió los valores reales.

Lo que no sé hacer:

¿Cómo hago esto para un modelo discreto, como poisson o gamma-poisson? Lo que tengo para este modelo es el siguiente, tomando una sola observación (de más de 100,000 que planeo generar :)

Observación #: (arbitrario)

Valor previsto: 1.5

Probabilidad pronosticada de 0: .223

Probabilidad pronosticada de 1: .335

Probabilidad prevista de 2: .251

Probabilidad prevista de 3: .126

Probabilidad pronosticada de 4: .048

Probabilidad pronosticada de 5: .014 [y 5 o más es .019]

... (etc.)

Probabilidad pronosticada de 100 (o para alguna cifra poco realista): .000

Valor real (un entero como "4")

Tenga en cuenta que si bien he dado valores de Poisson arriba, en el modelo real un valor predicho de 1.5 puede tener diferentes probabilidades pronosticadas de 0,1, ... 100 a través de las observaciones.

Estoy confundido por la discreción de los valores. Un "5" obviamente está fuera del intervalo del 95%, ya que solo hay .019 en 5 y más, que es menor que .025. Pero habrá muchos 4, individualmente están dentro, pero ¿cómo evalúo conjuntamente el número de 4 más adecuadamente?

¿Porqué me importa?

Los modelos que estoy viendo han sido criticados por ser precisos a nivel agregado pero por dar malas predicciones individuales. Quiero ver cuánto peor son las malas predicciones individuales que los intervalos de confianza inherentemente amplios predichos por el modelo. Espero que la cobertura empírica sea peor (por ejemplo, podría encontrar que el 88% de los valores se encuentran dentro del intervalo de confianza del 95%), pero espero solo un poco peor.

Los intervalos de confianza de Neyman no intentan proporcionar cobertura del parámetro en el caso de un intervalo particular. En cambio, proporcionan cobertura sobre todos los valores de parámetros posibles a largo plazo. En cierto sentido, intentan ser globalmente precisos a expensas de la precisión local.

Los intervalos de confianza para proporciones binomiales ofrecen una ilustración clara de este problema. La evaluación neymaniana de los intervalos arroja gráficos de cobertura irregulares como este, que corresponde a intervalos de Clopper-Pearson del 95% para n = 10 ensayos binomiales:

Hay una forma alternativa de hacer cobertura, una que personalmente creo que es mucho más accesible e intuitiva (por lo tanto) útil. La cobertura por intervalos se puede especificar condicional en el resultado observado. Esa cobertura sería cobertura local. Aquí hay una gráfica que muestra la cobertura local para tres métodos diferentes de cálculo de intervalos de confinancia para proporciones binomiales: Clopper-Pearson, puntajes de Wilson y un método condicional exacto que produce intervalos idénticos a los intervalos bayesianos con un uniforme previo:

Observe que el método de Clopper-Pearson al 95% brinda más del 98% de cobertura local, pero los intervalos condicionales exactos son, bueno, exactos.

Una forma de pensar en la diferencia entre los intervalos global y local es considerar que el global es una inversión de las pruebas de hipótesis de Neyman-Pearson en las que el resultado es una decisión que se toma en consideración a las tasas de error a largo plazo para la corriente. Experimente como miembro del conjunto global de todos los experimentos que podrían ejecutarse. Los intervalos locales son más parecidos a la inversión de las pruebas de significancia de Fisher que producen un valor de P que representa evidencia contra el nulo de este experimento en particular .

(Hasta donde sé, la distinción entre estadísticas globales y locales se hizo por primera vez en una tesis de maestría inédita por Claire F Leslie (1998) Falta de confianza: un estudio de la supresión de ciertos contraejemplos a la teoría de Neyman-Pearson de inferencia estadística con referencia particular a la teoría de los intervalos de confianza. Esa tesis está en manos de la biblioteca Baillieu de la Universidad de Melbourne).