¿Hay alguna forma útil de definir el "mejor" intervalo de confianza?

La definición estándar de (digamos) un intervalo de confianza (IC) del 95% simplemente requiere que la probabilidad de que contenga el parámetro verdadero sea del 95%. Obviamente, esto no es único. El lenguaje que he visto sugiere que entre los muchos IC válidos, generalmente tiene sentido encontrar algo como el más corto, simétrico o conocido, incluso cuando algunos parámetros de distribución son desconocidos, etc. En otras palabras, parece que no hay jerarquía obvia de qué CI son "mejores" que otros.

Sin embargo, pensé que una definición equivalente de CI es que consiste en todos los valores de modo que la hipótesis nula de que el parámetro verdadero es igual a ese valor no sería rechazada al nivel de significancia apropiado después de ver la muestra realizada. Esto sugiere que mientras elijamos una prueba que nos guste, podemos construir automáticamente el CI. Y existe una preferencia estándar entre las pruebas basadas en el concepto de UMP (o UMP entre las pruebas no sesgadas).

¿Hay algún beneficio en definir CI como el que corresponde a la prueba UMP o algo así?

hypothesis-testing confidence-interval

— max
fuente

(+1) Hay dos dificultades con tu propuesta. La primera es que las pruebas UMP a menudo no existen. La segunda es que una forma fructífera de evaluar los intervalos de confianza es en términos de una función de pérdida relacionada. Esto permite una variedad flexible pero amplia de soluciones.

— whuber

La definición de un intervalo de confianza no es lo que usted reclama, como se discutió en varios lugares en este sitio, por ejemplo, aquí: stats.stackexchange.com/questions/13655/… y aquí: stats.stackexchange.com/a/6431/5829

— Jake Westfall

¿Cuál es el propósito de CI para usted? ¿Que estas intentando hacer con eso?

— Aksakal

@Aksakal en realidad, me acabo de dar cuenta de que estoy muy confundido sobre el concepto y quería entenderlo mejor. No es específico para ninguna aplicación.

— max

@JakeWestfall Encontré una discusión interesante pero ninguna definición clara en ninguno de esos enlaces. ¿Me puede señalar una definición específica? No dije que mi definición fuera correcta, pero eso es todo lo que encontré después de una breve búsqueda en los libros de texto de estadísticas. De hecho, la misma definición se ofrece en el artículo de Morey mencionado en la respuesta de Alex

— máximo

Respuestas:

Un poco largo para un comentario. Echa un vistazo a la discusión sobre UMP en este documento "La falacia de poner confianza en los intervalos de confianza" por Morey et al. En particular, hay algunos ejemplos donde:

"Aún más extraño, los intervalos del procedimiento UMP inicialmente aumentan en ancho con la incertidumbre en los datos, pero cuando el ancho de la probabilidad es mayor a 5 metros, el ancho del intervalo UMP está inversamente relacionado con la incertidumbre en los datos, como el intervalo no paramétrico. El UMP y los procedimientos de distribución de muestreo comparten la dudosa distinción de que sus IC no pueden utilizarse para retroceder a las observaciones. A pesar de ser el procedimiento "más poderoso", el procedimiento UMP arroja claramente información importante ".

— Alex R.
fuente

¿Qué pasa con la otra dirección? Dado un buen intervalo de confianza, ¿la prueba de hipótesis nula correspondiente es generalmente buena?

— max

El rechazo es solo una parte de la inferencia, no te quedes atascado allí. Estás tomando una decisión. Supongamos que necesita decidir si debe acudir a un mecánico cuando se enciende la luz de "revisar motor" u olvidarse de él.

Entonces, su hipótesis nula es que el motor está bien, y la luz es solo la molestia. La luz de verificación del motor es su prueba. Digamos que el valor p es 5%, mientras que su importancia es $\alpha=0.01$ , por lo que no puede rechazar el valor nulo y continuar con su negocio. Así es como funciona la significación estadística en su forma ingenua.

No es así como se deben tomar las decisiones y cómo se debe tener en cuenta la importancia económica. Tienes que calcular el costo de ir con nulo frente a rechazarlo y seleccionar la hipo alternativa.

Omití por completo la hipótesis alternativa en el ejemplo anterior, porque así es como todos lo hacen: piensan que la hipo alternativa es solo una especie de formalidad como una reverencia. En la vida real, la alternativa es tan importante como nulo, porque así es como se calcula el costo de no elegir el nulo. Solo cuando tenga en cuenta los costos de nulo y alternativo, debe tomar la decisión de ir o no a un mecánico. El valor p y los intervalos de confianza por sí solos no tienen sentido a este respecto, solo en conjunción con los costos se vuelven significativos

— Aksakal
fuente

No quiero decir que el rechazo sea el final de la historia. Me sorprendió mucho cuando me di cuenta de que todas las definiciones de CI que encontré permitían un CI no único. Con todas las otras advertencias sobre el uso de CI, esperaba al menos no tener que lidiar con el hecho de que la elección de cualquier CI en particular es arbitraria.

— max