Sin embargo, ¿cómo podríamos generar también un intervalo de confianza del 95% como lo hacemos con las pruebas paramétricas normales?
Aquí hay una forma de generar un intervalo a partir de una prueba de remuestreo, aunque no siempre es apropiado considerarlo como un intervalo de confianza . Para un ejemplo específico, realice una prueba para una diferencia de dos muestras en las medias. Considere cambiar la segunda muestra por (que puede ser positiva o negativa). Entonces, el conjunto de valores que conduciría al no rechazo de la prueba en el nivel podría usarse como un intervalo de confianza nominalmente para la diferencia de medias.†δδα1−α
† Algunos autores (p. ej. [1], p364 y siguientes , [2]) llaman a un intervalo construido de esta manera (valores de parámetros no rechazados por la prueba) un intervalo de consonancia , que es un nombre mejor que el intervalo de confianza para ello (aunque muchas personas simplemente ignoran la diferencia; por ejemplo, creo que Cox y Hinkley llaman a estos intervalos de confianza) porque el enfoque no necesariamente proporciona intervalos que tengan la cobertura deseada (en muchas situaciones es posible ver que debería); el nombre transmite algo sobre lo que el intervalo le dice (un intervalo de valores consistente con los datos).
Gelman incluye una discusión de por qué a veces puede ser problemático considerarlos universalmente intervalos de confianza aquí .
Sin embargo, no es difícil explorar la cobertura bajo determinados conjuntos de supuestos (a través de la simulación), y no faltan personas que llaman a los intervalos de arranque "intervalos de confianza" (incluso cuando a veces se ve que no tienen nada como la cobertura reclamada).
En [3] se discuten más detalles sobre cómo hacerlo en el caso de dos muestras de diferencia en las medias, donde se llaman intervalos de confianza de aleatorización y se hace un reclamo sobre cuándo son exactos (qué reclamo no tengo) T trató de evaluar).
Con 1000 permutaciones ..., la incertidumbre cerca de p = 0.05 es aproximadamente ± 1%.
Me pregunto cómo conseguimos esta incertidumbre.
El valor p estimado es una proporción binomial directa. Por lo tanto, tiene el mismo error estándar que cualquier otra proporción binomial, .p(1−p)n−−−−−√
Así que si y , el error estándar de la proporción observada es de aproximadamente . Un IC del sería [Alternativamente, es aproximadamente errores estándar de cada lado, lo que correspondería a un intervalo de confianza para el valor p subyacente de un bit por encima del ]p=0.05n=10000.006990%±1.13%±1%1.4585%
Entonces, al menos en un sentido aproximado, podría hablar de que la incertidumbre es "aproximadamente 1%"
-
[1] Kempthorne and Folks (1971),
Probabilidad, Estadística y análisis de datos ,
Iowa State University Press
[2] LaMotte LR y Volaufová J, (1999),
"Intervalos de predicción a través de intervalos de resonancia",
Revista de la Royal Statistical Society. Serie D (El Estadístico) , vol. 48, núm. 3, págs. 419-424
[3] Ernst, MD (2004),
"Métodos de permutación: una base para la inferencia exacta",
Statistical Science , vol. 19, núm. 4, 676–685