Intervalo de confianza e incertidumbre del valor P para la prueba de permutación


12

Estoy aprendiendo pruebas de aleatorización ahora mismo. Se me ocurren dos preguntas:

  1. Sí, es fácil e intuitivo cómo se calcula el valor p con la prueba de aleatorización (que creo que es lo mismo que la prueba de permutación). Sin embargo, ¿cómo podríamos generar también un intervalo de confianza del 95% como lo hacemos con las pruebas paramétricas normales?

  2. Mientras leo un documento de la Universidad de Washington sobre pruebas de permutación , hay una oración en la página 13 que dice:

    Con 1000 permutaciones ..., la incertidumbre cerca de p = 0.05 es aproximadamente .±1%

    Me pregunto cómo conseguimos esta incertidumbre.

Respuestas:


12

Sin embargo, ¿cómo podríamos generar también un intervalo de confianza del 95% como lo hacemos con las pruebas paramétricas normales?

Aquí hay una forma de generar un intervalo a partir de una prueba de remuestreo, aunque no siempre es apropiado considerarlo como un intervalo de confianza . Para un ejemplo específico, realice una prueba para una diferencia de dos muestras en las medias. Considere cambiar la segunda muestra por (que puede ser positiva o negativa). Entonces, el conjunto de valores que conduciría al no rechazo de la prueba en el nivel podría usarse como un intervalo de confianza nominalmente para la diferencia de medias.δδα1α

Algunos autores (p. ej. [1], p364 y siguientes , [2]) llaman a un intervalo construido de esta manera (valores de parámetros no rechazados por la prueba) un intervalo de consonancia , que es un nombre mejor que el intervalo de confianza para ello (aunque muchas personas simplemente ignoran la diferencia; por ejemplo, creo que Cox y Hinkley llaman a estos intervalos de confianza) porque el enfoque no necesariamente proporciona intervalos que tengan la cobertura deseada (en muchas situaciones es posible ver que debería); el nombre transmite algo sobre lo que el intervalo le dice (un intervalo de valores consistente con los datos).

Gelman incluye una discusión de por qué a veces puede ser problemático considerarlos universalmente intervalos de confianza aquí .

Sin embargo, no es difícil explorar la cobertura bajo determinados conjuntos de supuestos (a través de la simulación), y no faltan personas que llaman a los intervalos de arranque "intervalos de confianza" (incluso cuando a veces se ve que no tienen nada como la cobertura reclamada).

En [3] se discuten más detalles sobre cómo hacerlo en el caso de dos muestras de diferencia en las medias, donde se llaman intervalos de confianza de aleatorización y se hace un reclamo sobre cuándo son exactos (qué reclamo no tengo) T trató de evaluar).

Con 1000 permutaciones ..., la incertidumbre cerca de p = 0.05 es aproximadamente ± 1%.

Me pregunto cómo conseguimos esta incertidumbre.

El valor p estimado es una proporción binomial directa. Por lo tanto, tiene el mismo error estándar que cualquier otra proporción binomial, .p(1p)n

Así que si y , el error estándar de la proporción observada es de aproximadamente . Un IC del sería [Alternativamente, es aproximadamente errores estándar de cada lado, lo que correspondería a un intervalo de confianza para el valor p subyacente de un bit por encima del ]p=0.05n=10000.006990%±1.13%±1%1.4585%

Entonces, al menos en un sentido aproximado, podría hablar de que la incertidumbre es "aproximadamente 1%"

-

[1] Kempthorne and Folks (1971),
Probabilidad, Estadística y análisis de datos ,
Iowa State University Press

[2] LaMotte LR y Volaufová J, (1999),
"Intervalos de predicción a través de intervalos de resonancia",
Revista de la Royal Statistical Society. Serie D (El Estadístico) , vol. 48, núm. 3, págs. 419-424

[3] Ernst, MD (2004),
"Métodos de permutación: una base para la inferencia exacta", Statistical Science , vol. 19, núm. 4, 676–685

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.