Pruebas de permutación: criterios para elegir una estadística de prueba

Regularmente uso pruebas de permutación y amo su simplicidad. He aprendido más del libro "Métodos de remuestreo" de Good, en el que el autor parece bastante creativo en su elección de estadísticas de prueba a lo largo de los ejemplos. Además, esta publicación da la impresión de que existe una gran libertad para elegir una estadística de prueba.

Me pregunto si hay requisitos teóricos que una estadística de prueba debe cumplir . ¿O podemos usar cualquier estadística siempre que intuitivamente tenga sentido y tenga buenas tasas de error Tipo I / II?

Por ejemplo, cuando se usa una prueba de permutación en lugar de la prueba t debido a poblaciones no normales, he visto varias veces que el valor p de la prueba de permutación aún se obtiene de las estadísticas t. Aunque no es necesariamente incorrecto, parece una elección extraña dado el origen de la distribución t de Student.

La estadística t tiene mucho sentido como estadística de prueba; Mucha gente lo encuentra intuitivo. Si cito una estadística t de 0.5 o 5.5, le dice algo: cuántos errores estándar son las medias.

La dificultad, al menos con una no normalidad moderada, no es tanto usar el estadístico como usar la distribución t para su distribución bajo nulo. La estadística es bastante sensata.

Por supuesto, si espera colas sustancialmente más pesadas de lo normal, un estadístico más robusto sería mejor, pero el estadístico t no es muy sensible a las desviaciones leves de la normalidad (por ejemplo, es menos sensible que el estadístico de relación de varianza).

Si desea usar solo el numerador de la estadística, es genial, tiene mucho sentido como estadística de permutación, si está interesado en una diferencia de medias. Si está interesado en un sentido más general del cambio de ubicación, se abre una gran cantidad de otras posibilidades.

Tienes razón al pensar que hay mucha libertad para elegir una estadística y adaptarla a las circunstancias particulares: a qué alternativas quieres poder o a qué posibles problemas te gustaría ser robusto (la contaminación, por ejemplo, puede poder de impacto).

En realidad, casi no hay restricciones: puede elegir casi cualquier cosa, incluidas las estadísticas de prueba inútiles. Hay algunas consideraciones en las que realmente debe pensar al elegir las pruebas, por supuesto, pero es libre de no hacerlo.

-

Dicho esto, hay algunos criterios que se pueden aplicar en diversas circunstancias.

Por ejemplo, si está particularmente interesado en un tipo específico de hipótesis, puede utilizar una estadística que la refleje; por ejemplo, si desea probar una diferencia en las medias de la población, a menudo tiene sentido hacer su estadística de prueba relacionado con una diferencia en las medias muestrales.

Si sabe algo sobre el tipo de distribución que podría tener: colas pesadas, sesgadas, o teóricamente de cola liviana pero con cierto grado de contaminación, o bimodal, ... puede diseñar una estadística de prueba que pueda funcionar bien en tales circunstancias, por ejemplo, elegir una estadística que debería funcionar bien en la situación prevista pero que tenga cierta solidez a la contaminación.

-

La simulación es una forma de investigar el poder en diversas situaciones.