Tengo entendido que un análisis de poder es post hoc si y solo si usa el tamaño del efecto observado como el tamaño del efecto de la población objetivo.
Tengo entendido que un análisis de poder es post hoc si y solo si usa el tamaño del efecto observado como el tamaño del efecto de la población objetivo.
Respuestas:
En mi campo, veo personas que realizan análisis de poder post-hoc cuando el propósito del documento es mostrar que algún efecto que uno podría haber esperado estar presente (ya sea por literatura previa, sentido común, etc.) no está, al menos de acuerdo a alguna prueba de significación.
Sin embargo, en estas situaciones, el investigador tiene dificultades: puede haber obtenido un resultado no significativo ya sea porque el efecto realmente no está presente en la población o porque el estudio no fue lo suficientemente potente como para detectar el efecto incluso si estuviera presente. El propósito del análisis de poder, entonces, es mostrar que, dado un efecto trivialmente pequeño en la población, el estudio habría tenido una alta probabilidad de detectar ese efecto.
Para un ejemplo concreto de este uso del análisis de poder post-hoc, vea este documento vinculado.
Siempre puede calcular la probabilidad de que un estudio haya producido un resultado significativo para un tamaño de efecto a priori dado. En teoría, esto debe hacerse antes de realizar un estudio porque no tiene sentido llevar a cabo un estudio con baja potencia que tenga pocas posibilidades de producir un resultado significativo cuando hay un efecto presente. Sin embargo, también puede calcular la potencia después del estudio para darse cuenta de que un estudio tenía baja potencia o, poco probable, alta potencia para detectar incluso un efecto pequeño.
El término potencia post-hoc u observada se usa para el análisis de potencia que utiliza los tamaños de efecto observados en una muestra para calcular la potencia bajo el supuesto de que el tamaño de efecto observado es una estimación razonable del tamaño de efecto verdadero. Muchos estadísticos han señalado que el poder observado en un solo estudio no es muy informativo porque los tamaños de los efectos no se estiman con suficiente precisión como para ser informativos. Más recientemente, los investigadores han comenzado a examinar el poder observado para un conjunto de estudios para examinar qué tan poderosos son los estudios en promedio y si los estudios informan resultados más significativos de lo que justificaría el poder real de los estudios.