Cálculo del poder estadístico

Según tengo entendido, necesito conocer al menos tres aspectos (de cuatro) de mi estudio propuesto para realizar un análisis de poder, a saber:

tipo de prueba: tengo la intención de usar Pearson r y ANCOVA / Regresión - GLM
nivel de significancia (alfa): tengo la intención de usar 0.05
tamaño de efecto esperado: tengo la intención de usar un tamaño de efecto medio (0.5)
tamaño de la muestra

¿Alguien podría recomendar una buena calculadora de energía en línea que pueda usar para hacer un cálculo de energía a priori ? (¿Puede SPSS hacer un cálculo de potencia a priori ?)

¡Me he encontrado con GPower pero estoy buscando una herramienta más simple!

power-analysis

— Adhesh Josh
fuente

Lamentablemente, el paquete SPSS no incluye un módulo para el análisis de potencia. La compañía IBM SPSS vende un programa separado para el análisis de potencia.

— ttnphns

Le daría una oportunidad a GPower. Con 20 o 30 minutos explorando, probablemente encontrará que es muy manejable, al menos para procedimientos como la correlación, no necesariamente para un modelo de regresión complicado.

— rolando2

¡Gracias! ¿Hay una guía fácil de usar disponible en GPower?

— Adhesh Josh

Parece que es para una solicitud de subvención. Estos son molestos para producir y evaluar. Para diseños experimentales bien utilizados (por ejemplo, estudios de asociación de genoma completo) puede haber calculadoras especializadas bien documentadas. De lo contrario, creo que la respuesta de G. Jay Kerns es la forma correcta de hacerlo con la siguiente adición: mientras estás en ello, debes simular un rango de los parámetros más importantes y presentar un gráfico.

— Leo Schalkwyk

Esta no es una respuesta que querrá escuchar, me temo, pero lo diré de todos modos: intente resistir la tentación de las calculadoras en línea (y ahorre su dinero antes de comprar calculadoras patentadas).

Estas son algunas de las razones por las cuales: 1) todas las calculadoras en línea usan notación diferente y a menudo están mal documentadas. Es una pérdida de tiempo. 2) ¡SPSS ofrece una calculadora de potencia, pero nunca la he probado porque era demasiado costosa para mi departamento! 3) Las frases como "tamaño de efecto medio" son, en el mejor de los casos, engañosas y, en el peor de los casos, simplemente erróneas para todos, excepto para los diseños de investigación más simples. Hay demasiados parámetros y demasiada interacción para poder destilar el tamaño del efecto a un solo número en [0,1]. Incluso si pudiera ponerlo en un solo número, no hay garantía de que el 0.5 de Cohen corresponda a "medio" en el contexto del problema.

Créame, a la larga es mejor morder la bala y aprender cómo utilizar la simulación para su beneficio (y el beneficio de la (s) persona (s) que está consultando). Siéntate con ellos y completa los siguientes pasos:

1) Elija un modelo que sea apropiado en el contexto del problema (parece que ya ha trabajado en esta parte).

2) Consulte con ellos para decidir cuáles deberían ser los parámetros nulos, el comportamiento del grupo de control, lo que sea que esto signifique en el contexto del problema.

3) Consulte con ellos para determinar cuáles deberían ser los parámetros para que la diferencia sea prácticamente significativa . Si hay limitaciones en el tamaño de la muestra, esto también debería identificarse aquí.

4) Simule datos de acuerdo con los dos modelos en 2) y 3), y ejecute su prueba. Puedes hacer esto con un montón de software: elige tu favorito y ve por él. Vea si lo rechazó o no.

$n$ $\hat{p}$ $\sqrt{\hat{p}(1 - \hat{p})/n}$

Si hace su análisis de poder de esta manera, encontrará varias cosas: A) había muchos más parámetros corriendo de lo que había previsto. Te hará preguntarte cómo en el mundo es posible colapsarlos a todos en un solo número, como "medio", y verás que no es posible, al menos no de una manera directa. B) su potencia será mucho más pequeña que la que anuncian muchas otras calculadoras. C) puede aumentar la potencia aumentando el tamaño de la muestra, ¡pero tenga cuidado! Puede que, como tengo yo, para detectar una diferencia que sea "prácticamente significativa" necesita un tamaño de muestra que sea prohibitivamente grande.

Si tiene problemas con cualquiera de los pasos anteriores, puede recopilar sus pensamientos, formular bien una pregunta para CrossValidated, y la gente de aquí lo ayudará.

EDITAR: en caso de que descubra que debe usar una calculadora en línea, la mejor que he encontrado es la página de potencia y tamaño de muestra de Russ Lenth . Ha existido durante mucho tiempo, tiene una documentación relativamente completa, no depende del tamaño de los efectos fijos y tiene enlaces a otros documentos que son relevantes e importantes.

OTRA EDICIÓN: Casualmente, cuando surgió esta pregunta, estaba justo en el medio de escribir una publicación de blog para desarrollar algunas de estas ideas (de lo contrario, podría no haber respondido tan rápido). De todos modos, lo terminé el fin de semana pasado y puedes encontrarlo aquí . No está escrito con SPSS en mente, pero apuesto a que si una persona fuera inteligente podría traducir partes de ella a la sintaxis de SPSS.

+1 Buena respuesta. Vale la pena señalar los inconvenientes de la simulación. (La alternativa es que las curvas de potencia se pueden calcular matemáticamente). La simulación se vuelve difícil de manejar cuando se deben manipular muchos parámetros (como el tamaño del efecto y el tamaño de la muestra) o cuando se busca algún valor umbral, como un tamaño de muestra mínimo. Incluso una expresión exacta aproximada para el poder puede ser valiosa para indicar en general cómo se comporta el poder y para identificar soluciones iniciales que pueden pulirse con un poco de simulación.

— whuber

@whuber Gracias, y tienes toda la razón. Su comentario me recuerda que a menudo hay una incertidumbre adicional en los parámetros nulo / alternativo (información escasa, estudios piloto malos, etc.) que agrega otra capa de complejidad al enfoque de simulación. Este es otro beneficio del enfoque matemático.

En lugar de fijar los valores de los parámetros desconocidos, es útil simularlos asignando una distribución previa sobre estos parámetros y luego obtener un "poder previo" (este no es un enfoque bayesiano, a pesar del concepto de distribución previa, porque simulamos el resultado de la prueba frecuentista)

— Stéphane Laurent

Hay dos problemas con la simulación: aprenderla (esta es soluble) y completar el paso 3. En mi experiencia, ninguno de mis clientes estaría dispuesto a hacer 3). Muchos tienen problemas para especificar CUALQUIER tamaño del efecto. Pedirles que especifiquen los parámetros en (digamos) una ecuación de regresión múltiple sería ... bueno, no sabrían cómo responder, incluso si saben el significado, no estarán dispuestos a especificar.

— Peter Flom - Restablece a Monica

Stephane, sí, tienes razón, y eso fue lo que quise decir con la capa adicional que intentaba comunicar. @Peter Sigh! Sí, también me he encontrado con esto. Trato de hablar sobre los medios, los errores estándar, etc. y luego resuelvo la mayor cantidad de matemática que puedo después. Parte de esto es una barrera de comunicación que a veces es un desafío. Sin embargo, la parte de falta de voluntad es aún más difícil. Solía ser que me rendiría y trataría de completar los espacios en blanco, pero rara vez funcionó bien. Es decir, la respuesta es esencialmente un disparo en la oscuridad con una venda en los ojos y de pie hacia atrás.