Consecuencias de exceder el tamaño de la muestra después de la determinación de la muestra en el análisis de potencia

Desafío

En nuestra oficina, he estado involucrado en una discusión sobre el tamaño de la muestra y su influencia en el tamaño del efecto . ¿Me pueden ayudar y explicar más?

Base

Al realizar un análisis de potencia, se puede determinar el tamaño de la muestra para un tamaño de efecto específico en un diseño específico.

Problema / Discusión

¿Qué sucede si se excede el tamaño de muestra determinado a priori (por ejemplo, la muestra determinada en el análisis de potencia fue , pero podríamos obtener )? $N=100$ $N=1000$

Posición 1: Los tamaños de muestra grandes cortan / destruyen los tamaños de efecto. Cuando se usan muestras más grandes que las determinadas en el análisis de potencia, existe el peligro de que "todo se vuelva significativo" (incluso efectos menores, prácticamente irrelevantes). Por lo tanto, debemos confiar en una muestra determinada del análisis de potencia. Al hacerlo, podemos revelar efectos "reales / relevantes".

Posición 2: La determinación del tamaño de la muestra se refiere altamaño mínimo de la muestra que se requiere para revelar un efecto dado. Los tamaños de muestra grandes son beneficiosos, por ejemplo, debido a la disminución del error de medición. Por lo tanto, los efectos reales se pueden revelar más fácilmente. Los cálculos de tamaño de efecto post hoc ofrecen información sobre la relevancia del efecto.

Posición 3: La posición 1 versus la posición 2 dependen del diseño del estudio (por ejemplo, la posición 1 para la prueba t debido a la búsqueda de "efectos relevantes", pero la posición 2 para CFA / SEM para obtener resultados más estables y confiables).

Posición 4: Otra posible posición para una explicación alternativa.

— Jens
fuente

existe el peligro de que "todo se vuelva significativo" (incluso efectos menores, prácticamente irrelevantes).

Este no es un argumento contra muestras de gran tamaño, es un argumento directo contra la prueba de hipótesis para su problema particular.

Si tiene problemas para rechazar tamaños de efectos pequeños , no utilice pruebas de hipótesis ordinarias .

Puede ser que necesite una prueba de equivalencia (o tal vez una prueba de no inferioridad).

Puede ser que necesite una estimación de intervalo del tamaño del efecto (es decir, un intervalo de confianza).

Puede ser que necesites algo más.

Esto también se relaciona con la Posición 3. Si tiene una noción de un "efecto relevante" , no debería usar pruebas de hipótesis ordinarias .

Si su posición no es que más potencia es mejor, deje de usar esas pruebas de hipótesis . No es la herramienta correcta para ese trabajo.

— Glen_b -Reinstate a Monica
fuente

Pruebas de equivalencia ... Tengo que obtener más información sobre esto. Tiene mucho sentido ...

— Antoni Parellada

¿Cuáles son algunas buenas fuentes para aprender sobre las pruebas de equivalencia? No he encontrado mucho en línea.

— Clarinetista

Mi empresa fue contactada por otra empresa solicitando comentarios sobre un diseño de estudio propuesto. Intentaron usar una prueba de dos lados de la forma para mostrar que no había diferencia en medio. Cuando les indiqué en dos ocasiones distintas por qué esto era descaradamente incorrecto, y les mostré que la agencia reguladora que supervisaba su conducta era consciente de este defecto, me ignoraron .

H_{0 0} : μ_{1} - μ_{2} = 0 0 vs. H_{una} : μ_{1} - μ_{2} \neq 0 0

$H_0 : \mu_1 - \mu_2 = 0 \quad \text{vs.} \quad H_a : \mu_1 - \mu_2 \ne 0$

— Heropup

Para hacer afirmaciones de equivalencia , entonces, la estructura de la prueba de hipótesis podría ser (para probar diferencias en medias)

H_{0 0} : El | μ_{1} - μ_{2} El | \geq Δ vs. H_{una} : El | μ_{1} - μ_{2} El | < Δ,

$H_0 : |\mu_1 - \mu_2| \ge \Delta \quad \text{vs.} \quad H_a : |\mu_1 - \mu_2| < \Delta,$ donde es un margen de equivalencia que se considera un estándar de similitud aceptable. Tenga en cuenta que no podemos simplemente voltear alrededor de y . Lo dejo como un ejercicio para que el lector descubra por qué.

Δ

$\Delta$

H_{0}

$H_0$

H_{a}

$H_a$

— Heropup

@Glen_b ¿podría mencionar algunas referencias para obtener más información sobre las pruebas de equivalencia? Sin embargo, solo encontré algunos papeles.

— Jens