¿Está bien aumentar dinámicamente el tamaño de la muestra, si se indica a priori?

Estoy a punto de hacer un estudio sobre los méritos de un estímulo en comparación con otro con un diseño dentro del tema. Tengo un esquema de permutación diseñado para reducir los efectos de orden de algunas partes del estudio (orden de tipo de tarea, orden de estímulo, orden de conjunto de tareas). El esquema de permutación dicta que el tamaño de la muestra sea divisible por 8.

Para determinar el tamaño de la muestra, tendría que hacer una suposición descabellada (siendo una buena tradición en mi campo) o calcular el tamaño de la muestra para mi potencia deseada. El problema ahora es que no tengo la menor idea del tamaño del efecto que voy a observar (también una buena tradición en mi campo). Eso significa que el cálculo de potencia es un poco difícil. Por otro lado, hacer una suposición descabellada también podría ser malo porque puedo obtener un tamaño de muestra demasiado bajo o pagar demasiado dinero a mis participantes y pasar demasiado tiempo en el laboratorio.

¿Está bien decir por adelantado que agrego participantes en lotes de 8 personas hasta que deje un corredor de dos valores p? Por ejemplo, 0,05 <p <0,30? ¿O de qué otra manera, me recomendarías, debería proceder?

Primero, para responder su pregunta directamente: no, no puede continuar hasta que obtenga un valor p significativo. El diseño que propone tiene una tasa de error tipo I superior al 5%. Sin embargo, la idea subyacente es correcta, excepto que debe ajustar los límites. De hecho, como @cardinal mencionó en los comentarios, hay un campo completo de investigación para su pregunta: estos se denominan diseños secuenciales, secuenciales de grupo, o más generalmente, adaptativos (no son las mismas cosas, pero a lo largo del tiempo) líneas de tu idea).

Aquí hay una referencia que demuestra algunas de las ideas básicas: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Optimizing Trial Design: Circulación de estrategias de secuenciación, adaptación y enriquecimiento . 2009; 119: 597-605

¿Has considerado mirar el poder en una variedad de tamaños de efectos? Por ejemplo, con frecuencia calculo la potencia como una curva, y termino con una miríada de escenarios potenciales integrados en el gráfico, en el que luego puedo tomar una decisión sobre el tamaño de la muestra. Por ejemplo, podría calcular el tamaño de muestra necesario para las medidas de efecto que van desde muy cercanas a nulas o ligeramente más altas que mis sueños más salvajes de esta revisión de pares.

También podría trazar otros escenarios, dependiendo de cuánto no sé sobre los datos. Por ejemplo, a continuación se muestra una gráfica que calcula la potencia, no el tamaño de la muestra, pero tiene un concepto similar. Sé muy poco acerca de los datos, por lo que asumí una tasa de eventos del 10% para un análisis de supervivencia, y luego calculé la potencia del estudio (se fijó el tamaño de la muestra) en varias condiciones:

Uno podría incluso ser capaz de variar en este caso la cantidad de eventos, lo que lo dejaría con múltiples parcelas o con una "superficie de energía". Esa parece ser una forma mucho más rápida de controlar al menos dónde debería buscar el tamaño de la muestra, en lugar de modificar el tamaño de la muestra sobre la marcha. O al menos le da un umbral donde puede dejar de agregar personas. Por ejemplo, si sus cálculos le dicen que 1,000 personas le permitirán ver el efecto de algo muy pequeño, por ejemplo, una razón de riesgo de 1.01 o similar, sabrá que si acierta, puede dejar de intentar agregar personas, porque no es un problema de energía, sino un problema de "No hay nada allí".

Cuando hago cálculos de potencia, la pregunta que suelo hacer (en mi campo, que también tiene estas tradiciones) tiende a ser "¿Qué tan grande debería ser un efecto para que la gente se preocupe?". Si su método es "significativamente" mejor con una mejora del 0.1%, ¿a alguien le importará? ¿Qué tal una mejora del 0.01%?