Buscando una ilustración real de la cita de Fisher sobre DoE

Mi equipo y yo quisiéramos dar una presentación a los no estadísticos de la compañía sobre la utilidad del diseño de experimentos. Estos no estadísticos también son nuestros clientes y generalmente no nos consultan antes de recopilar sus datos. ¿Conoce algunos ejemplos reales que ilustrarían la famosa cita de Fisher? "Llamar al estadístico después de que se realiza el experimento no puede ser más que pedirle que realice un examen post mortem: solo puede decir lo que murió el experimento de." ? Preferiblemente estamos buscando una ilustración en un contexto industrial / farmacéutico / biológico. Pensamos en un ejemplo de un análisis estadístico no concluyente que podría haber tenido éxito si hubiera sido bien diseñado preliminarmente, pero tal vez haya otras ilustraciones posibles.

Me he encontrado con diseños en los que el experimentador quería probar entre efectos de sujeto, pero el diseño era más adecuado para efectos de sujeto.

Por ejemplo, un experimento consistió en 8 ratas, cuatro en la dieta A y cuatro en la dieta B, y el peso de la rata se midió cada día durante cuatro semanas. Esto estaba bien si estaban interesados ​​en el efecto temporal de cada dieta, pero el objetivo era investigar las diferencias en las dietas.

Pensaron que midiendo cada rata 28 veces tenían muchos datos, pero la unidad experimental para el efecto de la dieta era la rata, que solo tenían 4 para cada tratamiento. Podrían haber medido las ratas 10 veces al día, pero no habría hecho ninguna diferencia, al final necesitaban más ratas.

Trabajé para una organización llamada Fundación Nacional para la Conciencia Celíaca. La organización promueve la conciencia del público sobre la enfermedad celíaca y proporciona una lista de verificación de los síntomas de la enfermedad que implica intolerancia a los alimentos que contienen gluten. Realizaron una encuesta en Internet simplemente abriéndola a cualquiera que quisiera participar. Con los años, recolectaron miles de respuestas del público. Sin embargo, esperaban sacar conclusiones sobre el público en general basándose en los resultados de la encuesta. Tuve que decirles que los encuestados fueron autoseleccionados en lugar de aleatorios y esto podría crear un sesgo. Dado que se desconoce el grado de sesgo, no podríamos hacer ninguna inferencia a pesar de la gran cantidad de datos.

Ahora los encuestados parecían ser un grupo peculiar. Muchos son muy serios y respondieron para expresar su preocupación de que ellos o un pariente pudieran tener la enfermedad. Pero también había un número distinto de personas respondiendo de manera sabia. Esto fue obvio por los nombres falsos, direcciones de correo electrónico extrañas y direcciones postales que proporcionaron con sus respuestas.

Sentí que los datos solo eran útiles en un sentido exploratorio y la frecuencia de las respuestas podría ser útil para formular hipótesis que podrían probarse en una encuesta futura bien planificada. Pero hasta ahora mi consejo no se ha tenido en cuenta y están ejecutando otra de estas encuestas de auto-selección fáciles de hacer en Internet.

Hace algún tiempo, me pidieron que analizara los resultados de un experimento sobre cómo la posición de almacenamiento nocturno de una matriz solar fotovoltaica afectaba la velocidad a la que se acumulaba el suelo en la matriz. (Estas grandes matrices fotovoltaicas de concentración siguen al sol todo el día, pero por la noche generalmente se almacenan apuntando hacia arriba, ya que esta es la posición de mínimo estrés para el seguidor). La suciedad es un gran problema, ya que reduce significativamente la producción de energía y la limpieza No es barato. El experimento se había realizado en un campo de aproximadamente 120 rastreadores; la mitad oeste se había guardado verticalmente y la mitad este horizontalmente (esto estaba alineado con las conexiones del rastreador a los dos inversores, lo que transmitiría una ventaja en la producción de energía durante el experimento si hay un efecto significativo y no hay un patrón particular de suciedad, de lo contrario no es,

Desafortunadamente, hay un fuerte patrón de viento predominante en el desierto desde el sur-suroeste, y un gran edificio al sur de la parte occidental del campo, "sombreando" (algo) gran parte de la parte occidental del campo de partículas arrastradas por el viento. . Además, los rastreadores se "sombrean" entre sí del viento hasta cierto punto. En consecuencia, los mecanismos por los cuales el suelo se acumula (por ejemplo, soplado por el viento o sedimentando) varían en magnitud relativa en todo el campo. Esto a su vez implica que las matrices acumulan tierra a diferentes velocidades dependiendo de la ubicación; Este no es un efecto pequeño.

El resultado final del análisis fue, esencialmente, que no era inverosímil que la posición de almacenamiento marcara la diferencia, pero no podíamos, de ninguna manera, descartar la posibilidad de que el efecto fuera trivial, ni determinar con gran confianza (basado en los datos) el signo del efecto. Luego diseñé un experimento de seguimiento, asignando posiciones de almacenamiento basadas en la ubicación de la matriz con el objetivo de poder estimar la "superficie de respuesta" de suciedad en el campo para ambas posiciones de almacenamiento, estimar las tasas de suciedad "asentada" frente a "soplada por el viento", y por supuesto, el efecto del ángulo de almacenamiento en ambos. Este experimento fue bastante exitoso y pudimos obtener una imagen clara de los beneficios del almacenamiento vertical después de solo un par de meses.

Un colega me pidió que 'hiciera las estadísticas' en un estudio que analizaba la correlación entre un cierto tipo de evento climático y fallas en un tipo de infraestructura que generalmente se atribuyen al simple desgaste. El colega quería ver si los eventos climáticos realmente estaban contribuyendo al fracaso o no. Un equipo de personas ya había dedicado mucho tiempo y esfuerzo a recopilar una gran cantidad de datos y el trabajo de investigación estaba prácticamente terminado, solo necesitaban a alguien que 'hiciera las estadísticas' y completara la parte final de la sección de resultados.

El problema era que se habían asegurado minuciosamente de que el conjunto de datos contenía solo períodos "interesantes" en los que se había producido el evento climático en cuestión. Eso significaba que no había forma de comparar la tasa de fallas durante los eventos con tiempos que no son de eventos. Traté de explicar el problema repetidamente, pero nunca estuvieron realmente convencidos, porque simplemente tenían tantos datos que seguramente podría sacar algo de eso.

Afortunadamente, todavía había un rango de severidad de los eventos climáticos y había una correspondencia débil entre la severidad y la tasa de falla, por lo que al menos recuperamos algo de ella, pero el resultado podría haber sido mucho más definitivo si hubieran pensado en cómo 'hacer las estadísticas' antes de embarcarse en el ejercicio de recopilación de datos.