¿Libros de texto / lecturas sobre qué hacer cuando no puedes crear un experimento ideal?

Mi entrenamiento estadístico se basa en estadísticas matemáticas, y tomar estas clases de métodos en mi EM es un poco impactante en este momento; Actualmente es difícil para mí comprender algunos de estos métodos "aplicados" ya que no tengo experiencia en la industria.

Uno de los temas de los que hemos estado hablando en mis clases de métodos es la idea del diseño experimental.

Digamos, por ejemplo, que quiero realizar un experimento sobre la efectividad en un programa educativo que pretende elevar los puntajes de las pruebas de los estudiantes de K-12.

En las clases de métodos, han enseñado lo siguiente para abordar este problema: asegúrese de tener una buena pregunta de investigación, un buen método de recopilación de datos, un experimento aleatorio, grupos de tratamiento homogéneos (es decir, uno tratado con este programa, uno quizás no) idealmente de igual tamaño, y luego ejecuta una prueba (o algún tipo de prueba de hipótesis no paramétrica), y todo está bien, ¿verdad?$t$

Tengo poca fe en que así es como funciona en realidad.

He aprendido que, claro, es posible que tengas que hacer un muestreo de conveniencia. Pero aparte de eso, no tengo idea de cómo implementar un diseño experimental que no sea lo que aprendí de un libro de texto.

¿Hay libros de texto, lecturas, etc. que exploren estos problemas en la práctica (e idealmente, no pasen por alto las matemáticas? No necesito pruebas detalladas de todo, pero no quiero que me digan que todo es " obvio, "por ejemplo)?

Hay dos campos donde los experimentos aleatorios son casi siempre imposibles: son las ciencias sociales y la economía. En estos casos solo puedes hacer "cuasi experimentos". Intente buscar con palabras clave cuasi experimentos, estudios observacionales y ciencias sociales ; Obtendrá algunos buenos libros de texto. Puedo recomendar dos excelentes libros sobre este tema: el segundo libro de Shadish and Cook es un clásico:

1. Contrafactual e inferencia causal: métodos y principios para la investigación social Por Morgan and Winship
2. Diseños experimentales y cuasiexperimentales para la inferencia causal generalizada por William R. Shadish y Thomas D. Cook

Un artículo clásico que utiliza una técnica llamada "coincidencia de puntaje de propensión" en un entorno no experimental para la inferencia causal por Dehejia y Wahba también es muy recomendable.

Recomendaciones adicionales

1. Diseño de estudios observacionales por Paul R. Rosenbaum.
2. Inferencia causal para estadísticas, ciencias sociales y ciencias biomédicas: una introducción de Imbens y Rubin.

SI está viendo cuasi experimentos de series de tiempo, los libros anteriores tienen algunos capítulos dedicados a ellos, pero un libro dedicado es de Gene v. Glass Design and Analysis of Time-Series Experiments y revisaría su artículo Series de tiempo interrumpidas .

Trivia: Gene V Glass acuñó el término " Meta Análisis ".

Aquí es donde los diseños cuasiexperimentales pueden ser útiles. En muchas situaciones en la práctica, los diseños experimentales no son prácticos porque, aunque tiene un tratamiento, no puede realizar una asignación aleatoria a grupos o tal vez solo tiene un grupo.

En su ejemplo educativo, es posible que no tenga control sobre quién recibe el tratamiento porque tiene la intención de realizar la intervención a todos los niños en una escuela. Sin embargo, es posible que pueda comparar sus puntajes con los puntajes de años anteriores, o aleatorizar las aulas para que algunas clases reciban la intervención antes que otras, o comparar varias escuelas, incluidas las que no recibieron la intervención.

Puede tener sentido hacer un diseño de series de tiempo interrumpido en el que solo tenga un grupo, pero tome medidas constantemente y administre el tratamiento en la mitad de la duración de su estudio. De esta manera, puede ver si la pendiente de la variable dependiente con el tiempo cambió inmediatamente después del tratamiento, en relación con la pendiente general en todo el estudio. El número de mediciones puede ser tan bajo como 3, pero cuanto más mejor.

Por lo tanto, mi sugerencia es leer sobre diseños de estudio cuasiexperimentales.

El tratamiento más exhaustivo, general y preciso de la causalidad es Judea Pearl 2009, "Causality", 2ª ed., Cambridge University Press.

Especialmente, deja en claro que la causalidad no es realmente un problema estadístico, incluso los datos ilimitados no lo resuelven. Introduce un lenguaje preciso para expresar el conocimiento cualitativo y teórico necesario para la inferencia causal cuando algo sobre los datos es subóptimo. Verá que la aleatorización fallida es solo un problema entre muchos. También incluye todos los demás marcos matemáticos, por ejemplo, los de Imbens, Rubin y Rosenbaum. No puedo exagerar cuán accesible, elegante y poderoso es su enfoque.

Lo recomiendo mucho Sin embargo, debe leerlo de manera no lineal (los capítulos 5 y 11 son más accesibles, y luego puede trabajar hacia atrás a través de los capítulos 1, 3 y 7 para comprender la teoría general).

Cuando haya entendido los conceptos básicos, puede examinar fácilmente los avances más recientes, por ejemplo, cuándo es posible "transportar" los hallazgos causales de un contexto a otro, lo que no es necesariamente posible incluso con la aleatorización (Pearl, Judea y Elias Bareinboim 2014, "Validez externa: del cálculo para la transportabilidad entre poblaciones". Ciencia estadística).

Quizás esto es lo que estás buscando ...

Estadísticas para experimentadores

Diseño y análisis de experimentos

Diseño y análisis de experimentos con R (no relacionado con el título anterior)

Mejora de procesos usando datos (gratis en línea o como PDF, el capítulo 5 cubre DoE)