La aleatorización en una muestra no aleatoria aún puede mostrar que un efecto no se explica razonablemente por la variación aleatoria.
Por ejemplo, imagine que tenemos una población con dos subgrupos no reconocidos (con características algo diferentes *) de un tamaño aproximadamente igual, pero su muestra no es aleatoria, lo que da una división 80/20. Imaginemos 2 grupos de tratamiento de igual tamaño. La aleatorización (al menos con tamaños de muestra decentes) tenderá a dar una división cercana a 80/20 en cada grupo, por lo que los efectos del tratamiento se deben al tratamiento, en lugar de la asignación desigual de los grupos heterogéneos a los tratamientos.
* conduce a diferentes medios de referencia, digamos
El problema surge cuando desea extender la inferencia a alguna población objetivo distinta de la que representa su muestra (los auto-selectores); esto requiere suposiciones / un argumento para el que no tenga evidencia (como asumir que las diferencias de tratamiento serán consistentes para todos los subconjuntos de la población).
Para una situación similar, imagine probar un medicamento para la hipertensión solo en hombres, en comparación con un tratamiento estándar y un placebo. Suponga que los hombres están asignados al azar al grupo de tratamiento. Un efecto del tratamiento será real en el sentido de que realmente describe un efecto en los hombres. La dificultad vendrá al tratar de extender esa inferencia a las mujeres .
Entonces, si se llevan a cabo correctamente y se aleatorizan aparte del reclutamiento, un efecto significativo observado será lo que parece, pero se aplicará a lo que realmente muestreó, no necesariamente a cuál era su objetivo deseado: cruzar la brecha entre los dos puede requieren argumentos cuidadosos; tal argumento a menudo está ausente.
Cuando era estudiante, era bastante común que se llevaran a cabo experimentos de psicología en estudiantes de psicología, de quienes se esperaba que fueran voluntarios durante un cierto número de horas de tales experimentos (esto puede ser el caso, pero no tengo contacto regular con psicólogos). quienes hacen más experimentos). Con la aleatorización al tratamiento, las inferencias pueden haber sido válidas (dependiendo de lo que se hizo), pero se aplicarían a la población local de estudiantes de psicología autoseleccionados (en el sentido de que generalmente eligen para qué experimentos inscribirse), que están muy lejos de Una muestra aleatoria de la población en general.