Aleatorización de muestra no aleatoria


9

Siempre me sorprende un poco ver anuncios psicológicos por participar en estudios experimentales. Por supuesto, las personas que responden a estos anuncios no se toman al azar y, por lo tanto, son una población autoseleccionada.

Como se sabe que la asignación al azar resuelve el problema de la auto-selección, me preguntaba si la asignación al azar de una muestra no aleatoria realmente cambió algo.

Qué piensas ? Y también, ¿qué deberíamos hacer con todos estos experimentos psicológicos basados ​​en una muestra altamente autoseleccionada?


Respuestas:


10

La aleatorización en una muestra no aleatoria aún puede mostrar que un efecto no se explica razonablemente por la variación aleatoria.

Por ejemplo, imagine que tenemos una población con dos subgrupos no reconocidos (con características algo diferentes *) de un tamaño aproximadamente igual, pero su muestra no es aleatoria, lo que da una división 80/20. Imaginemos 2 grupos de tratamiento de igual tamaño. La aleatorización (al menos con tamaños de muestra decentes) tenderá a dar una división cercana a 80/20 en cada grupo, por lo que los efectos del tratamiento se deben al tratamiento, en lugar de la asignación desigual de los grupos heterogéneos a los tratamientos.

* conduce a diferentes medios de referencia, digamos

El problema surge cuando desea extender la inferencia a alguna población objetivo distinta de la que representa su muestra (los auto-selectores); esto requiere suposiciones / un argumento para el que no tenga evidencia (como asumir que las diferencias de tratamiento serán consistentes para todos los subconjuntos de la población).

Para una situación similar, imagine probar un medicamento para la hipertensión solo en hombres, en comparación con un tratamiento estándar y un placebo. Suponga que los hombres están asignados al azar al grupo de tratamiento. Un efecto del tratamiento será real en el sentido de que realmente describe un efecto en los hombres. La dificultad vendrá al tratar de extender esa inferencia a las mujeres .

Entonces, si se llevan a cabo correctamente y se aleatorizan aparte del reclutamiento, un efecto significativo observado será lo que parece, pero se aplicará a lo que realmente muestreó, no necesariamente a cuál era su objetivo deseado: cruzar la brecha entre los dos puede requieren argumentos cuidadosos; tal argumento a menudo está ausente.

Cuando era estudiante, era bastante común que se llevaran a cabo experimentos de psicología en estudiantes de psicología, de quienes se esperaba que fueran voluntarios durante un cierto número de horas de tales experimentos (esto puede ser el caso, pero no tengo contacto regular con psicólogos). quienes hacen más experimentos). Con la aleatorización al tratamiento, las inferencias pueden haber sido válidas (dependiendo de lo que se hizo), pero se aplicarían a la población local de estudiantes de psicología autoseleccionados (en el sentido de que generalmente eligen para qué experimentos inscribirse), que están muy lejos de Una muestra aleatoria de la población en general.


Reclutar estudiantes universitarios pobres sigue siendo la práctica. Que se espere que un estudiante de psicología participe en tales estudios es una violación terrible de la integridad de la investigación, en mi opinión.
StasK

@StasK: ¿Por qué? Solía ​​encontrarlos bastante interesantes, y me imagino que participar en ellos daría una perspectiva útil a los estudiantes de psicología.
Scortchi - Restablece a Monica

1
Sí, el modelo de "grupo psicológico de introducción" sigue vivo y bien. @StasK, para hacerlo un poco menos coercitivo, solo se les pide a los estudiantes que participen en algunos experimentos y pueden elegir cuáles. Creo que también tenemos alguna forma para que los estudiantes opten por no participar.
Matt Krause

2
En estos días, la gente también se está volviendo loca con Mechanical Turk de Amazon, Google Consumer Surveys y algunas otras cosas "en la nube". Estos teóricamente te dan acceso a otros grupos de temas, pero también hay muchos problemas allí (las "condiciones" son mucho más variables, los temas pueden estar menos motivados y no tienes una forma real de saber si son quienes dicen ...) Los estudiantes universitarios están ahí, bastante motivados para hacer el experimento y, a menudo, dispuestos a trabajar por poco dinero.
Matt Krause

@MattKrause: En mi día, participarías en un sorteo por una botella de vino; nunca hubo escasez de voluntarios.
Scortchi - Restablece a Monica

6

Como se sabe que la asignación al azar resuelve el problema de la auto-selección, me preguntaba si la asignación al azar de una muestra no aleatoria realmente cambió algo.

En resumen, no. Piénselo de esta manera: tiene una urna con 100 bolas negras y 100 bolas blancas. Muestras 90 bolas negras y 10 bolas blancas de ella. El muestreo aleatorio de esta submuestra no le permitirá inferencia imparcial en la urna misma.

Y también, ¿qué deberíamos hacer con todos estos experimentos psicológicos basados ​​en una muestra altamente autoseleccionada?

La gente está de acuerdo en que el muestreo no aleatorio es un problema. Pero qué tan problemático es también una cuestión de su "teoría" del mecanismo que le interesa. Si su hipótesis trata con un mecanismo que debería ser básicamente el mismo para todos los humanos (es decir, experimentar una sensación de congelación cuando se sumerge en hielo) agua), entonces la selección no aleatoria no importa tanto. Desafortunadamente, eso no suele ser lo que nos interesa.


Los psicólogos hacen preguntas como "Si estoy tratando de romper una pelota arrojándola contra la pared en lugar de ponerla sobre una mesa y golpearla con un martillo, ¿qué procedimiento es más probable que la divida?" No están intentando la inferencia sobre el número de bolas de cada color, están intentando una inferencia sobre el modo de rotura con respecto a la aleatorización a ese modo.
StasK

No necesariamente, Stas. En algunos casos (por ejemplo, el efecto Stroop), el objetivo es generalizar a un mecanismo cognitivo inherente a todos los humanos. Incluso si estamos comparando tratamientos, la aleatorización dentro de la muestra no permitirá la inferencia imparcial a la población (que es lo que nos interesa).
abaumann

1

Existe una técnica diseñada para tratar los problemas que menciona, conocida como Bootstrapping. Bootstrapping es un enfoque en el que genera nuevas muestras sintéticas al extraer de su grupo de muestras real con reemplazo. Luego, realiza estadísticas sobre cada uno de esos grupos de muestras sintéticas y compara las estadísticas entre conjuntos.

Esto tiene una gran ventaja de permitirle utilizar una gran cantidad de herramientas adicionales en sus estadísticas porque estas muestras sintéticas provienen de una distribución conocida. Luego puede determinar qué tan buenos son sus estimadores para manejar estos casos sintéticos. Si encuentra que los estimadores para todas sus muestras sintéticas convergen muy bien en el mismo resultado, los supuestos de bootstrapping le permiten inferir que sus estimadores, cuando se aplican a la muestra completa, proporcionan buenas estimaciones para la población desconocida. Si, por otro lado, encuentra que sus estimadores arrojan resultados muy diferentes del conjunto de muestras sintéticas al conjunto de muestras sintéticas, debe inferir que sus estimadores, cuando se aplican a la muestra completa, pueden no proporcionar una estimación muy buena para la población desconocida.

Este enfoque de arranque puede usarse para validar si la aleatorización de su muestra no aleatoria es suficiente. No puede probarlo, por supuesto, pero se ha utilizado como una herramienta para mejorar la credibilidad al verificar que su muestreo aleatorio sea lo suficientemente aleatorio.


2
Bootstrapping supone que su muestra es muy similar a la población. Bootstrapping es inútil si su muestra no es representativa de la población. Por lo tanto, no estoy seguro de cómo el bootstrapping puede resolver el problema de las muestras no aleatorias.
Hotaka
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.