¿Qué ejemplos de variables al acecho en experimentos controlados hay en publicaciones?

En este papel:

Variables al acecho: algunos ejemplos Brian L. Joiner The American Statistician Vol. 35, N ° 4, noviembre de 1981 227-233

Brian Joiner afirma que "la aleatorización no es una panacea". Esto es contrario a las declaraciones comunes como la siguiente:

Un experimento bien diseñado incluye características de diseño que permiten a los investigadores eliminar variables extrañas como explicación de la relación observada entre la (s) variable (s) independiente (s) y la variable dependiente. Estas variables extrañas se denominan variables al acecho.

La cita fue tomada de esta pregunta y no tiene una fuente, pero en mi experiencia es representativa de la actitud predominante: ejemplos de observación variable e influyente al acecho

Un ejemplo dado es que al probar la seguridad (específicamente carcinogénesis) del colorante rojo # 40 para alimentos en roedores en los años setenta, se descubrió que un efecto de la posición de la jaula confundía el estudio. Ahora he leído muchos artículos de revistas que estudian la carcinogénesis en roedores y nunca he visto a nadie informar que controle este efecto.

Puede encontrar más información sobre estos estudios aquí: Un estudio de caso de estadísticas en el proceso regulatorio: los experimentos FD&C Red No. 40.

No pude encontrar una versión sin paredes de pago, pero aquí hay un extracto:

En la reunión de enero, presentamos un análisis preliminar (14) que reveló una fuerte correlación entre la fila de la jaula y las tasas de mortalidad de RE (tumor retículo endotelial), que variaron del 17% (fila inferior) al 32% (fila superior) (tabla 2) No podríamos explicar esta fuerte asociación por sexo, grupo de dosificación, columna de columna o posición. Un análisis posterior (18) también indicó que la posición de la jaula (frente frente a atrás) podría estar correlacionada con la mortalidad sin ER y esa posición con el tiempo hasta la muerte sin ER.

Estoy específicamente interesado en por qué parece haber un problema con la replicación en la literatura médica, pero los ejemplos de todos los campos serían bienvenidos. Tenga en cuenta que estoy interesado en ejemplos de experimentos controlados aleatorios, no en estudios observacionales.

confounding random-allocation

— Matraz
fuente

Solo por una cuestión de interés, ¿es una variable de lukring lo mismo que una variable de confusión / confusión?

— tomka

@tomka Definiría la variable al acecho como una variable de confusión no anticipada.

— Frasco

Gracias, mi opinión sobre este asunto es que los académicos que no controlan los factores de confusión esperados (la posición de la jaula) hacen inferencias potencialmente defectuosas sobre los efectos del tratamiento y realizan investigaciones subóptimas. Las variables al acecho no se pueden controlar, ya que son inesperadas, por lo que es una cuestión de mala suerte, si ocurren. Sin embargo, eso es menos problemático si se observan, lo que los hace controlables post-hoc. Los peligrosos son los acechadores no observados y, por lo tanto, desconocidos. El análisis de sensibilidad puede ser aconsejable si se sospecha esto.

— tomka

@tomka Es por eso que hice la pregunta de lo que se ha informado. Hay muchos pasos en los experimentos que los investigadores no piensan en aleatorizar porque piensan que probablemente sean irrelevantes y que tomaría un esfuerzo adicional hacerlo (posiblemente agregando horas todos los días al trabajo) o introducir la posibilidad de cometer un error en el etiquetado. En el ejemplo del té de degustación de la dama de los pescadores, dice que aleatorizar el orden de todo, esto es menos práctico para muchos experimentos preclínicos.

— Frasco

Tenga en cuenta que el propósito de la asignación aleatoria no es equilibrar las variables no controladas, sino más bien hacer que las diferencias sean aleatorias. La lógica básica de una prueba de significación es proporcionar una prueba de si las variables aleatorias no controladas podrían explicar los resultados de manera plausible. En otras palabras, un estudio no tiene que medir las variables de acecho para ser válido.

— David Lane

Respuestas:

Algunos ejemplos de la investigación clínica pueden ser variables que surgen después de la aleatorización: la aleatorización no lo protege de esos. Algunos fuera de mi cabeza, que se han planteado como posibilidades o se han observado:

Cambios en el comportamiento después de la circuncisión voluntaria de varones adultos para la prevención del VIH
Pérdida diferencial en el seguimiento entre el tratamiento y los brazos de control de un ECA
Un ejemplo más específico podría incluir el reciente estudio "Beneficios de la vestimenta y guantes universales" que analiza la prevención de infecciones adquiridas en el hospital ( comentario del blog aquí , el documento está detrás de un muro de pago). Además de la intervención, y posiblemente debido a ella, cambiaron tanto las tasas de higiene de manos como las tasas de contacto entre pacientes y el personal / visitantes.

La aleatorización no protege contra ninguno de esos efectos, ya que surgen después de la aleatorización.

— Fomite
fuente

Aquí hay un ejemplo que encontré para datos de microarrays. Se ha informado que la expresión medida está fuertemente correlacionada con la posición en los "chips". Este es un caso en el que aleatorizar la posición de las muestras puede conducir a una mayor probabilidad de cometer un error de etiquetado, por lo que aquellos que realizan el trabajo técnico pueden optar por no aleatorizar si no creen que sea importante.

La asignación aleatoria de unidades experimentales a los tratamientos controla la probabilidad de que cualquier factor que no sea el tratamiento sea la causa de la asociación (1,2) ⁠. En algunas plataformas de microarrays como Illumina® y NimbleGenTM, se pueden hibridar múltiples muestras biológicas en un solo chip. Los efectos de posición de la muestra y el chip pueden afectar la precisión y la reproducibilidad de los experimentos de microarrays a menos que se considere el equilibrio y la aleatorización en el diseño experimental (4). Nuestro objetivo fue comparar el impacto de estos efectos en un experimento confuso y aleatorio.

Importancia de la aleatorización en diseños experimentales de microarrays con plataformas Illumina

Ricardo A. Verdugo, Christian F. Deschepper y Gary A. Churchill. The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canadá.

— Matraz
fuente

Tengo un ejemplo que podría ser algo diferente de lo que originalmente pretendías cuando hiciste esta pregunta. El último año o dos han dado lugar a una discusión en curso en psicología sobre la causa de la falta de replicabilidad de los efectos de los experimentos aleatorios. Las versiones de este debate han surgido durante muchos años, pero el debate se ha vuelto más estridente desde la publicación de un documento que muestra que muchas prácticas que son estándar en psicología en la formulación de hipótesis, recopilación de datos, análisis de datos e informes de resultados. Permitir a los investigadores encontrar resultados que respalden incluso hipótesis elegidas arbitrariamente (en el documento original, los investigadores utilizaron estas prácticas para mostrar que escuchar "When I'm Sixty-Four" de los Beatles hizo que las personas fueran más jóvenes).

La raíz del problema, por supuesto, son las estructuras de incentivos generalizadas en psicología (y en otras ciencias) para obtener resultados novedosos, positivos y "publicables". Estos incentivos alientan a los científicos investigadores a adoptar prácticas que, aunque no son tan obviamente "erróneas" como la fabricación de datos, conducen a una mayor tasa de resultados falsos positivos. Estas prácticas incluyen:

La colección de variables dependientes múltiples y muy similares. Solo se informa la variable dependiente que produce los resultados más consistentes con la hipótesis original.
Durante la recopilación de datos, probar los resultados significativos varias veces y detener la recopilación de datos cuando se obtiene importancia.
Durante el análisis, la inclusión de múltiples covariables en el modelo estadístico. En el artículo final, solo se informa la combinación de covariables que conduce a resultados más consistentes con la hipótesis original.
Caída de condiciones que conducen a resultados que son inconsistentes con las hipótesis originales y no informar estas condiciones en el documento.

Y así.

Yo diría que la "variable al acecho" en estos casos es la estructura de incentivos que recompensa a los investigadores por obtener resultados positivos, "publicables". De hecho, ya ha habido varios resultados de alto perfil en psicología (muchos de los cuales están en mi especialidad, psicología social) que no han podido replicarse. Estas fallas en replicarse, argumentan muchos, arrojan dudas sobre subcampos enteros de psicología.

Por supuesto, el problema de las estructuras de incentivos que fomentan los falsos positivos no es exclusivo de la psicología; Este es un problema endémico para toda la ciencia y, por lo tanto, para todos los ensayos controlados aleatorios.

Referencias

Simmons, JP, Nelson, LD y Simonsohn, U. (2011). Psicología falsa positiva: la flexibilidad no revelada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa. Psychological Science , 17, 1359-1366.

Nosek, BA, Spies, JR y Motyl, M. (2012). Utopía científica: II. Reestructuración de incentivos y prácticas para promover la verdad sobre la publicabilidad. Perspectivas sobre la ciencia psicológica , 7, 615-631.

Yong, E. (2012). Mala copia Nature , 485, 298-300.

Abbott, A. (2013). Los resultados en disputa son un nuevo golpe para la psicología social. Naturaleza , 497, 16.

— Patrick S. Forscher
fuente