¿Por qué encontrar pequeños efectos en estudios grandes indica un sesgo de publicación?


32

Varios documentos metodológicos (por ejemplo, Egger et al 1997a, 1997b) discuten el sesgo de publicación revelado por los metanálisis, utilizando gráficos en embudo como el que se muestra a continuación. Gráfico en embudo de betabloqueantes en infarto de miocardio

El artículo de 1997b continúa diciendo que "si el sesgo de publicación está presente, se espera que, de los estudios publicados, los más grandes reporten los efectos más pequeños". ¿Pero por qué es eso? Me parece que todo esto probaría lo que ya sabemos: pequeños efectos solo son detectables con muestras de gran tamaño ; sin decir nada sobre los estudios que permanecieron inéditos.

Además, el trabajo citado afirma que la asimetría que se evalúa visualmente en un gráfico en embudo "indica que hubo una no publicación selectiva de ensayos más pequeños con un beneficio menos considerable". Pero, nuevamente, ¡no entiendo cómo las características de los estudios que se publicaron pueden decirnos algo (nos permiten hacer inferencias) sobre trabajos que no se publicaron!

Referencias
Egger, M., Smith, GD y Phillips, AN (1997). Metaanálisis: principios y procedimientos . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M. y Minder, C. (1997). Sesgo en el metanálisis detectado por una prueba simple y gráfica . BMJ , 315 (7109), 629-634.


No creo que tengas esto al revés. Quizás la respuesta a estas preguntas y respuestas podría ayudar a stats.stackexchange.com/questions/214017/…
mdewey

77
Para que un pequeño estudio se publique, tendrá que mostrar un efecto grande sin importar cuál sea el tamaño real del efecto.
Einar

Respuestas:


23

Las respuestas aquí son buenas, +1 para todos. Solo quería mostrar cómo podría verse este efecto en términos de gráfico de embudo en un caso extremo. A continuación, simulo un pequeño efecto como y extraigo muestras de entre 2 y 2000 observaciones de tamaño.N(.01,.1)

Los puntos grises en la trama no se publicarían bajo un estricto régimen . La línea gris es una regresión del tamaño del efecto sobre el tamaño de la muestra, incluidos los estudios de "valor p malo", mientras que el rojo los excluye. La línea negra muestra el verdadero efecto.p<.05

Como puede ver, según el sesgo de publicación, existe una fuerte tendencia a que los estudios pequeños sobreestimen los tamaños de los efectos y que los más grandes informen los tamaños de los efectos más cercanos a la realidad.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

Creado el 20/02/2019 por el paquete reprex (v0.2.1)


1
Excelente punto, realmente ayuda a entender esto intuitivamente, ¡gracias!
z8080

2
+1 Este gráfico vale más que mil palabras y resume bien el problema. Este tipo de sesgo incluso se puede encontrar cuando el tamaño real del efecto es 0.
Underminer

29

Primero, debemos pensar qué es el "sesgo de publicación" y cómo afectará lo que realmente se incluye en la literatura.

Un modelo bastante simple para el sesgo de publicación es que recopilamos algunos datos y si , publicamos. De lo contrario, no lo hacemos. Entonces, ¿cómo afecta esto a lo que vemos en la literatura? Bueno, por un lado, garantiza que (suponiendo que se utilice una estadística Wald). Ahora, un punto que se destaca es que si es realmente pequeño, entonces es relativamente grande y un granSe requiere para su publicación.p<0.05|θ^|/SE(θ^)>1.96nSE(θ^)|θ^|

Ahora supongamos que, en realidad, es relativamente pequeño. Supongamos que realizamos 200 experimentos, 100 con tamaños de muestra realmente pequeños y 100 con tamaños de muestra realmente grandes. Tenga en cuenta que de 100 experimentos de tamaño de muestra realmente pequeño, los únicos que se publicarán mediante nuestro modelo de sesgo de publicación simple son aquellos con valores grandes desolo por error aleatorio . Sin embargo, en nuestros 100 experimentos con muestras de gran tamaño, se publicarán valores mucho más pequeños de . Entonces, si los experimentos más grandes muestran sistemáticamente un efecto menor que los experimentos más pequeños, esto sugiere que quizásθ|θ^| theta | θ |θ^|θ| en realidad es significativamente más pequeño de lo que normalmente vemos en los experimentos más pequeños que realmente se publican.

Nota técnica: es cierto que tener una grany / o pequeño conducirá a . Sin embargo, dado que los tamaños de los efectos generalmente se consideran relativos a la desviación estándar del término de error, estas dos condiciones son esencialmente equivalentes.|θ^| S E ( θ )SE(θ^)p<0.05


"Ahora, un punto que se destaca es que si es realmente pequeño, entonces es relativamente grande y se requiere un grande para su publicación". Esto no es, técnicamente hablando, necesariamente cierto: : si es muy pequeño, entonces un pequeño puede resultar incluso para un tamaño de muestra pequeño, ¿verdad? EDITAR: ¡Oh, espera! Solo lee tu oración de cierre. :) +1S E ( θ ) | θ | S E ( θ ) = S D ( θ )nSE(θ)|θ| SE(θ)SESE(θ)=SD(θ)nSE(θ)SE
Alexis

19

Lea esta declaración de una manera diferente:

Si no hay sesgo de publicación, el tamaño del efecto debe ser independiente del tamaño del estudio.

Es decir, si está estudiando un fenómeno, el tamaño del efecto es una propiedad del fenómeno, no la muestra / estudio.

Las estimaciones del tamaño del efecto podrían (y variarán) entre los estudios, pero si hay un tamaño del efecto decreciente sistemático con el aumento del tamaño del estudio , eso sugiere que hay sesgo. El punto es que esta relación sugiere que hay pequeños estudios adicionales que muestran un tamaño de efecto bajo que no se han publicado, y si se publicaron y, por lo tanto, podrían incluirse en un metanálisis, la impresión general sería que el tamaño del efecto es más pequeño de lo que se estima a partir del subconjunto de estudios publicado.

La varianza de las estimaciones del tamaño del efecto entre los estudios dependerá del tamaño de la muestra, pero debería ver un número igual de estimaciones inferiores y superiores en tamaños de muestra bajos si no hubo sesgo.


1
Pero, ¿es realmente correcto decir que "si no hay sesgo de publicación, el tamaño del efecto debería ser independiente del tamaño del estudio"? Esto es cierto, por supuesto, cuando se refiere al verdadero efecto subyacente, pero creo que se refieren al efecto estimado. Un tamaño del efecto que es dependiente del tamaño del estudio (sesgo sugiriendo) equivale a una relación lineal en que diagrama de dispersión (alta correlación). Esto es algo que personalmente no he visto en ningún gráficos de embudo, a pesar de que, por supuesto, muchos de esos gráficos de embudo tenía implica que existía un sesgo.
z8080

2
@ z8080 Tiene razón, solo si las estimaciones de la media y la desviación estándar son imparciales, el tamaño del efecto estimado será completamente independiente del tamaño del estudio si no hay sesgo de publicación. Dado que la desviación estándar de la muestra está sesgada, habrá un sesgo en las estimaciones del tamaño del efecto, pero ese sesgo es pequeño en comparación con el nivel de sesgo en los estudios a los que se refieren Egger et al. En mi respuesta, lo trato como insignificante, suponiendo que el tamaño de la muestra es lo suficientemente grande como para que la estimación SD sea casi imparcial y, por lo tanto, considero que es independiente del tamaño del estudio.
Bryan Krause

2
@ z8080 La varianza de las estimaciones del tamaño del efecto dependerá del tamaño de la muestra, pero debería ver un número igual de estimaciones inferiores y superiores a tamaños de muestra bajos.
Bryan Krause

2
"Las estimaciones del tamaño del efecto podrían (y variarán) entre los estudios, pero si existe una relación sistemática entre el tamaño del efecto y el tamaño del estudio" Esa formulación no está clara sobre la diferencia entre la dependencia y el tamaño del efecto. La distribución del tamaño del efecto será diferente para el tamaño de la muestra de diferencia, y por lo tanto no será independiente del tamaño de la muestra, independientemente de si hay sesgo. El sesgo es una dirección sistemática de la dependencia.
Acumulación

@Acumulación ¿Mi edición corrige la falta de claridad que vio?
Bryan Krause
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.