¿La mayoría de las correlaciones publicadas en ciencias sociales no son confiables y qué se debe hacer al respecto? [cerrado]

9

A pesar de los importantes esfuerzos de los individuos por "reventar" por revelar las prácticas de las revistas depredadoras , se vislumbra una amenaza mayor y más fundamental a la sombra de la investigación en ciencias sociales ( aunque ciertamente hay múltiples problemas que los investigadores deben abordar ). Para llegar directamente al punto, de acuerdo con una vista, es posible que no podamos confiar en los coeficientes de correlación derivados de muestras menores de 250 .

Sería difícil encontrar una prueba más confiable para inferir la presencia, dirección y fuerza de asociación entre las medidas en ciencias sociales que el coeficiente de correlación confiable. Sin embargo, no sería difícil encontrar informes revisados por pares que hicieran fuertes afirmaciones sobre la relación entre dos construcciones basadas en coeficientes de correlación calculados a partir de datos con menos de 250 casos.

Dada la actual crisis de replicación que enfrentan las ciencias sociales (ver el segundo enlace anterior), ¿cómo deberíamos ver este informe con respecto a la estabilización de los coeficientes de correlación solo en muestras grandes (al menos según algunos estándares de campo de las ciencias sociales)? ¿Es otra grieta en el muro de la investigación de ciencias sociales revisada por pares, o es un asunto relativamente trivial que se ha exagerado en su presentación?

Como no es probable que haya una sola respuesta correcta a esta pregunta, espero generar un hilo en el que los recursos sobre esta pregunta se puedan compartir, considerar cuidadosamente y debatir (cortés y respetuosamente, por supuesto).

correlation methodology publication-bias

— Matt Barstead
fuente

Reconozco que esta es una pregunta basada en la opinión y elude las pautas generales del sitio. El hecho es que una amplia gama de personas viene a este sitio para obtener información sobre las estadísticas, incluida una mejor comprensión de los escollos inherentes a las técnicas que buscan emplear. Espero que al plantear esta amplia pregunta, pueda ayudar con este objetivo ciertamente vago. Aprender a calcular un error estándar es una cosa. Aprender lo que significa manejarlo al tomar una decisión supuestamente basada en evidencia es otra.

— Matt Barstead

Lo que es aún peor es cómo se seleccionan esos casos "obligatorios 250". Veo cada vez más a menudo que alguien publica una súplica para completar una encuesta que necesitan para un trabajo o una tesis, en un sitio de redes sociales. Completa con el tema de la encuesta. Completamente inconsciente de cómo la gente se auto-seleccionará. Adiós a las muestras aleatorias, ya que las personas en el grupo social de alguien no son aleatorias, generalmente pertenecen a grupos ideológicos / políticos / económicos similares, y también se auto-seleccionan en función de lo interesados que estén en el tema. Indique que "el 90% está a favor de X" , solo porque aquellos que son apáticos no fueron voluntarios.

— vsz

7

$\rho$ $L = 0.3$ $\rho \ne 0$ $|\rho| > L$ $\rho$ $L$ $-L$

Por supuesto, solo agregar un intervalo de confianza y usar pruebas significativas no resolverá demasiados problemas (como diseños de muestreo incorrectos, omisión de la consideración de factores de confusión, etc.). Pero es básicamente gratis. ¡Supongo que incluso SPSS puede calcularlos!

— Michael M
fuente

1

De hecho, si SPSS puede hacerlo ... En una nota más seria, creo que la idea de hacer hincapié en los IC tiene mucho sentido. Ayudaría también con los esfuerzos metaanalíticos. Además, me parece que informar los IC en lugar de los valores de p es una aproximación frecuentista de un enfoque bayesiano. Siempre he pensado que los modelos bayesianos tienden a "sentirse" más honestos ya que se centran en modelar una distribución de estimaciones en lugar de encontrar la estimación máximamente probable para un parámetro de población derivado de una sola muestra.

— Matt Barstead

4

Como señala Michael M , la confiabilidad de las correlaciones informadas, o de cualquier otra estimación, se puede evaluar utilizando intervalos de confianza. Hasta cierto punto, eso es. Los IC serán demasiado limitados si se seleccionaron los modelos después de la recopilación de datos, lo que calculo que sucederá aproximadamente el 95% del tiempo en las ciencias sociales (lo que sinceramente afirmaré es una suposición completa).

El remedio es doble:

Estamos hablando de una " crisis de replicabilidad ". Por lo tanto, las replicaciones fallidas nos informan que el efecto original probablemente fue solo ruido aleatorio. Necesitamos hacer (y financiar, y escribir, y enviar y aceptar) más réplicas. Los estudios de replicación están ganando respetabilidad lentamente, y eso es algo bueno.
$n$

— Stephan Kolassa
fuente

@Stephen, pregunta: ¿qué significa "replicación", debería uno usar los mismos datos o datos diferentes para replicar el estudio original? ¿Hay alguna diferencia entre la replicación y la repetibilidad?

— pronosticador

Para su primer punto, creo que los últimos años han visto un movimiento real en el frente de replicabilidad. Un próximo capítulo ofrece algunos consejos para los investigadores de emociones que creo que se traducen bien en una serie de subcampos en la ciencia del comportamiento.

— Matt Barstead

@forecaster: se debe realizar una replicación con datos nuevos recopilados de forma independiente, de lo contrario no aprenderá nada nuevo . "Repetibilidad" no es un término que haya encontrado. Por supuesto, siempre existe la pregunta de si la publicación original es lo suficientemente detallada como para que otra persona pueda repetir el análisis.

— Stephan Kolassa