¿Cómo estamos definiendo 'investigación reproducible'?

Esto ha surgido en algunas preguntas ahora, y me he estado preguntando sobre algo. ¿Se ha movido el campo en su conjunto hacia la "reproducibilidad" enfocándose en la disponibilidad de los datos originales y el código en cuestión?

Siempre me enseñaron que el núcleo de la reproducibilidad no era necesariamente, como me he referido, la capacidad de hacer clic en Ejecutar y obtener los mismos resultados. El enfoque de datos y códigos parece suponer que los datos son correctos, que no hay un defecto en la recopilación de los datos en sí (a menudo demostrablemente falso en el caso de fraude científico). También se centra en una sola muestra de la población objetivo, en lugar de la replicabilidad del hallazgo en múltiples muestras independientes.

¿Por qué se hace hincapié en poder volver a ejecutar el análisis, en lugar de duplicar el estudio desde cero?

El artículo mencionado en los comentarios a continuación está disponible aquí .

"Investigación reproducible" como análisis reproducible

La investigación reproducible es un término utilizado en algunos dominios de investigación para referirse específicamente a la realización de análisis de manera que

• el código transforma datos sin procesar y metadatos en datos procesados,
• el código ejecuta análisis de los datos y
• El código incorpora análisis en un informe.

Cuando se comparten dichos datos y códigos, esto permite a otros investigadores:

• realizar análisis no informados por los investigadores originales
• verificar la exactitud de los análisis realizados por los investigadores originales

Este uso se puede ver en las discusiones de tecnologías como Sweave . Por ejemplo, Friedrich Leisch escribe en el contexto de Sweave que "el informe puede actualizarse automáticamente si cambian los datos o el análisis, lo que permite una investigación realmente reproducible". También se puede ver en la Vista de tareas CRAN sobre investigación reproducible que establece que "el objetivo de la investigación reproducible es vincular instrucciones específicas con el análisis de datos y los datos experimentales para que la beca pueda ser recreada, mejor entendida y verificada".

Uso más amplio del término "reproducibilidad"

La reproducibilidad es un objetivo fundamental de la ciencia. No es nuevo Los informes de investigación incluyen secciones de métodos y resultados que deben describir cómo se generaron, procesaron y analizaron los datos. Una regla general es que los detalles proporcionados deben ser suficientes para permitir que un investigador adecuadamente competente tome la información proporcionada y reproduzca el estudio.

La reproducibilidad también está estrechamente relacionada con los conceptos de replicabilidad y generalización.

Por lo tanto, el término "investigación reproducible", tomado literalmente, como aplicado a tecnologías como Sweave, es un nombre inapropiado, dado que sugiere una relevancia más amplia de la que cubre. Además, al presentar tecnologías como Sweave a los investigadores que no han utilizado tales tecnologías, estos investigadores a menudo se sorprenden cuando llamo al proceso "investigación reproducible".

Un término mejor que "investigación reproducible"

Dado que la "investigación reproducible", tal como se utiliza en contextos similares a Sweave, solo se refiere a un aspecto de la investigación reproducible, quizás se deba adoptar un término alternativo. Las posibles alternativas incluyen:

• Análisis reproducible:
  • John D Cook ha usado este término
  • Jennifer Blackford usa el término "análisis confiables y reproducibles"
• Análisis de datos reproducibles
  • Christophe Pouzat usa este término
• Análisis estadístico reproducible
  • Un sitio de Biostats en Vanderbilt utiliza el término "análisis estadístico reproducible y actividades de informes"
• Reportes reproducibles

Todos los términos anteriores son un reflejo más preciso de lo que implican los análisis tipo Sweave. El análisis reproducible es corto y dulce. Agregar "datos" o "estadísticas" aclara aún más las cosas, pero también hace que el término sea más largo y más estrecho. Además, "estadístico" tiene un significado limitado y amplio, y ciertamente dentro del significado limitado, gran parte del procesamiento de datos no es estadístico. Por lo tanto, la amplitud que implica el término "análisis reproducible" tiene sus ventajas .

No se trata solo de reproducibilidad

El otro problema adicional con el término "investigación reproducible" es que el objetivo de las tecnologías similares a Sweave no es solo la "reproducibilidad". Hay varios objetivos interrelacionados:

• Reproducibilidad
  • ¿Se pueden volver a ejecutar fácilmente los análisis para transformar los datos sin procesar en un informe final con los mismos resultados?
• Exactitud
  • ¿Es el análisis de datos consistente con las intenciones del investigador?
  • ¿Son correctas las intenciones del investigador?
• Franqueza
  • Transparencia, responsabilidad
    • ¿Pueden otros verificar y verificar la precisión de los análisis realizados?
  • Extensibilidad, modificabilidad
    • ¿Pueden otros modificar, ampliar, reutilizar y mezclar los datos, análisis o ambos para crear nuevos trabajos de investigación?

Hay un argumento de que el análisis reproducible debe promover análisis correctos, porque hay un registro escrito de análisis que se puede verificar. Además, si se comparten datos y códigos, crea responsabilidad que motiva a los investigadores a verificar sus análisis, y permite a otros investigadores notar las correcciones.

El análisis reproducible también se ajusta estrechamente a los conceptos relacionados con la investigación abierta. Por supuesto, un investigador puede usar tecnologías similares a Sweave solo para sí mismo. Los principios de investigación abierta fomentan el intercambio de datos y el código de análisis para permitir una mayor reutilización y responsabilidad.

Esto no es realmente una crítica del uso de la palabra "reproducible". Más bien, solo destaca que el uso de tecnologías similares a Sweave es necesario pero no suficiente para lograr objetivos de investigación científica abiertos.

Tener acceso a los datos y al código para el análisis en una forma fácil de ejecutar es una condición sine qua non para la investigación reproducible. Una vez que verifique que el análisis funciona, puede sustituir su propio código / datos cuando sea escéptico del autor original. Diría que la mayoría de los documentos que contienen estadísticas que leo tienen al menos una parte de la metodología que queda vaga. Mis intentos de reproducir estos análisis a menudo no tienen éxito (y siempre consumen mucho tiempo), pero es muy difícil decir si esto se debe a fraude, error humano o (mucho más probable) a resolver estas ambigüedades de manera diferente que el autor. Por lo tanto, tener datos + código para un artículo no garantiza que sus conclusiones sean verdaderas, pero hace que sea mucho más fácil criticarlas o extenderlas.

Además, la "investigación reproducible" es una cuestión de grado. Por lo tanto, el movimiento de investigación reproducible puede verse como una investigación alentadora que es "más reproducible" que la norma, en lugar de exigir que la investigación alcance algún umbral mínimo. Supongo que "liberar los datos y el código" está de moda ahora porque es un paso relativamente fácil y no amenazante.

Ser capaz de volver a ejecutar todo es un punto de partida para la investigación reproducible. Permite mostrar que en realidad está utilizando el mismo procedimiento. Después de eso, y solo después de eso, puede continuar la investigación de su compañero. En otras palabras, la reproducibilidad estricta no debe ser percibida como un momento en el que la investigación avanza, sino como un hito, un consenso , algo en lo que las personas están de acuerdo. ¿No es esto fundamental ir más allá?

Además, de acuerdo con la discusión de Donoho (lea la sección 2 "el escándalo"), el objetivo de la investigación reproducible también es probar la solidez del código dado. Primero jugando con el código, haciendo una ligera modificación que no se hizo en el papel (porque no queremos papeles con 30 Figuras ...). Creo que el concepto de investigación reproducible en la literatura contiene la idea de tener un hito fuerte y robusto. Casi contiene la idea de ir más allá.