¿Cómo gestionar eficientemente un proyecto de análisis estadístico?

A menudo escuchamos sobre la gestión de proyectos y los patrones de diseño en informática, pero con menos frecuencia en análisis estadísticos. Sin embargo, parece que un paso decisivo hacia el diseño de un proyecto estadístico efectivo y duradero es mantener las cosas organizadas.

A menudo abogo por el uso de R y una organización consistente de archivos en carpetas separadas (archivo de datos sin procesar, archivo de datos transformados, scripts R, figuras, notas, etc.). La razón principal de este enfoque es que puede ser más fácil ejecutar su análisis más tarde (cuando olvidó cómo produjo un gráfico determinado, por ejemplo).

¿Cuáles son las mejores prácticas para la gestión estadística de proyectos , o las recomendaciones que le gustaría dar desde su propia experiencia? Por supuesto, esto se aplica a cualquier software estadístico. ( una respuesta por publicación, por favor )

Estoy compilando una serie rápida de pautas que encontré en SO (como lo sugirió @Shane), Biostar (en adelante, BS) y este SE. Hice todo lo posible para reconocer la propiedad de cada elemento y seleccionar la primera respuesta o la que recibió más votos. También agregué cosas propias y marqué elementos que son específicos del entorno [R].

Gestión de datos

• Cree una estructura de proyecto para mantener todas las cosas en el lugar correcto (datos, código, figuras, etc., giovanni / BS)
• Nunca modifique archivos de datos sin procesar (idealmente, deben ser de solo lectura), copie / cambie el nombre a nuevos cuando realice transformaciones, limpiezas, etc.
• Verifique la consistencia de los datos ( whuber / SE)
• Administre las dependencias de script y el flujo de datos con una herramienta de automatización de compilación, como GNU make ( Karl Broman / Zachary Jones )

Codificación

• organizar el código fuente en unidades lógicas o bloques de construcción ( Josh Reich / hadley / ars / SO; giovanni / Khader Shameer / BS)
• separe el código fuente de las cosas de edición, especialmente para proyectos grandes, superponiéndose en parte con elementos e informes anteriores
• Documente todo, por ejemplo, con [R] oxígeno ( Shane / SO) o una auto-anotación consistente en el archivo fuente - una buena discusión sobre Medstats, Documentación de análisis y edición de datos Opciones
• [R] Las funciones personalizadas se pueden colocar en un archivo dedicado (que puede obtenerse cuando sea necesario), en un nuevo entorno (para evitar poblar el espacio de nombres de nivel superior, Brendan OConnor / SO) o un paquete ( Dirk Eddelbuettel / Shane / SO)

Análisis

• No olvide establecer / registrar la semilla que utilizó al llamar a RNG o algoritmos estocásticos (por ejemplo, k-means)
• Para los estudios de Monte Carlo, puede ser interesante almacenar especificaciones / parámetros en un archivo separado ( sumatra puede ser un buen candidato, giovanni / BS)
• No se limite a un gráfico por variable, use pantallas multivariadas (Trellis) y herramientas de visualización interactivas (por ejemplo, GGobi)

Versionado

• Utilice algún tipo de control de revisión para facilitar el seguimiento / exportación, por ejemplo, Git ( Sharpie / VonC / JD Long / SO): esto se desprende de buenas preguntas formuladas por @Jeromy y @Tal
• Copia de seguridad de todo, de forma regular ( Sharpie / JD Long / SO)
• Mantenga un registro de sus ideas o confíe en un rastreador de problemas, como ditz ( giovanni / BS), en parte redundante con el elemento anterior, ya que está disponible en Git

Edición / Informes

• [R] Sweave ( Matt Parker / SO) o el tejedor más actualizado
• [R] Brew ( Shane / SO)
• [R] R2HTML o ascii

Como nota al margen, Hadley Wickham ofrece una visión general integral de la gestión de proyectos de R , que incluye ejemplos reproducibles y una filosofía unificada de datos .

Finalmente, en su Flujo de trabajo de análisis estadístico de datos orientado a R, Oliver Kirchkamp ofrece una descripción muy detallada de por qué adoptar y obedecer un flujo de trabajo específico ayudará a los estadísticos a colaborar entre sí, al tiempo que garantiza la integridad de los datos y la reproducibilidad de los resultados. Incluye además una discusión sobre el uso de un sistema de tejido y control de versiones. Los usuarios de Stata también pueden encontrar útil el flujo de trabajo de análisis de datos de J. Scott Long con Stata .

Esto no proporciona una respuesta específica, pero es posible que desee ver estas preguntas relacionadas con stackoverflow:

• "Flujo de trabajo para análisis estadístico y redacción de informes"
• "Organizando el código fuente de R"
• "¿Cómo organizar grandes programas de R?"
• "R y control de versiones para el analista de datos en solitario"
• "¿Cómo se compara el desarrollo de software con la programación / análisis estadístico?"
• "¿Cómo se combina el" Control de revisión "con" WorkFlow "para R?"

También puede estar interesado en el reciente proyecto de John Myles White para crear una plantilla de proyecto estadístico.

Esto se superpone con la respuesta de Shane, pero en mi opinión hay dos pilares principales:

• Reproducibilidad ; no solo porque no terminará con resultados que se hacen "de alguna manera" sino que también podrá volver a ejecutar el análisis más rápido (en otros datos o con parámetros ligeramente modificados) y tendrá más tiempo para pensar en los resultados. Para obtener una gran cantidad de datos, primero puede probar sus ideas en un pequeño "conjunto de juegos" y luego ampliar fácilmente toda la información.
• Buena documentación ; guiones comentados bajo control de versiones, alguna revista de investigación, incluso sistema de tickets para proyectos más complejos. Mejora la reproducibilidad, facilita el seguimiento de errores y escribe triviales los informes finales.

van Belle es la fuente de las reglas de proyectos estadísticos exitosos.

Solo mis 2 centavos. He encontrado Notepad ++ útil para esto. Puedo mantener scripts separados (control de programa, formateo de datos, etc.) y un archivo .pad para cada proyecto. La llamada al archivo .pad es todos los scripts asociados con ese proyecto.

Si bien las otras respuestas son geniales, agregaría otro sentimiento: evite usar SPSS. Utilicé SPSS para mi tesis de maestría y ahora en mi trabajo habitual en investigación de mercado.

Mientras trabajaba con SPSS, fue increíblemente difícil desarrollar un código estadístico organizado, debido al hecho de que SPSS es malo para manejar múltiples archivos (seguro, puede manejar múltiples archivos, pero no es tan sencillo como R), porque no puede almacenar conjuntos de datos a una variable, debe usar el código "conjunto de datos activar x", que puede ser una molestia total. Además, la sintaxis es torpe y alienta las shorthands, lo que hace que el código sea aún más ilegible.

Los Cuadernos Jupyter, que funcionan con R / Python / Matlab / etc, eliminan la molestia de recordar qué script genera una determinada figura. Esta publicación describe una forma ordenada de mantener el código y la figura uno al lado del otro. Mantener todas las cifras para un capítulo de papel o tesis en un solo cuaderno hace que el código asociado sea muy fácil de encontrar.

Incluso mejor, de hecho, porque puede desplazarse, digamos, una docena de figuras para encontrar la que desea. El código se mantiene oculto hasta que se necesita.