Revisión de estadísticas en documentos

Para algunos de nosotros, los documentos de arbitraje son parte del trabajo. Al arbitrar documentos de metodología estadística, creo que el asesoramiento de otras áreas temáticas es bastante útil, es decir, informática y matemáticas .

Esta pregunta se refiere a la revisión de documentos estadísticos más aplicados. Con esto quiero decir, el artículo se envía a una revista no estadística / matemática y las estadísticas solo se mencionan en la sección de "métodos".

Algunas preguntas particulares:

1. ¿Cuánto esfuerzo deberíamos poner para comprender el área de aplicación?
2. ¿Cuánto tiempo debo pasar en un informe?
3. Qué exigente eres cuando miras figuras / tablas.
4. ¿Cómo hacer frente a los datos que no están disponibles?
5. ¿Intentas volver a ejecutar el análisis utilizado?
6. ¿Cuál es el número máximo de documentos que revisaría en un año?

¿Has perdido alguna pregunta? Siéntase libre de editar o agregar un comentario.

Editar

Llego a esta pregunta como estadístico revisando un artículo de biología, pero estoy interesado en la revisión estadística de cualquier disciplina no matemática.

No estoy seguro de si esto debería ser un CW. Por un lado, está un poco abierto, pero por otro puedo verme aceptando una respuesta. Además, las respuestas probablemente serán bastante largas.

No estoy seguro de a qué área de la ciencia se refiere (estoy seguro de que la respuesta sería realmente diferente si se tratara de biología versus física, por ejemplo ...)

De todos modos, como biólogo, responderé desde un punto de vista "biológico":

¿Cuánto esfuerzo deberíamos poner para comprender el área de aplicación?

Al menos tiendo a leer los documentos anteriores de los mismos autores y busco algunas revisiones sobre el tema si no estoy muy familiarizado con él. Esto es especialmente cierto cuando se trata de nuevas técnicas que no conozco, porque necesito entender si hicieron todos los controles adecuados, etc.

¿Cuánto tiempo debo pasar en un informe?

Tanto como sea necesario (¡OK, respuesta tonta, lo sé!: P) En general, no me gustaría que alguien que revisa mi trabajo haga un trabajo aproximado solo porque tiene otras cosas que hacer, así que trato de no hacerlo yo mismo .

Qué exigente eres cuando miras figuras / tablas.

Bastante exigente. Las figuras son lo primero que ves cuando navegas por un papel. Deben ser consistentes (por ejemplo, títulos correctos en los ejes, leyenda correcta, etc.). En ocasiones he sugerido usar un tipo diferente de diagrama para mostrar datos cuando pensaba que el que usaba no era el mejor. Esto sucede mucho en biología, un campo dominado por el tipo de gráfico "gráfico de barras +/- SEM". También soy bastante exigente con la sección de "materiales y métodos": un análisis estadístico perfecto sobre un modelo biológico inherentemente incorrecto es completamente inútil.

¿Cómo hacer frente a los datos que no están disponibles?

Simplemente hazlo y confía en los autores, supongo. En muchos casos en biología no hay mucho que pueda hacer, especialmente cuando se trata de cosas como imágenes o comportamiento animal y similares. A menos que desee que la gente publique toneladas de imágenes, videos, etc. (que probablemente no vería de todos modos), pero eso puede ser muy poco práctico. Si cree que los datos son realmente necesarios, solicite a los autores que los proporcionen como datos / cifras adicionales.

¿Intentas volver a ejecutar el análisis utilizado?

Solo si tengo serias dudas sobre las conclusiones extraídas por los autores. En biología, a menudo hay una diferencia entre lo que es (o no) "estadísticamente significativo" y lo que es "biológicamente significativo". Prefiero un análisis estadístico más delgado con un buen razonamiento biológico que al revés. Pero, de nuevo, en el caso muy improbable de que revisara un documento de bioestadística (¡¡¡ahh, ¡eso sería divertido!) Probablemente prestaría mucha más atención a las estadísticas que a la biología allí.

$x$$3/(x/100)$, si la tasa de aceptación es del 33%, los editores deben obtener nueve revisiones por cada artículo publicado. Si usted, como autor, se toma esto en serio, ¡entonces debe intentar proporcionar nueve reseñas (o el número que resulte ser para sus revistas objetivo) por cada artículo que publique!

$r$$r/10$$r/5$ $r/10$

Mi POV estaría revisando un artículo en psicología o pronosticando sus méritos estadísticos. Sobre todo apoyaré los muy buenos comentarios de Nico.

¿Cuánto esfuerzo deberíamos poner para comprender el área de aplicación?

Bastante, en realidad. No confiaría en mí mismo para comentar más que los problemas estadísticos más básicos sin haber entendido el área. Afortunadamente, esto a menudo no es muy difícil en muchas ramas de la psicología.

¿Cuánto tiempo debo pasar en un informe?

Me arriesgaré y declararé un tiempo específico: pasaré entre dos y ocho horas en una revisión, a veces más. Si descubro que paso más de un día en un papel, probablemente signifique que realmente no estoy calificado para entenderlo, por lo que recomendaré que el diario busque a otra persona (y trate de sugerir algunas personas).

Qué exigente eres cuando miras figuras / tablas.

Muy exigente de hecho. Las cifras van a ser lo que la gente recuerda de un artículo y lo que termina en presentaciones de conferencias sin mucho contexto, por lo que esto realmente debe hacerse bien.

¿Cómo hacer frente a los datos que no están disponibles?

En psicología, los datos generalmente no se comparten: medir a 50 personas por resonancia magnética es muy costoso, y los autores querrán usar estos datos para más trabajos, por lo que entiendo su renuencia a dar los datos. Por lo tanto, cualquiera que comparta sus datos obtiene una gran ventaja en mi libro, pero no se puede compartir.

En el pronóstico, muchos conjuntos de datos están disponibles públicamente. En este caso, generalmente recomiendo que los autores compartan su código (y lo hagan yo mismo).

¿Intentas volver a ejecutar el análisis utilizado?

Sin los datos, solo se puede aprender de esto. Jugaré con datos simulados si algo es muy sorprendente sobre los resultados del artículo; de lo contrario, a menudo se pueden distinguir los métodos apropiados de los inapropiados sin los datos (una vez que se comprende el área, ver arriba).

¿Cuál es el número máximo de documentos que revisaría en un año?

Realmente hay poco que agregar al punto de Whuber anterior: suponiendo que cada documento con un promedio de n coautores que (co) envíe reciba 3 revisiones, uno realmente debería apuntar a revisar al menos 3 / ( n + 1 ) documentos para cada envío (contando las presentaciones en lugar de los propios documentos que pueden ser rechazados y reenviados). Y, por supuesto, el número de presentaciones, así como el número de coautores, varía mucho según la disciplina.