¿Cómo arbitro un artículo?

Actualizado a continuación

Todos sabemos la importancia crítica de la revisión por pares. Es la forma principal de control de calidad y retroalimentación sobre la investigación. Sin embargo, para un investigador en etapa temprana (como yo), a veces puede ser un sistema / proceso confuso.

En consecuencia, hay varios tratados sobre el proceso de arbitraje científico que brindan orientación. Dos ejemplos (muy diferentes) de la informática: este artículo de 1994 de Parberry y uno más reciente de Cormode , ofrecen excelentes consejos (aunque este último podría ser un poco travieso).

Aquí, me gustaría solicitar un consejo más amplio de los miembros más experimentados de esta comunidad sobre el proceso de revisión, con especial atención a las peculiaridades de la informática teórica.

1. ¿Cuáles son los criterios principales para determinar la importancia de los resultados de un trabajo? ¿Cómo juzgo si un artículo debe ser aceptado en la conferencia / revista? ¿Es importante verificar la corrección?
2. ¿Cuáles son los elementos principales de un informe del árbitro y qué partes son más importantes? ¿Es siempre necesario dar una recomendación de (no) aceptación? ¿Qué incluye el informe y qué corresponde únicamente al editor?
3. ¿Cómo difiere la evaluación para conferencias de la de las revistas? ¿En qué se diferencian los informes de las conferencias de los de las revistas? (¿Cómo demonios califico mi "confianza" en mi recomendación?) ¿Debería la versión de la revista ser significativamente diferente del documento de la conferencia?
4. ¿Qué pasa si no entiendo el papel? ...¿la prueba? (¿Es mi culpa o la de ellos?)
5. ¿Qué pasa con los errores tipográficos / gramaticales? ¿Qué pasa si hay muchos de ellos?
6. ¿Cuánto tiempo debo pasar en un informe?
7. ¿Cuántos informes al año debo escribir? ¿Cuándo es aceptable rechazar una solicitud de arbitraje?

Por supuesto, se recomienda cualquier otra pregunta y respuesta relevante sobre este tema, ya que es CW.

Esta pregunta está inspirada en (robada de) una publicación similar en MathOverflow .

Actualización 15/02/2011:

Todavía estoy muy interesado en obtener más información sobre esta cuestión, especialmente con respecto a la revisión de los documentos de la conferencia y la membresía del comité del programa. (Estos dos roles son bestias diferentes, y ambos son muy diferentes a ser un árbitro para un artículo de revista, OMI). Por supuesto, la membresía del comité del programa es más rara que el arbitraje o la revisión (y aún no ha sido mi privilegio), pero es un responsabilidad que cada investigador en informática teórica debe asumir eventualmente.

• Hora. ¿Cuánto tiempo se espera que pase como miembro del comité o revisor de la conferencia? Dada la probabilidad de que pueda obtener diez o tal vez muchos más para manejar en unas pocas semanas, ¿cómo evito que se me acabe el tiempo? ¿Cuáles son las cosas más importantes para pasar el tiempo?

• Confianza. ¿Qué sucede si el documento está demasiado lejos de mi área de especialización? ¿Qué factores deberían incluirse para nominar / pedirle a otra persona que revise una presentación? Si no está muy lejos de mi área de especialización y elijo revisarlo, ¿cuándo está permitido otorgar una calificación de confianza de 1?

• Criterios Existen diferencias críticas entre revistas y conferencias. Algunos artículos muy importantes no se publican en revistas. Algunos documentos muy importantes no aparecieron previamente en conferencias. ¿Cuáles son las distinciones más significativas en los criterios para evaluar los documentos en estos entornos?

• Recomendaciones Inherentemente, hay menos recomendaciones que se pueden ofrecer a los autores de un documento de conferencia, principalmente debido a limitaciones de espacio y tiempo. Además, generalmente solo hay una ronda de revisión. Otra consideración es que mi informe se hace público a todo el comité fuerte. ¿Cuál es el alcance de las sugerencias / directivas que puedo ofrecer?

Como antes, si crees que me he perdido alguna pregunta en particular, házmelo saber o edítala directamente. Esto es CW, después de todo.

Estos nuevos pensamientos están en parte motivados por la lectura de un artículo que Suresh mencionó en su blog .

1. A su leal saber y entender, ¿hace el trabajo una contribución significativa, bien presentada y correcta al estado del arte? Si el documento no cumple alguno de los tres criterios, es justo rechazarlo solo por esa razón, independientemente de los otros dos.

2. Esto es lo que creo que debería contener un informe. Todo debe ser visible para el autor, excepto posiblemente por serias acusaciones de mala conducta.

   a. Un resumen rápido del documento, para ayudar al editor a juzgar la calidad de los resultados, y para ayudar a convencer tanto al autor como al editor de que realmente leyó y entendió el documento. Coloque el resultado en su contexto más amplio. Incluya un historial de versiones anteriores, incluso si los autores lo incluyen en el envío. Sé respetuoso, pero brutalmente honesto.

   si. Una discusión sobre las fortalezas y debilidades del documento, en términos de corrección, novedad, claridad, importancia, generalidad, impacto potencial, elegancia, profundidad técnica, robustez, etc. Si sospecha un comportamiento poco ético (plagio, presentación paralela, datos cocinados) , describe tus sospechas. Sé respetuoso, pero brutalmente honesto.

   C. Una recomendación al editor para una acción adicional: aceptar, aceptar con una revisión menor, solicitar una segunda ronda de revisión o rechazar directamente. Tenga en cuenta que está haciendo una recomendación, no una decisión; si no puedes decidirte, solo dilo. Sé respetuoso, pero brutalmente honesto.

   re. Comentarios más detallados al autor: justificación más detallada de su recomendación, solicitudes de aclaración en la versión final, referencias faltantes, errores en las pruebas, simplificaciones, generalizaciones, errores tipográficos, etc. Sea respetuoso, pero brutalmente honesto.

3. Los informes de la conferencia deben ser más cortos; los comités del programa tienen cientos de documentos para considerar a la vez. Si debe haber una diferencia entre los documentos de la conferencia y el diario depende de la revista (e indirectamente, de la comunidad). La mayoría de las revistas teóricas de informática no insisten en una diferencia significativa; Es bastante común que las versiones de conferencia y revista de un documento de teoría sean esencialmente idénticas. En caso de duda, ¡pregunte al editor!

4. Si aún no comprende el artículo después de hacer un esfuerzo de buena fe, es culpa del autor, o posiblemente del editor, pero ciertamente no es suyo. La responsabilidad principal del autor es comunicar de manera efectiva su resultado a su audiencia, y un buen editor le enviará un documento al árbitro solo si cree que usted es un buen representante de la audiencia prevista del documento. Pero tienes que hacer un esfuerzo de buena fe; No espere entender todo inmediatamente (¿algo?) inmediatamente en su primera lectura.

5. Si hay muchos errores, ni siquiera lea el periódico; solo recomiende el rechazo porque el documento no está escrito profesionalmente. De lo contrario, si realmente desea ser exhaustivo, incluya una lista representativa de errores gramaticales, ortográficos y de puntuación, pero no se desanime buscando hasta el último error. Sé respetuoso, pero brutalmente honesto.

6. Espere pasar aproximadamente una hora por página, principalmente para internalizar los resultados y las técnicas del documento. Sorpréndase gratamente cuando en realidad no se demore tanto. (Si lleva mucho menos tiempo que eso, el papel es extremadamente elegante y está bien escrito, conoce el área extremadamente bien o el papel es técnicamente poco profundo. No confunda estas tres posibilidades).

7. Debería escribir al menos tantos informes de árbitros como otras personas escriben para usted. Si esto lleva más tiempo que escribir sus propios documentos, no está gastando suficiente tiempo en sus propios documentos.

Mucho depende de la conferencia / revista, ya que cada comunidad ha desarrollado su propio estilo, por lo que saber lo que se espera de la conferencia / revista ciertamente ayudará un poco.

1. ¿Cuáles son los criterios principales para determinar la importancia de los resultados de un trabajo? ¿Cómo juzgo si un artículo debe ser aceptado en la conferencia / revista? ¿Es importante verificar la corrección?

Criterios: Novedad / originalidad, impacto esperado, corrección / validez, amplitud (¿cuánto del problema se estudia? + Teoremas? + Implementación? + Resultados experimentales?), Calidad de presentación. Los criterios para la aceptación de la revista son mucho más altos que para las conferencias. Para una conferencia, usted otorga una puntuación basada en los criterios anteriores. Verificar la corrección tanto como sea posible es muy importante, especialmente para artículos de revistas.

2. ¿Cuáles son los elementos principales de un informe del árbitro y qué partes son más importantes? ¿Es siempre necesario dar una recomendación de (no) aceptación? ¿Qué incluye el informe y qué corresponde únicamente al editor?

El informe de los árbitros contiene al menos 4 elementos principales: un resumen del documento y sus contribuciones; puntos a favor de aceptar el papel; puntos contra el papel; comentarios importantes, incluidos los puntos que deben abordarse; comentarios menores (errores tipográficos, etc.) Siempre debe dar una indicación de aceptación o rechazo o el grado de revisión requerido. Los comentarios al editor podrían incluir: una evaluación breve, quizás contundente del documento; cualquier declaración de duda; detalles de posible plagio o presentación paralela del documento; ...

3. ¿En qué se diferencia la evaluación de las conferencias de las de las revistas? ¿En qué se diferencian los informes de las conferencias de los de las revistas? (¿Cómo demonios califico mi "confianza" en mi recomendación?) ¿Debería la versión de la revista ser significativamente diferente del documento de la conferencia?

Las revisiones de revistas tienden a ser más extensas y pueden incluir muchas cosas que los autores deben hacer para llevar su trabajo a un estado aceptable, como "implementar y evaluar estas ideas". Su confianza debe basarse en la confianza que siente. En general, esto vendrá con experiencia, así que comienza siendo conservador. Está fuera de su campo, a pesar de que puede comprender el documento, ser conservador también es una buena idea: es difícil evaluar la originalidad de un documento fuera de su campo. Algunas revistas dicen que los envíos de revistas deben contener una cantidad sustancial de material nuevo en comparación con la versión de la conferencia. El 30% es una cifra que he escuchado.

4. ¿Qué pasa si no entiendo el papel? ...¿la prueba? (¿Es mi culpa o la de ellos?)

Esto puede variar A veces será tu culpa, a veces será de ellos. Usa tu juicio. Tal vez pídale a un colega que eche un vistazo al periódico. Si no puede entenderlo por completo y no se debe a un formato deficiente, entonces quizás contacte al presidente de la PC y explique que este es el caso. En cualquier caso, esto debería reflejarse en su puntaje de confianza. Si el documento no se puede entender debido a una mala redacción o lenguaje o porque se ha enviado prematuramente, esto debe escribirse en su informe.

5. ¿Qué pasa con los errores tipográficos / gramaticales? ¿Qué pasa si hay muchos de ellos?

Cuando era más joven, informaba cada error tipográfico y gramatical. Ahora simplemente no tengo tiempo. Informar algunos siempre es útil: elige los más serios. También recomiende que el documento sea revisado (por un hablante nativo). Para los diarios sea más exhaustivo. Si tiene demasiados errores, entonces no debería haberse enviado a una revista, lo cual es solo motivo de rechazo (en mi humilde opinión).

6. ¿Cuánto tiempo debo dedicar a un informe?

Un día como máximo para un documento de conferencia, incluido el tiempo de lectura. Para los diarios, especialmente los largos, leer el periódico con cuidado puede llevar una semana entera.

7. ¿Cuántos informes anuales debo escribir? ¿Cuándo es aceptable rechazar una solicitud de arbitraje?

La cantidad esperada puede variar entre 5 y 30. Como investigador junior, se le darán algunos para practicar. A medida que avance en las calificaciones, tendrá más revisiones a medida que se convierta en miembro de las PC. Luego, a medida que avance aún más, tendrá un ejército de estudiantes de doctorado para hacer su revisión por usted. Más de 30 en un año es bastante oneroso.

Como dije anteriormente, diría que es apropiado rechazar una solicitud de arbitraje cuando (1) no siente que tiene la experiencia suficiente para hacer una buena revisión, o (2) tiene demasiada revisión (u otra) compromisos en este momento. También se considera una buena forma sugerir una serie de posibles revisores alternativos, en caso de que se niegue.

Doy aquí mis 2 centavos, y agrego un séptimo punto:

1. ¿Cuántos informes tengo que hacer cada año?

Mis respuestas

1. Por supuesto, los criterios no son los mismos para conferencias y revistas. Para ambos la corrección es probablemente el criterio más importante. Entonces, mi segundo criterio es la novedad de los resultados para las conferencias, mientras que es el impacto de los resultados para las revistas. Para una conferencia, también es importante juzgar si el documento es de interés para la audiencia, pero esta es una decisión que pueden hacer los presidentes de PC en lugar de los revisores.

2. En primer lugar, excepto si sospecha un fraude o una mala práctica y no está seguro (entonces debe hablar únicamente con el editor), mi opinión es que debe contar todo a los autores. Creo que es importante ser honesto con los autores y, por lo tanto, siempre dar una recomendación. En un informe, debe describir el tema, los resultados (para que los autores puedan ver que comprende el artículo), luego debe evaluar los méritos de los resultados (novedad, estado del arte, profundidad técnica, corrección, claridad) y señalar cada problema Finalmente, debe dar su recomendación, posiblemente con consejos a los autores (como "Creo que este resultado es bueno, pero es más adecuado para la conferencia A que para este"). En muy pocos casos, se le entregarán documentos que no merecen ser enviados,

3. Creo que, excepto en el caso de una invitación al diario para un número especial relacionado con un documento de conferencia, debería haber una diferencia significativa.

4. dos casos: no es comprensible (su culpa), por lo que puede rechazar el documento por ese motivo o no es el buen revisor de ese documento. Cuando sucede, sabes qué caso es, si no, ¡estás en el segundo caso!

5. No soy un hablante nativo de inglés, por lo que hay un sesgo en mi respuesta. Pero creo que no es una razón para rechazar un documento (excepto en algunos casos extremos).

6. El tiempo necesario Puede variar desde 1 hora (un mal trabajo en un taller) hasta varios días (un trabajo muy complicado en una revista de primer nivel).

7. Personalmente, espero hacer 3 informes por trabajo que envié (y sí, es mucho, de hecho revisando probablemente una de mis tareas que más tiempo consume, antes de enseñar tal vez).