Prefiero responder sobre la base de la metodología en sí misma, en lugar de cómo "arreglar" la situación. En otro contexto, ayudé a trabajar en un sistema de clasificación y clasificación, y descubrí que el acuerdo entre evaluadores era decepcionantemente bajo. Se consideraron dos caminos
- Cambiar cómo se definieron los acuerdos de calificación e identificar a aquellos que parecían "entender" la tarea, o
- Refine las definiciones utilizadas, junto con la guía y ejemplos del proveedor de los evaluadores, para que puedan comprender más fácilmente cómo calificar las cosas.
En el primer escenario, toda la metodología y los resultados podrían convertirse en un desperdicio simplemente porque la confiabilidad entre evaluadores era baja. Indicaba que las definiciones originales eran malas o que los evaluadores recibían malas instrucciones. Si seguía ese camino, estaba seguro de tener problemas.
En el segundo caso, el acuerdo entre los evaluadores fue muy bueno. Dado que calificaron una gran cantidad de elementos, también podían dar retroalimentación cuando pensaban que las definiciones y orientación originales eran inadecuadas. Al final, la metodología fue muy reproducible.
En base a eso, todavía no modificaría su conjunto de evaluadores, sino que volvería a las definiciones y orientación originales. Cualquier retoque después de la calificación es un problema, aunque puede ser útil como un control de calidad. A veces hay evaluadores que van a hacer lo que quieran, sin importar la orientación dada. Con buenos métodos estadísticos, es fácil identificarlos y ponderar sus contribuciones adecuadamente.
Ahora, si me equivoco y no planea realizar una recopilación adicional, es decir, sus datos ya están recopilados y hechos, lo que puede hacer es PCA o algo así, y ver si puede tener una idea de cómo los diferentes grupo de médicos (o pacientes).
¿Los pacientes estuvieron expuestos a todos los médicos al mismo tiempo (por ejemplo, a través de una grabación de video) o estuvieron expuestos secuencialmente y tuvieron la oportunidad de modificar su presentación con cada interacción? Si esto último, entonces podría haber problemas con los pacientes, y no con los médicos.