2
Fiabilidad entre evaluadores con muchos evaluadores no superpuestos
Tengo un conjunto de datos de más de 11,000 artículos distintos, cada uno de los cuales fue clasificado en una escala nominal por al menos 3 evaluadores diferentes en Mechanical Turk de Amazon . 88 evaluadores diferentes proporcionaron juicios para la tarea, y ningún evaluador completó más de 800 juicios. …