Los participantes fueron calificados dos veces, con las 2 clasificaciones separadas por 3 años. Para la mayoría de los participantes, las evaluaciones fueron hechas por diferentes evaluadores, pero para algunos (<10%) el mismo evaluador realizó ambas evaluaciones. Hubo 8 evaluadores en total, con 2 clasificaciones en ambos puntos de tiempo.
Ahora, dado que las calificaciones eran de un aspecto de habilidad con un valor hipotético "correcto", entonces el acuerdo absoluto entre los evaluadores es de interés, más que de consistencia. Sin embargo, dado que las clasificaciones se tomaron con 3 años de diferencia, podría haber (y probablemente hubo) algún cambio real en la capacidad.
- ¿Cuál sería la mejor prueba de fiabilidad en este caso?
- Me estoy inclinando hacia una correlación intraclase, pero ¿es ICC1 lo mejor que puedo hacer con estos datos?