¿Calculando la confiabilidad entre evaluadores en R con un número variable de clasificaciones?

Wikipedia sugiere que una forma de ver la confiabilidad entre evaluadores es usar un modelo de efectos aleatorios para calcular la correlación intraclase . El ejemplo de correlación intraclase habla de mirar

de un modelo

"donde Y _ij es el j ^ésimo observación en el i ^ésimo grupo, μ es una media global no observada, α _i es un efecto aleatorio no observada compartida por todos los valores en el grupo I, y varepsilon _ij es un término de ruido no observada."

Este es un modelo atractivo, especialmente porque en mis datos ningún evaluador ha calificado todas las cosas (aunque la mayoría ha calificado con más de 20), y las cosas tienen una cantidad variable de veces (generalmente 3-4).

Pregunta # 0: ¿Es el "grupo i" en ese ejemplo ("grupo i") una agrupación de cosas que están siendo calificadas?

Pregunta n. ° 1: Si estoy buscando confiabilidad entre evaluadores, ¿no necesito un modelo de efectos aleatorios con dos términos, uno para el evaluador y otro para la cosa calificada? Después de todo, ambos tienen una posible variación.

Pregunta # 2: ¿Cómo expresaría mejor este modelo en R?

Parece que esta pregunta tiene una propuesta atractiva:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

Miré un par de preguntas , y la sintaxis del parámetro "aleatorio" para lme ​​es opaca para mí. Leí la página de ayuda de lme , pero la descripción de "aleatorio" es incomprensible para mí sin ejemplos.

Esta pregunta es algo similar a una larga lista de preguntas , siendo esta la más cercana. Sin embargo, la mayoría no aborda R en detalle.

El modelo al que hizo referencia en su pregunta se llama "modelo unidireccional". Se supone que los efectos de fila aleatorios son la única fuente sistemática de variación. En el caso de la confiabilidad entre evaluadores, las filas corresponden a objetos de medición (p. Ej., Sujetos).

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$$w_{ij}$

Sin embargo, también hay "modelos de dos vías". Estos suponen que hay una variación asociada con los efectos de fila aleatorios, así como los efectos de columna aleatorios o fijos. En el caso de la fiabilidad entre evaluadores, las columnas corresponden a las fuentes de medición (p. Ej., Evaluadores).

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$$e_{ij}$

$x_{ij}$$\bar{x}_i$

Estas son las definiciones si asume un efecto de columna aleatorio:

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

También puede estimar estos valores utilizando cuadrados medios de ANOVA:

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Puede calcular estos coeficientes en R usando el paquete irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Referencias

McGraw, KO y Wong, SP (1996). La formación de inferencias sobre algunos coeficientes de correlación intraclase. Métodos psicológicos, 1 (1), 30–46.

Shrout, PE y Fleiss, JL (1979). Correlaciones intraclase: usos en la evaluación de la confiabilidad del evaluador. Boletín psicológico, 86 (2), 420-428.