¿Cómo comparar la repetibilidad (ICC) de diferentes grupos?

He calculado los valores de ICC para dos grupos y ahora me gustaría comparar los valores de ICC para determinar si los grupos difieren en su repetibilidad. En la literatura, la gente simplemente ha utilizado las pruebas t para comparar la repetibilidad, pero no me queda claro cómo hacerlo.

Por ejemplo, con los datos ficticios:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Puedo obtener las medidas de repetibilidad para el grupo 1 y 2 de la siguiente manera:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Pero, ¿cómo puedo determinar ahora si la repetibilidad del grupo1 es diferente del grupo2?

r t-test intraclass-correlation repeatability

— crazjo
fuente

Noté que cada uno de sus grupos tiene solo 2 grupos. Definitivamente, esto no es ideal, y seguramente es la razón por la cual los intervalos de confianza en torno a sus dos estimaciones de ICC son extremadamente amplios (que veo en la respuesta de @JamesStanley a continuación), al menos para este conjunto de datos de muestra que ha proporcionado. En su conjunto de datos real , ¿tiene solo 2 grupos por grupo, o (con suerte) más grupos que este? Si más, ¿cuántos por grupo?

— Jake Westfall

¿Qué quieres decir exactamente con 2 grupos? Probé dos grupos dos veces sí, no veo por qué eso no es lo ideal. Ahora realicé pruebas de permutación para comparar el ICC de ambos grupos (r = 0.77, IC 95%: 0.54, 0.91 y para el grupo 2 r = 0.24, IC 95%: 0.07, 0.57) que revela que el grupo 1 tiene una repetibilidad significativamente mayor que ese grupo 2.

— crazjo

Tal vez deberíamos retroceder. El ICC es aplicable a datos agrupados (es decir, multinivel). Es una forma de medir cuán similares en promedio son dos observaciones extraídas del mismo grupo, en relación con dos observaciones extraídas al azar del conjunto de datos ignorando la agrupación. En la práctica, se calcula como la relación entre la varianza entre grupos y la varianza total. Entonces, si solo tiene 2 grupos en cada uno de sus grupos, entonces la estimación de la varianza entre grupos solo se basa en 2 puntos de datos. ¡Imagínese intentar estimar, digamos, la desviación media o estándar de un conjunto de datos que consta de solo 2 puntos de datos!

— Jake Westfall

En cuanto a su prueba de permutación, estaría muy interesado en ver exactamente cómo se llevó a cabo. Estaba pensando en publicar una solución basada en una prueba de arranque o prueba de permutación. Tenga en cuenta que este tipo de cosas se deben hacer con mucho cuidado con datos multinivel.

— Jake Westfall

Dejando de lado los problemas materiales sobre la pregunta de estudio y los datos de demostración (y el tamaño de la muestra para obtener una estimación razonable de un ICC), el resultado que obtiene de la ICCestfunción tiene intervalos de confianza adjuntos: como punto de partida para comparar grupos, puede considerar si existe una superposición entre cada intervalo de confianza y la estimación puntual del otro grupo de la CPI.

En cualquier caso, informar la estimación puntual de la CPI y el intervalo de confianza para cada grupo será más útil (y, por lo tanto, recomendaría informar esto en cualquier caso) que informar solo las estimaciones puntuales y el resultado de algún tipo de prueba de hipotesis.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986

— James Stanley
fuente

Gracias James, el resultado que obtuve de los datos reales mostró para el grupo 1: r = 0.77, 95% CI: 0.54, 0.91y para el grupo 2 r = 0.77, 95% CI: 0.07, 0.57. Puede ver que el grupo 1 tenía una consistencia relativamente alta, mientras que el grupo 2 tenía una consistencia moderada promedio, pero los intervalos de confianza de los dos grupos apenas se superponen. ¿Podría escribir en un manuscrito que el grupo 2 fuera considerablemente menos consistente que el grupo 1 (estadísticas anteriores)? Entiendo que sugiere que esto sería mejor que ejecutar una prueba para compararlos, pero aún así sería bueno saber cómo comparar los valores de ICC de dos grupos.

— crazjo

Me sentiría cómodo leyendo evaluando esos dos ICC impresos en su comentario como indicando diferentes confiabilidades (supongo que el grupo 2 r tiene un error tipográfico y de hecho es ~ = 0.32): la superposición es entre los extremos del intervalo de confianza, en lugar de un intervalo de confianza dado y la estimación del punto opuesto, que si fueran diferencias en las medias probablemente correspondería a un resultado "significativo" de la prueba t en p <0.05

— James Stanley