Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería:

#fit the model
fit = lmer(dv~(1|unit),data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
intercept_var = attr(vc$id,'stddev')[1]^2

#compute the unadjusted repeatability
R = intercept_var/(intercept_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit))
    k = nrow(n)
    N = sum(n$Freq)
n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Creo que este enfoque también se puede utilizar para calcular la fiabilidad de los efectos (es decir, el efecto de contraste de suma de una variable con 2 niveles), como en:

#make sure the effect variable has sum contrasts
contrasts(my_data$iv) = contr.sum

#fit the model
fit = lmer(dv~(iv|unit)+iv,data=my_data)

#obtain the variance estimates
vc = VarCorr(fit)
residual_var = attr(vc,'sc')^2
effect_var = attr(vc$id,'stddev')[2]^2

#compute the unadjusted repeatability
R = effect_var/(effect_var+residual_var)

#compute n0, the repeatability adjustment
n = as.data.frame(table(my_data$unit,my_data$iv))
k = nrow(n)
N = sum(n$Freq)
    n0 = (N-(sum(n$Freq^2)/N))/(k-1)

#compute the adjusted repeatability
Rn = R/(R+(1-R)/n0)

Tres preguntas:

¿Tienen sentido los cálculos anteriores para obtener la estimación puntual de la repetibilidad de un efecto?
Cuando tengo varias variables cuya repetibilidad quiero estimar, agregarlas todas al mismo ajuste (p lmer(dv~(iv1+iv2|unit)+iv1+iv2. Ej. ) Parece producir estimaciones de repetibilidad más altas que crear un modelo separado para cada efecto. Esto tiene sentido computacionalmente para mí, ya que la inclusión de múltiples efectos tenderá a disminuir la varianza residual, pero no estoy seguro de que las estimaciones de repetibilidad resultantes sean válidas. ¿Son ellos?
El artículo citado anteriormente sugiere que el perfil de probabilidad podría ayudarme a obtener intervalos de confianza para las estimaciones de repetibilidad, pero que yo sepa, confint(profile(fit))solo proporciona intervalos para las variaciones de intercepción y efecto, mientras que adicionalmente necesitaría el intervalo para calcular la varianza residual. el intervalo para la repetibilidad, ¿no?

mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

— Mike Lawrence
fuente

Creo que puedo responder a sus preguntas al menos en relación con las estimaciones de repetibilidad no ajustadas , es decir, las correlaciones clásicas intraclase (ICC). En cuanto a las estimaciones de repetibilidad "ajustadas", hojeé el documento que vinculó y realmente no vi dónde se puede encontrar la fórmula que aplica en el documento. Según la expresión matemática, parece ser la repetibilidad de las puntuaciones medias (en lugar de las puntuaciones individuales). Pero no está claro que esta sea una parte crítica de su pregunta de todos modos, por lo que lo ignoraré.

(1.) ¿Tienen sentido los cálculos anteriores para obtener la estimación puntual de la repetibilidad de un efecto?

Sí, la expresión que propone tiene sentido, pero es necesaria una ligera modificación a su fórmula propuesta. A continuación muestro cómo se podría derivar el coeficiente de repetibilidad propuesto. Espero que esto aclare el significado conceptual del coeficiente y también muestre por qué sería conveniente modificarlo ligeramente.

Para comenzar, primero tomemos el coeficiente de repetibilidad en su primer caso y aclaremos qué significa y de dónde viene. Comprender esto nos ayudará a comprender el segundo caso más complicado.

Intercepciones aleatorias solamente

En este caso, el modelo mixto para el ésimo respuesta en el -ésimo grupo es donde las intersecciones aleatorias Tienes varianza y los residuos tienen varianza . $i$ $j$

y_{yo j} = β_{0 0} + {tu}_{0 0 j} + {mi}_{yo j},

$y_{ij} = \beta_0 + u_{0j} + e_{ij},$

u_{0 j}

$u_{0j}$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Ahora, la correlación entre dos variables aleatorias e se define como $x$ $y$

do o r r = \frac{do o v (X, y)}{\sqrt{v una r (X) v una r (y)}} .

$corr = \frac{cov(x, y)}{\sqrt{var(x)var(y)}}.$

La expresión para ICC / coeficiente de repetibilidad proviene de dejar que las dos variables aleatorias e sean dos observaciones extraídas del mismo grupo , y si simplifica esto usando las definiciones dadas anteriormente y las propiedades de varianzas / covarianzas (un proceso que no mostraré aquí, a menos que usted u otros prefieran que lo hice), terminará con $x$ $y$ $j$

yo do do = \frac{do o v (β_{0 0} + {tu}_{0 0 j} + {mi}_{{yo}_{1} j}, β_{0 0} + {tu}_{0 0 j} + {mi}_{{yo}_{2} j})}{\sqrt{v una r (β_{0 0} + {tu}_{0 0 j} + {mi}_{{yo}_{1} j}) v una r (β_{0 0} + {tu}_{0 0 j} + {mi}_{{yo}_{2} j})}},

$ICC = \frac{cov(\beta_0 + u_{0j} + e_{i_1j}, \beta_0 + u_{0j} + e_{i_2j})}{\sqrt{var(\beta_0 + u_{0j} + e_{i_1j})var(\beta_0 + u_{0j} + e_{i_2j})}},$

yo do do = \frac{σ_{{tu}_{0 0}}^{2}}{σ_{{tu}_{0 0}}^{2} + σ_{mi}^{2}} .

$ICC = \frac{\sigma^2_{u_0}}{\sigma^2_{u_0} + \sigma^2_e}.$ Lo que esto significa es que el ICC o "coeficiente de repetibilidad no ajustado" en este caso tiene una interpretación simple como la correlación esperada entre un par de observaciones del mismo grupo (neto de los efectos fijos, que en este caso es solo la gran media). El hecho de que la CPI también sea interpretable como una proporción de la variación en este caso es una coincidencia; esa interpretación no es cierta en general para los ICC más complicados. La interpretación como algún tipo de correlación es lo principal.

Intercepciones aleatorias y pendientes aleatorias

Ahora, para el segundo caso, primero debemos aclarar qué se entiende precisamente por "la confiabilidad de los efectos (es decir, el efecto de contraste de suma de una variable con 2 niveles)" - sus palabras.

Primero presentamos el modelo. El modelo mixto para el ésimo respuesta en el -ésimo grupo bajo el ésimo nivel de un contraste-Coded predictor es donde las intersecciones aleatorias tienen varianza , las pendientes aleatorias tienen varianza , las intersecciones aleatorias y las pendientes tienen covarianza , y los residuales tiene varianza . $i$ $j$ $k$ $x$

y_{yo j k} = β_{0 0} + β_{1} X_{k} + {tu}_{0 0 j} + {tu}_{1 j} X_{k} + {mi}_{yo j k},

$y_{ijk} = \beta_0 + \beta_1x_k + u_{0j} + u_{1j}x_k + e_{ijk},$

σ_{u_{0}}^{2}

$\sigma^2_{u_0}$

σ_{u_{1}}^{2}

$\sigma^2_{u_1}$

σ_{u_{01}}

$\sigma_{u_{01}}$

e_{i j}

$e_{ij}$

σ_{e}^{2}

$\sigma^2_e$

Entonces, ¿cuál es la "repetibilidad de un efecto" en este modelo? Creo que una buena definición de candidato es que es la correlación esperada entre dos pares de puntajes de diferencia calculados dentro del mismo grupo , pero a través de diferentes pares de observaciones . $j$ $i$

Entonces, el par de puntajes de diferencia en cuestión sería (recuerde que asumimos que tiene un código de contraste para que ): e $x$ $|x_1|=|x_2|=x$

y_{{yo}_{1} j k_{2}} - y_{{yo}_{1} j k_{1}} = (β_{0 0} - β_{0 0}) + β_{1} (X_{k_{2}} - X_{k_{1}}) + ({tu}_{0 0 j} - {tu}_{0 0 j}) + {tu}_{1 j} (X_{k_{2}} - X_{k_{1}}) + ({mi}_{{yo}_{1} j k_{2}} - {mi}_{{yo}_{1} j k_{1}}) = 2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{1} j k_{2}} - {mi}_{{yo}_{1} j k_{1}}

$y_{i_1jk_2}-y_{i_1jk_1}=(\beta_0-\beta_0)+\beta_1(x_{k_2}-x_{k_1})+(u_{0j}-u_{0j})+u_{1j}(x_{k_2}-x_{k_1})+(e_{i_1jk_2}-e_{i_1jk_1}) \\=2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}$

y_{{yo}_{2} j k_{2}} - y_{{yo}_{2} j k_{1}} = 2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{2} j k_{2}} - {mi}_{{yo}_{2} j k_{1}} .

$y_{i_2jk_2}-y_{i_2jk_1}=2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1}.$

Conectarlos a la fórmula de correlación nos da que se simplifica a ¡Observe que el ICC es técnicamente una función de ! Sin embargo, en este caso, solo puede tomar 2 valores posibles, y el ICC es idéntico en ambos valores.

yo do do = \frac{do o v (2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{1} j k_{2}} - {mi}_{{yo}_{1} j k_{1}}, 2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{2} j k_{2}} - {mi}_{{yo}_{2} j k_{1}})}{\sqrt{v una r (2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{1} j k_{2}} - {mi}_{{yo}_{1} j k_{1}}) v una r (2 X β_{1} + 2 X {tu}_{1 j} + {mi}_{{yo}_{2} j k_{2}} - {mi}_{{yo}_{2} j k_{1}})}},

$ICC = \frac{cov(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1}, 2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}{\sqrt{var(2x\beta_1+2xu_{1j}+e_{i_1jk_2}-e_{i_1jk_1})var(2x\beta_1+2xu_{1j}+e_{i_2jk_2}-e_{i_2jk_1})}},$

yo do do = \frac{2 X^{2} σ_{{tu}_{1}}^{2}}{2 X^{2} σ_{{tu}_{1}}^{2} + σ_{mi}^{2}} .

$ICC = \frac{2x^2\sigma^2_{u_1}}{2x^2\sigma^2_{u_1} + \sigma^2_e}.$

x

$x$

x

$x$

Como puede ver, esto es muy similar al coeficiente de repetibilidad que propuso en su pregunta, la única diferencia es que la varianza aleatoria de la pendiente debe ajustarse adecuadamente si la expresión debe interpretarse como un ICC o "coeficiente de repetibilidad no ajustado". La expresión que escribió funciona en el caso especial donde el predictor está codificado , pero no en general. $x$ $\pm\frac{1}{\sqrt{2}}$

(2.) Cuando tengo múltiples variables cuya repetibilidad quiero estimar, agregarlas todas al mismo ajuste (por ejemplo lmer(dv~(iv1+iv2|unit)+iv1+iv2) parece producir estimaciones de repetibilidad más altas que crear un modelo separado para cada efecto. Esto tiene sentido computacionalmente para mí, ya que la inclusión de múltiples efectos tenderá a disminuir la varianza residual, pero no estoy seguro de que las estimaciones de repetibilidad resultantes sean válidas. ¿Son ellos?

Creo que trabajar a través de una derivación similar a la presentada anteriormente para un modelo con múltiples predictores con sus propias pendientes aleatorias demostraría que el coeficiente de repetibilidad anterior aún sería válido, excepto por la complicación adicional de que las puntuaciones de diferencia en las que estamos interesados conceptualmente ahora tienen una definición ligeramente diferente: a saber, estamos interesados en la correlación esperada de las diferencias entre las medias ajustadas después de controlar los otros predictores en el modelo.

Si los otros predictores son ortogonales al predictor de interés (como en, por ejemplo, un experimento equilibrado), creo que el coeficiente de ICC / repetibilidad elaborado anteriormente debería funcionar sin ninguna modificación. Si no son ortogonales, deberá modificar la fórmula para tener en cuenta esto, lo que podría complicarse, pero espero que mi respuesta haya dado algunas pistas sobre cómo podría ser.

— Jake Westfall
fuente

Tienes razón Jake. El ICC ajustado se refiere a la sección VII. REPETIBILIDAD Y HERITABILIDAD EXTRAPOLADAS en el documento vinculado. Los autores escriben Es importante distinguir entre la repetibilidad de las mediciones individuales y la repetibilidad de los medios de medición $R$ $R_n$ .

— Gabra

Calcular la repetibilidad de los efectos de un modelo más antiguo

Intercepciones aleatorias solamente

Intercepciones aleatorias y pendientes aleatorias