¿Cómo obtener el valor p (verificar significancia) de un efecto en un modelo mixto lme4?

Yo uso lme4 en R para ajustar el modelo mixto

lmer(value~status+(1|experiment)))

donde el valor es continuo, el estado y el experimento son factores, y obtengo

Linear mixed model fit by REML 
Formula: value ~ status + (1 | experiment) 
  AIC   BIC logLik deviance REMLdev
 29.1 46.98 -9.548    5.911    19.1
Random effects:
 Groups     Name        Variance Std.Dev.
 experiment (Intercept) 0.065526 0.25598 
 Residual               0.053029 0.23028 
Number of obs: 264, groups: experiment, 10

Fixed effects:
            Estimate Std. Error t value
(Intercept)  2.78004    0.08448   32.91
statusD      0.20493    0.03389    6.05
statusR      0.88690    0.03583   24.76

Correlation of Fixed Effects:
        (Intr) statsD
statusD -0.204       
statusR -0.193  0.476

¿Cómo puedo saber que el efecto del estado es significativo? R informa solo valores y no valores .$t$$p$

Hay mucha información sobre este tema en las preguntas frecuentes de GLMM . Sin embargo, en su caso particular, sugeriría usar

library(nlme)
m1 <- lme(value~status,random=~1|experiment,data=mydata)
anova(m1)

porque no necesita nada de lo que lmerofrece (mayor velocidad, manejo de efectos aleatorios cruzados, GLMM ...). lmedebe darle exactamente el coeficiente y la varianza mismas estimaciones, pero tendrán también df de cómputo y valores de p para usted (que hacen tiene sentido en un "clásico" de diseño como el que parecen tener). También es posible que desee considerar el término aleatorio ~status|experiment(que permite la variación de los efectos de estado entre bloques, o que incluye de manera equivalente una interacción estado por experimento). Los pósters anteriores también son correctos porque sus testadísticas son tan grandes que su valor p definitivamente será <0.05, pero me imagino que le gustaría valores p "reales".

Podrías usar el paquete lmerTest . Simplemente lo instala / carga y los modelos lmer se extienden. Entonces eg

library(lmerTest)
lmm <- lmer(value~status+(1|experiment)))
summary(lmm)
anova(lmm)

le daría resultados con valores p. Si los valores p son la indicación correcta, se cuestiona un poco, pero si desea tenerlos, esta es la forma de obtenerlos.

Si puede manejar el abandono de los valores p ( y debería hacerlo ), puede calcular una razón de probabilidad que representaría el peso de la evidencia del efecto del estado a través de:

#compute a model where the effect of status is estimated
unrestricted_fit = lmer(
    formula = value ~ (1|experiment) + status
    , REML = F #because we want to compare models on likelihood
)
#next, compute a model where the effect of status is not estimated
restricted_fit = lmer(
    formula = value ~ (1|experiment)
    , REML = F #because we want to compare models on likelihood
)
#compute the AIC-corrected log-base-2 likelihood ratio (a.k.a. "bits" of evidence)
(AIC(restricted_fit)-AIC(unrestricted_fit))*log2(exp(1))

El problema es que el cálculo de los valores p para estos modelos no es trivial, consulte la discusión aquí, por lo que los autores del lme4paquete han elegido deliberadamente no incluir valores p en la salida. Puede encontrar un método para calcularlos, pero no necesariamente serán correctos.

Considera lo que estás preguntando. Si solo desea saber si el valor p general para el efecto del estado pasa algún tipo de valor de corte arbitrario, como 0.05, entonces eso es fácil. Primero, desea averiguar el efecto general. Podrías obtener eso de anova.

m <- lmer(...) #just run your lmer command but save the model
anova(m)

Ahora tienes un valor F. Puede tomar eso y buscarlo en algunas tablas F. Simplemente elija el mínimo denom. grados de libertad. El límite allí será alrededor de 20. Su F puede ser mayor que eso, pero podría estar equivocado. Incluso si no es así, mire el número de grados de libertad de un cálculo ANOVA convencional aquí usando el número de experimentos que tiene. Pegar ese valor en usted tiene alrededor de 5 para un límite. Ahora lo pasa fácilmente en su estudio. El "verdadero" df para su modelo será algo mayor que eso porque está modelando cada punto de datos en lugar de los valores agregados que modelaría un ANOVA.

Si realmente desea un valor p exacto, no existe tal cosa a menos que esté dispuesto a hacer una declaración teórica al respecto. Si lees Pinheiro y Bates (2001, y tal vez algunos libros más sobre el tema ... mira otros enlaces en estas respuestas) y te sale un argumento para un df específico, entonces podrías usar eso. Pero de todos modos no estás buscando un valor p exacto. Menciono esto porque, por lo tanto, no debe informar un valor p exacto, solo que se pasa su límite.

Realmente debería considerar la respuesta de Mike Lawrence porque la idea de quedarse con un punto de paso para los valores p como la información final y más importante para extraer de sus datos generalmente es errónea (pero puede que no sea así en su caso, ya que nosotros no ' Realmente no tengo suficiente información para saber). Mike está usando una versión para mascotas del cálculo de LR que es interesante, pero puede ser difícil encontrar mucha documentación al respecto. Si observa la selección e interpretación de modelos utilizando AIC, puede que le guste.

Editar: este método ya no es compatible con las versiones más recientes de lme4. Use el paquete lmerTest como se sugiere en esta respuesta por pbx101 .

Hay una publicación en la lista R del autor de lme4 sobre por qué no se muestran los valores p. Sugiere usar muestras MCMC en su lugar, lo que haces usando pvals.fnc del paquete languageR:

library("lme4")
library("languageR")
model=lmer(...)
pvals.fnc(model)

Consulte http://www2.hawaii.edu/~kdrager/MixedEffectsModels.pdf para obtener un ejemplo y detalles.

¿Le interesa saber si el efecto combinado de statustiene un efecto significativo value? Si es así, puede usar la Anovafunción en el carpaquete (no debe confundirse con la anovafunción en la base R).

dat <- data.frame(
  experiment = sample(c("A","B","C","D"), 264, replace=TRUE), 
  status = sample(c("D","R","A"), 264, replace=TRUE), 
  value = runif(264)   
)
require(lme4)
(fm <- lmer(value~status+(1|experiment), data=dat))

require(car)
Anova(fm)

Echa un vistazo ?Anovadespués de cargar el carpaquete.

La función pvals.fncya no es compatible con lme4. Al usar el paquete lmerTest, es posible usar otro método para calcular el valor p, como las aproximaciones de Kenward-Roger

model=lmer(value~status+1|experiment)
anova(model, ddf="Kenward-Roger")

Simplemente cargando el paquete afex imprimirá los valores p en la salida de la función lmer del paquete lme4 (no es necesario que esté usando el afex; simplemente cárguelo):

library(lme4)  #for mixed model
library(afex)  #for p-values

Esto agregará automáticamente una columna de valor p a la salida del lmer (yourmodel) para los efectos fijos.