Prueba estadística para comparar la precisión de dos dispositivos.

Estoy comparando dos dispositivos de control de temperatura, ambos diseñados para mantener la temperatura corporal a exactamente 37 grados en pacientes anestesiados. Los dispositivos se ajustaron a 500 pacientes formando dos grupos. Grupo A (400 pacientes) - Dispositivo 1, Grupo B (100 pacientes) - Dispositivo 2. A cada paciente se le midió la temperatura una vez cada hora durante 36 horas, lo que me dio 18000 puntos de datos en dos grupos. Necesito determinar qué dispositivo controla la temperatura corporal de los pacientes con mayor precisión durante el período de 36 horas. He construido gráficos de líneas que unen los valores medios en cada punto de tiempo con barras de cuartil y visualmente parece haber una diferencia. ¿Cómo debería analizar mis datos para probar una diferencia estadística?

statistical-significance repeated-measures variance

— RikT
fuente

¿Compartió pacientes entre dispositivos? Si no lo hizo, debe haber una suposición adicional de que los pacientes en dos grupos son similares en un sentido amplio.

— Aksakal

¿Qué pasa con un modelo de efectos mixtos? Los errores estándar para cada nivel (grupo A / B), en cierto sentido, le dirían cuán precisas son las mediciones. Puede contabilizar las series de tiempo y los pacientes.

— Roman Luštrik

Respuestas:

Lo primero en lo que tendrá que pensar es qué significa (cuantitativamente) tener "buena precisión" en dicho dispositivo. Sugeriría que, en un contexto médico, el objetivo es evitar las desviaciones de temperatura que entran en un rango peligroso para el paciente, por lo que "buena precisión" probablemente se traducirá en evitar temperaturas peligrosamente bajas o altas. Esto significa que va a buscar una métrica que penalice en gran medida las grandes desviaciones de su temperatura óptima de 37 C. En vista de esto, la medición basada en fluctuaciones en las temperaturas medias será una mala medida de precisión, mientras que las medidas que resaltan grandes desviaciones serán mejores. $^\text{o}$

Cuando está formulando este tipo de métrica, está adoptando implícitamente una "función de penalización" que penaliza las temperaturas que se desvían de la temperatura deseada. Una opción sería medir la "precisión" mediante una varianza menor alrededor de la temperatura deseada (tratando esto como la media fija para el cálculo de la varianza). La varianza penaliza por error al cuadrado, de modo que proporciona una penalización razonable por desviaciones altas. Otra opción sería penalizar más (por ejemplo, error al cubo). Otra opción sería simplemente medir la cantidad de tiempo que cada dispositivo tiene al paciente fuera del rango de temperatura que es médicamente seguro. En cualquier caso, lo que elija debe reflejar los peligros percibidos de desviación de la temperatura deseada.

Una vez que haya determinado qué constituye una métrica de "buena precisión", formulará algún tipo de "prueba de heterocedasticidad", formulada en el sentido más amplio de permitir cualquier medida de precisión que esté utilizando. No estoy seguro de estar de acuerdo con el comentario de Whuber de ajustar la autocorrelación. Realmente depende de su formulación de pérdida: después de todo, permanecer en un rango de temperatura alta durante un período prolongado de tiempo podría ser exactamente lo más peligroso, por lo que si ajusta de nuevo para tener en cuenta la autocorrelación, podría terminar hasta no penalizar suficientemente los resultados altamente peligrosos.

— Ben - Restablece a Monica
fuente

Esta es una prueba de homocedasticidad. Y debido a que esta es una serie temporal, la elección adecuada es la prueba Breusch-Pagan , no la prueba F. Esta prueba solo responde SOLO a la cuestión de la igualdad de precisión entre los dos dispositivos. El nivel de precisión es otra forma de pensar en la varianza.

[Editar: Cambió la prueba a la correcta, considerando la dependencia del tiempo]

— Gary Chung
fuente

Este enfoque es razonable. Pero, ¿por qué no lograr ambos objetivos directamente, comparando las dispersiones alrededor de la temperatura objetivo en lugar de las variaciones (que solo miden las dispersiones alrededor de las temperaturas promedio)? Una cuestión importante que se debe verificar primero se refiere a la correlación en serie: si es alta, entonces es necesario hacer alguna corrección (como reducir los grados de libertad en las pruebas). Otro problema se refiere a la pérdida : la función de pérdida probablemente no es cuadrática. Quizás las personas pueden tolerar fácilmente pequeñas fluctuaciones, pero la ocurrencia de una gran fluctuación podría doler. Eso debería ser explorado.

— whuber

@whuber En cuanto a comparar alrededor de la temperatura objetivo, si fuera yo, eso es exactamente lo que haría. El OP específicamente solo hizo la pregunta de variación, así que independientemente de nuestras inclinaciones, tenemos que abordar eso directamente, ¿sí? :)

— Gary Chung

El problema para una prueba F no será la normalidad, sino la independencia. Estas son series de tiempo.

— Glen_b -Reinstale a Monica

@Glen_b No puedo creer que haya perdido ese punto. Gracias por atrapar eso. Editado

— Gary Chung

Con respecto, no: la diferencia entre este sitio y, digamos, el sitio de Matemáticas es que una parte sustancial de responder una pregunta estadística implica ayudar al OP a enmarcarlo como pretendían. Muy a menudo, las respuestas correctas a las preguntas que se hicieron originalmente aquí son poco útiles o incluso engañosas. Por lo tanto, nuestra primera tarea como lectores activos y posibles encuestados es asegurarnos de que estamos interpretando la pregunta de una manera útil y apropiada y proporcionar respuestas que aborden mejor los objetivos del OP. Use los comentarios a la pregunta para hacer preguntas aclaratorias y verificar su interpretación.

— whuber

Si está interesado en qué tan bien los dispositivos mantienen una temperatura de 37 ° C, puede:

Utilice todos los datos disponibles de cada persona tal cual o
Estime la desviación media por persona de 37 ° C utilizando los 36 ensayos de cada persona.

Los datos se prestan naturalmente al tratamiento de medidas repetidas. Al tratar los ensayos dentro de la persona como grupos, reducirá la probabilidad de un intervalo de confianza falsamente estimado alrededor del efecto del dispositivo. Además, puede probar el efecto del tiempo entre ambos dispositivos o como una interacción con el dispositivo para determinar si el mantenimiento de la temperatura a lo largo del tiempo fue bueno. Encontrar una manera de visualizar todo esto es de importancia clave y puede sugerir un enfoque sobre otro. Algo en la línea de:

library(dplyr)
library(lme4)

set.seed(42)
id <- rep(1:500, each=36)
time <- rep(1:36,500)
temp <- c(rnorm(36*400, 38,0.5), rnorm(36*100,37.25,0.5))
temp <- temp + 1/time

prox_37 <- temp - 37
group <- c(rep("A",36*400), rep("B",36*100))
graph_t <- ifelse(group=="A", time-0.25, time+0.25)
df <- data.frame(id,time,temp,prox_37,group, graph_t)

id_means <- group_by(df, id) %>% summarize(mean_37 = mean(prox_37))
id_means$group <- c(rep("A",400), rep("B",100))

boxplot(id_means$mean_37 ~ id_means$group)

plot(graph_t, prox_37, col=as.factor(group))
loess_fit <- loess(prox_37 ~ time, data = df)
lines(c(1:36), predict(loess_fit, newdata= c(1:36)) , col = "blue")

summary(t.test(mean_37 ~group, data=id_means))

model1 <- glm(prox_37 ~ as.factor(group), family = "gaussian", data=df)
model2 <- lmer(prox_37 ~ as.factor(group) + (1 | id), data=df)
model3 <- lmer(prox_37 ~ as.factor(group) + time + (1 | id), data=df)
model4 <- lmer(prox_37 ~ as.factor(group) + time + time*as.factor(group) + (1 | id), data=df)

AIC(model1)
summary(model2)
summary(model3)
summary(model4)

— Todd D
fuente