¿Cómo manejar múltiples mediciones por participante, con datos categóricos?

He realizado un experimento en el que he recogido medidas de varios participantes. Cada punto de datos relevante tiene dos variables, ambas categóricas: de hecho, cada variable tiene dos valores posibles (respuestas a dos preguntas sí / no). Me gustaría una prueba de hipótesis estadística para verificar si parece haber una correlación entre estas dos variables.

Si tuviera un punto de datos por participante, podría usar la prueba exacta de Fisher en el resultado $2 \times 2$mesa de contingencia. Sin embargo, tengo múltiples puntos de datos por participante. En consecuencia, la prueba exacta de Fisher no parece aplicable, porque los puntos de datos de un solo participante no son independientes. Por ejemplo, si tengo 10 puntos de datos de Alice, probablemente no sean independientes, porque todos provienen de la misma persona. La prueba exacta de Fisher supone que todos los puntos de datos se muestrearon de forma independiente, por lo que las suposiciones de la prueba exacta de Fisher no se cumplen y sería inapropiado usar en este entorno (podría dar informes injustificados de significancia estadística).

¿Existen técnicas para manejar esta situación?

Enfoques que he considerado:

Una alternativa plausible es agregar todos los datos de cada participante en un solo número y luego usar alguna otra prueba de independencia. Por ejemplo, para cada participante, podría contar la fracción de respuestas de Sí a la primera pregunta y la fracción de respuestas de Sí a la segunda pregunta, dándome dos números reales por participante, y luego usar la prueba de momento del producto de Pearson para evaluar la correlación entre estos dos números Sin embargo, no estoy seguro de si este es un buen enfoque. (Por ejemplo, me preocupa que promediar / contar esté arrojando datos y esto podría estar perdiendo potencia, debido a la agregación; o que los signos de dependencia podrían desaparecer después de la agregación).

He leído acerca de los modelos de varios niveles, que parecen estar destinados a manejar esta situación cuando las variables subyacentes son continuas (por ejemplo, números reales) y cuando un modelo lineal es apropiado. Sin embargo, aquí tengo dos variables categóricas (respuestas a las preguntas Sí / No), por lo que no parecen aplicarse aquí. ¿Existe alguna técnica equivalente que sea aplicable a los datos categóricos?

También he leído un poco sobre el diseño de medidas repetidas en Wikipedia, pero el artículo de Wikipedia se centra en estudios longitudinales. Eso no parece aplicable aquí: si lo entiendo correctamente, las medidas repetidas parecen centrarse en los efectos debido al paso del tiempo (donde la progresión del tiempo influye en las variables). Sin embargo, en mi caso, el paso del tiempo no debería tener ningún efecto relevante. Dime si he entendido mal.

En una reflexión posterior, otro enfoque que se me ocurre es usar una prueba de permutación. Para cada participante, podríamos permutar aleatoriamente sus respuestas a la pregunta 1 y (independientemente) permutar aleatoriamente sus respuestas a la pregunta 2, utilizando una permutación diferente para cada participante. Sin embargo, no me queda claro qué estadístico de prueba sería apropiado aquí, para medir qué resultados son "al menos tan extremos" como el resultado observado.

Relacionado: Cómo tratar correctamente múltiples puntos de datos por cada sujeto (pero eso también se enfoca en modelos lineales para variables continuas, no en datos categóricos). ¿Son independientes las mediciones en el mismo paciente? (mismo)

Contexto de mi respuesta

Ayer estudié esta pregunta por mí mismo (la parte relativa a la posibilidad de utilizar modelos mixtos aquí). Descaradamente descarto mi nuevo conocimiento sobre este enfoque para las tablas de 2x2 y espero que los pares más avanzados corrijan mis imprecisiones o malentendidos. Mi respuesta será entonces larga y demasiado didáctica (al menos tratando de ser didáctica) para ayudar pero también exponer mis propios defectos. Antes que nada, debo decir que compartí tu confusión que dijiste aquí.

He leído acerca de los modelos de varios niveles, que parecen estar destinados a manejar esta situación cuando las variables subyacentes son continuas (por ejemplo, números reales) y cuando un modelo lineal es apropiado

Estudié todos los ejemplos de este modelo de efectos aleatorios de datos de respuesta categórica . El título mismo contradice este pensamiento. Para nuestro problema con las tablas de 2x2 con medidas repetidas, el ejemplo en la sección 3.6 está relacionado con nuestra discusión. Esto es solo para referencia ya que mi objetivo es explicarlo. Puedo editar esta sección en el futuro si este contexto ya no es necesario.

El modelo

Idea general
Lo primero que hay que entender es que el efecto aleatorio no se modela de una manera muy diferente como en la regresión sobre la variable continua. De hecho, una regresión sobre una variable categórica no es más que una regresión lineal sobre el logit (u otra función de enlace como probit) de la probabilidad asociada con los diferentes niveles de esta variable categórica. Si$\pi_i$ es la probabilidad de responder sí a la pregunta $i$, entonces $logit(\pi_{i})= FixedEffects_i + RandomEffect_i$. Este modelo es lineal y los efectos aleatorios se pueden expresar de forma numérica clásica, como por ejemplo

Nuestro caso
Para nuestro problema, queremos modelar $\pi_{ijv}$La probabilidad de que el sujeto responda "sí" para la variable v en el momento de la entrevista j. El logit de esta variable se modela como una combinación de efectos fijos y efectos aleatorios relacionados con el sujeto.

Sobre los efectos fijos

Los efectos fijos se relacionan con la probabilidad de responder "sí" en el momento j en la pregunta v. De acuerdo con su objetivo científico, puede probar con una razón de probabilidad para comprobar si debe rechazarse la igualdad de ciertos efectos fijos. Por ejemplo, el modelo donde$\beta_{1v}=\beta_{2v}=\beta_{3v}...$ significa que no hay una tendencia de cambio en la respuesta del tiempo 1 al tiempo 2. Si asume que esta tendencia global no existe, lo que parece ser el caso de su estudio, puede abandonar el $i$ directamente en su modelo $\beta_{jv}$ se convierte $\beta_{v}$. Por analogía, puede probar por una razón de probabilidad si la igualdad$\beta_{1}=\beta_{2}$ debe ser rechazado

Sobre efectos aleatorios

Sé que es posible modelar efectos aleatorios por algo más que errores normales, pero prefiero responder sobre la base de efectos aleatorios normales por simplicidad. Los efectos aleatorios se pueden modelar de diferentes maneras. Con las anotaciones$u_{ij}$Supuse que un efecto aleatorio se extrae de su distribución cada vez que un sujeto responde una pregunta. Este es el grado de variación más específico posible. Si yo usara$u_{i}$ en cambio, significaría que se dibuja un efecto aleatorio para cada sujeto $i$ y es igual para cada pregunta $v$tiene que responder (algunos sujetos tendrían una tendencia a responder sí más a menudo). Tienes que hacer una elección. Si entendí bien, también puedes tener ambos efectos aleatorios $u_{i}\sim N(0,\sigma_1)$ que es dibujado por sujeto y $u_{ij}\sim N(0,\sigma_2)$que es sujeto + respuesta dibujado. Creo que su elección depende de los detalles de su caso. Pero si entendí bien, el riesgo de sobreajuste al agregar efectos aleatorios no es grande, por lo que cuando uno tiene una duda, podemos incluir muchos niveles.

Una proposición

Me doy cuenta de lo extraña que es mi respuesta, esto es solo un divagante vergonzoso, sin duda, más útil para mí que para otros. Quizás edite el 90%. No tengo más confianza, pero estoy más dispuesto a ir al grano. Sugeriría comparar el modelo con efectos aleatorios anidados ($u_{i}+u_{iv}$) versus el modelo con solo el efecto aleatorio combinado ($u_{iv}$) La idea es que el$u_i$El término es el único responsable de la dependencia entre las respuestas. Rechazar la independencia es rechazar la presencia de$u_{i}$. Usar glmer para probar esto daría algo como:

model1<-glmer(yes ~ Question + (1 | Subject/Question ), data = df, family = binomial)
model2<-glmer(yes ~ Question + (1 | Subject:Question ), data = df, family = binomial)
anova(model1,model2) 

La pregunta es una variable ficticia que indica si se hace la pregunta 1 o 2. Si entendí bien, (1 | Subject/Question )está relacionado con la estructura anidada$u_{i}+u_{iv}$y (1 |Subject:Question)es solo la combinación$u_{iv}$. anovacalcula una prueba de razón de probabilidad entre los dos modelos.