Complicaciones de tener una muestra muy pequeña en un modelo de ecuación estructural

Estoy ejecutando un modelo de ecuación estructural (SEM) en Amos 18. Estaba buscando 100 participantes para mi experimento (usado de forma flexible), que se consideró que probablemente no era suficiente para llevar a cabo un SEM exitoso. Me han dicho repetidamente que SEM (junto con EFA, CFA) es un procedimiento estadístico de "muestra grande". En pocas palabras, no llegué a 100 participantes (¡qué sorpresa!), Y solo tengo 42 después de excluir dos puntos de datos problemáticos. Por interés, probé el modelo de todos modos, y para mi sorpresa, ¡parecía encajar muy bien! CFI> .95, RMSEA <.09, SRMR <.08.

El modelo no es simple, de hecho, diría que es relativamente complejo. Tengo dos variables latentes, una con dos observadas y la otra con 5 variables observadas. También tengo cuatro variables adicionales observadas en el modelo. Existen numerosas relaciones entre las variables, indirectas y directas, con algunas variables que son endógenas a otras cuatro, por ejemplo.

Soy algo nuevo en SEM; sin embargo, dos personas que conozco que están bastante familiarizadas con SEM me dicen que, siempre que las indicaciones de ajuste sean buenas, los efectos son interpretables (siempre que sean significativos) y no hay nada significativamente "incorrecto" con el modelo. Sé que algunas indicaciones de ajuste están sesgadas a favor o en contra de pequeñas muestras en términos de sugerir un buen ajuste, pero las tres que mencioné anteriormente parecen estar bien, y creo que no están sesgadas de manera similar. Para probar los efectos indirectos estoy usando bootstrapping (2000 muestras más o menos), confianza corregida por sesgo del 90 por ciento, monte carlo. Una nota adicional es que estoy ejecutando tres SEM diferentes para tres condiciones diferentes.

Tengo dos preguntas que quisiera que algunos de ustedes consideren y respondan si tienen algo que aportar:

1. ¿Hay debilidades significativas en mi modelo que no se demuestren con los índices de ajuste? La pequeña muestra se destacará como una debilidad del estudio, pero me pregunto si hay algún problema estadístico enorme al que no me dé cuenta. Planeo obtener otros 10-20 participantes en el futuro, pero esto todavía me dejará con una muestra relativamente pequeña para tales análisis.

2. ¿Hay algún problema con mi uso de bootstrapping dada mi pequeña muestra, o el contexto en el que la estoy usando?

Espero que estas preguntas no sean demasiado "básicas" para este foro. ¡He leído varios capítulos sobre SEM y asuntos relacionados, pero creo que la gente está muy dispersa en términos de opiniones en esta área!

Salud

Un punto: no existe una "pregunta básica", solo sabes lo que sabes y no lo que no sabes. hacer una pregunta es a menudo la única forma de averiguarlo.

Cada vez que ve pequeñas muestras, descubre quién realmente tiene "fe" en sus modelos y quién no. Digo esto porque las muestras pequeñas son generalmente donde los modelos tienen el mayor impacto.

Siendo yo mismo un modelo (¿psicópata?) Entusiasta, yo digo ¡adelante! Parece que está adoptando un enfoque cauteloso, y ha reconocido posibles sesgos, etc. debido a la pequeña muestra. Una cosa a tener en cuenta al ajustar modelos a datos pequeños es que tiene 12 variables. Ahora debería pensar: ¿qué tan bien podría determinarse cualquier modelo con 12 variables mediante 42 observaciones? Si tuviera 42 variables, cualquier modelo podría ajustarse perfectamente a esas 42 observaciones (en términos generales), por lo que su caso no está muy lejos de ser demasiado flexible. ¿Qué sucede cuando tu modelo es demasiado flexible? Tiende a ajustarse al ruido, es decir, las relaciones que están determinadas por otras cosas que no son las hipotéticas.

También tiene la oportunidad de poner su ego donde está su modelo al predecir cuáles serán esas 10-20 muestras futuras de su modelo. Me pregunto cómo reaccionarán sus críticos ante un modelo llamado "dudoso" que ofrece las predicciones correctas. Tenga en cuenta que obtendría un "Te lo dije" similar si su modelo no predice bien los datos.

Otra forma de asegurarte de que tus resultados son confiables es intentar romperlos. Mantenga intactos sus datos originales, cree un nuevo conjunto de datos y vea lo que tiene que hacer con este nuevo conjunto de datos para que sus resultados SEM parezcan ridículos. Luego mire lo que tenía que hacer y considere: ¿es este un escenario razonable? ¿Mis datos "ridículos" se parecen a una posibilidad genuina? Si tiene que llevar sus datos a territorio ridículo para producir resultados ridículos, le proporciona cierta seguridad (heurística, no formal) de que su método es sólido.

El principal problema que veo con esto es la falta de poder. Las pruebas de factor confirmatorio y SEM parecen aceptar el valor nulo (desea ver un valor p no significativo), por lo que la falta de potencia puede ser un problema. El poder de la prueba depende del tamaño de la muestra (42) y los grados de libertad. AMOS te da los grados de libertad. No lo ha citado, pero no será grande en este caso. Con 12 variables, comienza con 66 DF y resta 1 para cada parámetro que estima. No sé cuántos serían, pero usted dice que tiene varios factores y correlaciones entre varias construcciones.

No estoy completamente de acuerdo con Rolando2. En SEM, se gana al tener muchas variables, suponiendo que sean indicadores confiables de las construcciones subyacentes. Entonces no reduzca el número de variables. Por la misma razón, no estoy totalmente de acuerdo con @probabilityislogic. En SEM, no está tratando de modelar 12 variables con 42 observaciones. Está intentando modelar las construcciones a través de 12 indicadores, fortalecidos por 42 repeticiones. Un modelo de factor muy simple, 1 factor con 12 indicadores, posiblemente podría probarse con 42 personas.

El RMSEA y otras medidas de bondad de ajuste tenderán a mejorar a medida que se acerque a la saturación del modelo, por lo que nuevamente corre el riesgo de un resultado engañoso.

Dicho esto, he visto pequeños conjuntos de datos rechazar un modelo de factores. Probablemente significa algo que el ajuste parece ser bueno.

Nota: También puede verificar los residuos de un modelo SEM. Estas son las diferencias entre la matriz de covarianza estimada y la matriz de covarianza modelo. AMOS te los dará si los solicitas. El examen de los residuos podría indicar si están distribuidos de manera uniforme o si ciertas covarianzas están mal ajustadas.