¿Qué hacer cuando CFA apto para la escala de varios elementos es malo?

No estoy seguro de cómo proceder con este CFA que estoy haciendo en lavaan. Tengo una muestra de 172 participantes (sé que no es mucho para un CFA) y 28 elementos con escalas Likert de 7 puntos que deberían cargarse en siete factores. Hice un CFA con estimadores "mlm", pero el ajuste del modelo fue realmente malo (χ2 (df = 329) = 739.36; índice de ajuste comparativo (CFI) = .69; raíz cuadrática media estandarizada residual (SRMR) =. 10; error cuadrático medio de aproximación (RMSEA) =. 09; RMSEA intervalo de confianza (IC) del 90% = [.08, .10]).

He probado lo siguiente:

• El modelo de bifactor con un factor de método general -> no convergió.

• estimadores para datos ordinales („WLSMV“) -> Ajuste del modelo: (χ2 (df = 329) = 462; índice de ajuste comparativo (CFI) = .81; raíz cuadrática media estandarizada residual (SRMR) =. 09; error cuadrático medio de aproximación (RMSEA) =. 05; RMSEA intervalo de confianza del 90% (IC) = [.04, .06])

• reduciendo el modelo por elementos que cargan bajo en un factor y agregan covarianzas entre elementos específicos -> Ajuste del modelo: χ2 (df = 210) = 295; índice de ajuste comparativo (CFI) = .86; raíz cuadrática media estandarizada residual (SRMR) =. 08; error cuadrático medio de aproximación (RMSEA) =. 07; RMSEA 90% intervalo de confianza (IC) = [.06, .08].

Ahora mis preguntas:

• ¿Qué debo hacer con tal modelo?

• ¿Qué sería estadísticamente correcto hacer?

• ¿Informar que encaja o que no encaja? ¿Y cuál de esos modelos?

Me alegraría tener una discusión contigo sobre esto.

Aquí está la salida de lavaan del CFA del modelo original:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Volver al análisis factorial exploratorio

Si tiene muy mal ajuste de CFA, a menudo es una señal de que ha saltado demasiado rápido a CFA. Debería volver al análisis factorial exploratorio para conocer la estructura de su prueba. Si tiene una muestra grande (en su caso no la tiene), puede dividir su muestra para obtener una muestra exploratoria y una confirmatoria.

• Aplique procedimientos de análisis factorial exploratorio para verificar si el número teorizado de factores parece razonable. Verificaría el diagrama de pantalla para ver qué sugiere. Luego verificaría la matriz de carga de factores rotados con el número teorizado de factores, así como con uno o dos factores más y uno o dos factores menos. A menudo puede ver signos de extracción insuficiente o excesiva de factores al observar dichas matrices de carga de factores.
• Utilice el análisis factorial exploratorio para identificar elementos problemáticos. En particular, los artículos que se cargan más en un factor no teorizado, artículos con grandes cargas cruzadas, artículos que no se cargan mucho en ningún factor.

Los beneficios de EFA es que brinda mucha libertad, por lo que aprenderá mucho más sobre la estructura de la prueba de lo que aprenderá solo mirando los índices de modificación de CFA.

De todos modos, con suerte de este proceso, es posible que haya identificado algunos problemas y soluciones. Por ejemplo, puede soltar algunos elementos; puede actualizar su modelo teórico de cuántos factores hay, etc.

2. Mejorar el ajuste del análisis factorial confirmatorio

Hay muchos puntos que podrían hacerse aquí:

El CFA en escalas con muchos elementos por escala a menudo se desempeña mal según los estándares tradicionales. Esto a menudo lleva a las personas (y tenga en cuenta que creo que esta respuesta a menudo es desafortunada) para formar paquetes de artículos o solo usar tres o cuatro artículos por escala. El problema es que las estructuras CFA típicamente propuestas no logran capturar los pequeños matices en los datos (por ejemplo, pequeñas cargas cruzadas, elementos dentro de una prueba que se correlacionan un poco más que otros, factores molestos menores). Estos se amplifican con muchos elementos por escala.

Aquí hay algunas respuestas a la situación anterior:

• Haga SEM exploratorio que permita varias cargas cruzadas pequeñas y términos relacionados
• Examine los índices de modificación e incorpore algunas de las modificaciones razonables más grandes; por ejemplo, algunos residuos correlacionados dentro de la escala; Algunas cargas cruzadas. ver modificationindices(fit)en lavaan.
• Utilice la parcelación de elementos para reducir la cantidad de variables observadas

Comentarios generales

Entonces, en general, si su modelo CFA es realmente malo, regrese a EFA para obtener más información sobre su escala. Alternativamente, si su EFA es bueno y su CFA se ve un poco mal debido a problemas bien conocidos de tener muchos elementos por escala, entonces los enfoques CFA estándar como se mencionó anteriormente son apropiados.

Trabajaría para tratar de lograr que el modelo bifactor converja. Intente ajustar los valores iniciales ... sin embargo, este puede ser un enfoque sospechoso, así que tenga esto en cuenta e interprete con precaución. Lea sobre los peligros de interpretar modelos que resisten la convergencia si quiere ser verdaderamente cauteloso. Admito que todavía no he hecho mucho en mi estudio de SEM, por lo que sugiero hacer lo que debe hacer para que el modelo funcione. convergen principalmente para su beneficio. No sé si será más adecuado para su publicación, pero si claramente no lo es porque el modelo bifactor tampoco se ajusta bien, eso podría ser bueno para usted.

De lo contrario, parece que has hecho todo lo que puedes con los datos que tienes. AFAIK (¡He estado investigando profundamente esto recientemente para un proyecto metodológico propio, así que corrígeme si me equivoco!), La estimación de WLSMV lavaanutiliza umbrales de correlaciones policóricas , que es la mejor manera de ajustarse bien índices de un CFA de datos ordinales. Suponiendo que haya especificado su modelo correctamente (o al menos de manera óptima), eso es todo lo que puede hacer. Quitar elementos con cargas bajas y estimar libremente las covarianzas entre elementos incluso va un poco lejos, pero también lo intentó.

Su modelo no se ajusta bien a los estándares convencionales, como probablemente ya sabe. Por supuesto, no debes decir que encaja bien cuando no lo hace. Esto se aplica a todos los conjuntos de estadísticas de ajuste que informa aquí, lamentablemente (supongo que esperaba que encajara). Algunas de sus estadísticas de ajuste son bastante pobres, no totalmente malas (el RMSEA = .05 es aceptable), pero en general, ninguna de ellas es una buena noticia, y usted tiene la responsabilidad de ser honesto al respecto si va a publicar estos resultados. Espero que puedas, FWIW.

De cualquier manera, podría considerar recopilar más datos si puede; eso podría ayudar, dependiendo de lo que estés buscando. Si su objetivo es una prueba de hipótesis confirmatoria, bueno, ha "observado" sus datos e inflará su tasa de error si lo reutiliza en una muestra ampliada, por lo que, a menos que pueda dejar este conjunto de datos a un lado y replicar un todo, fresco, más grande, tienes un escenario difícil de manejar. Sin embargo, si está interesado principalmente en estimar parámetros y reducir los intervalos de confianza, creo que sería razonable agrupar tantos datos como pueda reunir, incluidos los que ya haya utilizado aquí. Si puede obtener más datos, puede obtener mejores índices de ajuste, lo que haría que sus estimaciones de parámetros sean más confiables. Espero que sea lo suficientemente bueno.