¿Cómo evaluar la confiabilidad de un cuestionario: dimensionalidad, ítems problemáticos y si se debe usar alfa, lambda6 o algún otro índice?

Estoy analizando los puntajes dados por los participantes que asistieron a un experimento. Quiero estimar la confiabilidad de mi cuestionario que se compone de 6 ítems destinados a estimar la actitud de los participantes hacia un producto.

Calculé el alfa de Cronbach tratando todos los ítems como una sola escala (el alfa era de aproximadamente 0.6) y eliminando un ítem a la vez (el alfa máximo era de aproximadamente 0.72). Sé que alfa puede subestimarse y sobreestimarse dependiendo del número de elementos y la dimensionalidad de la construcción subyacente. Entonces también realicé un PCA. Este análisis reveló que había tres componentes principales que explicaban aproximadamente el 80% de la varianza. Entonces, mis preguntas son sobre cómo puedo proceder ahora.

• ¿Necesito realizar un cálculo alfa en cada una de estas dimensiones?
• ¿Tengo que eliminar los elementos que afectan la fiabilidad?

Además, al buscar en la web descubrí que hay otra medida de confiabilidad: el lambda6 de guttman.

• ¿Cuáles son las principales diferencias entre esta medida y alfa?
• ¿Cuál es un buen valor de lambda?

Creo que @Jeromy ya dijo lo esencial, así que me concentraré en medidas de confiabilidad.

El alfa de Cronbach es un índice dependiente de la muestra utilizado para determinar un límite inferior de la fiabilidad de un instrumento. No es más que un indicador de varianza compartido por todos los elementos considerados en el cálculo de una puntuación de escala. Por lo tanto, no debe confundirse con una medida absoluta de confiabilidad, ni se aplica a un instrumento multidimensional en su conjunto. En efecto, se hacen los siguientes supuestos: (a) sin correlaciones residuales, (b) los ítems tienen cargas idénticas, y (c) la escala es unidimensional. Esto significa que el único caso donde alfa será esencialmente lo mismo que confiabilidades el caso de cargas de factor uniformemente altas, covarianzas sin error e instrumento unidimensional (1). Como su precisión depende del error estándar de las intercorrelaciones de ítems, depende de la extensión de las correlaciones de ítems, lo que significa que alfa reflejará este rango de correlaciones independientemente de la fuente o fuentes de este rango en particular (por ejemplo, error de medición o multidimensionalidad). Este punto es ampliamente discutido en (2). Vale la pena señalar que cuando alfa es 0.70, un umbral de confiabilidad ampliamente referido para propósitos de comparación grupal (3,4), el error estándar de medición será más de la mitad (0.55) una desviación estándar. Además, el alfa de Cronbach es una medida de consistencia interna, no es una medida de unidimensionalidad y no se puede usar para inferir unidimensionalidad (5). Finalmente, podemos citar al propio LJ Cronbach,

Los coeficientes son un dispositivo crudo que no saca a la superficie muchas sutilezas implicadas por los componentes de la varianza. En particular, las interpretaciones que se hacen en las evaluaciones actuales se evalúan mejor mediante el uso de un error estándar de medición. --- Cronbach y Shavelson, (6)

Hay muchas otras trampas que se discutieron en gran medida en varios documentos en los últimos 10 años (por ejemplo, 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Referencias

1. Raykov, T. (1997). Escala de fiabilidad, coeficiente alfa de Cronbach y violaciones de la equivalencia tau esencial para componentes congéneres fijos. Investigación conductual multivariante , 32, 329-354.
2. Cortina, JM (1993). ¿Qué es el coeficiente alfa? Un examen de teoría y aplicaciones . Revista de Psicología Aplicada , 78 (1), 98-104.
3. Nunnally, JC y Bernstein, IH (1994). Teoría psicométrica . Serie McGraw-Hill en Psicología, Tercera edición.
4. De Vaus, D. (2002). Análisis de datos de ciencias sociales . Londres: Publicaciones sabias.
5. Daneses, JE y Mann, OK. (1984) Medición unidimensional y modelos de ecuaciones estructurales con variables latentes. Journal of Business Research , 12, 337-352.
6. Cronbach, LJ y Shavelson, RJ (2004). Mis pensamientos actuales sobre el coeficiente alfa y los procedimientos sucesores . Medición educativa y psicológica , 64 (3), 391-418.
7. Schmitt, N. (1996). Usos y abusos del coeficiente alfa . Evaluación psicológica , 8 (4), 350-353.
8. Iacobucci, D. y Duhachek, A. (2003). Alfa avanzado: medición de la confiabilidad con confianza . Revista de Psicología del Consumidor , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO y Walker, S. (2000). Coeficiente alfa: ¿un indicador útil de fiabilidad? Personalidad y diferencias individuales , 28, 229-237.
10. Fong, DYT, Ho, SY y Lam, TH (2010). Evaluación de la confiabilidad interna en presencia de respuestas inconsistentes . Resultados de salud y calidad de vida , 8, 27.
11. Guttman, L. (1945). Una base para analizar la fiabilidad test-retest. Psychometrika , 10 (4), 255-282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. y Zinbarg, RE (2009) Coeficientes alfa, beta, omega y glb: comentarios sobre Sijtsma . Psychometrika , 74 (1), 145-154

Aquí hay algunos comentarios generales:

• PCA : El análisis de PCA no "revela que hay tres componentes principales". Decidió extraer tres dimensiones o se basó en alguna regla general predeterminada (generalmente valores propios sobre 1) para decidir cuántas dimensiones extraer. Además, los valores propios sobre uno a menudo extraen más dimensiones de las que son útiles.
• Evaluación de la dimensionalidad del artículo: estoy de acuerdo en que puede usar PCA para evaluar la dimensionalidad de los artículos. Sin embargo, encuentro que mirar el diagrama de pantalla puede proporcionar una mejor guía para la cantidad de dimensiones. Es posible que desee consultar esta página de William Revelle para evaluar la dimensionalidad de la escala .
• ¿Cómo proceder?
  • Si la escala está bien establecida , puede dejarla como está (suponiendo que sus propiedades sean al menos razonables; aunque en su caso 0.6 es relativamente pobre para la mayoría de los estándares).
  • Si la escala no está bien establecida , entonces debería considerar teóricamente qué elementos están destinados a medir y para qué propósito desea utilizar la escala resultante. Dado que solo tiene seis elementos, no tiene mucho espacio para crear múltiples escalas sin caer en números preocupantes de elementos por escala. Simultáneamente, es una idea inteligente verificar si hay elementos problemáticos, ya sea por problemas de piso, techo o baja confiabilidad. Además, es posible que desee comprobar si es necesario revertir algún elemento.
  • Reuní algunos enlaces a recursos generales sobre desarrollo de escalas que pueden serle útiles.

A continuación se abordan sus preguntas específicas:

• ¿Necesito realizar un cálculo alfa en cada una de estas dimensiones?
  • Como puede deducir de la discusión anterior, no creo que deba tratar sus datos como si tuviera tres dimensiones. Hay una variedad de argumentos que puede hacer según sus propósitos y los detalles, por lo que es difícil decir exactamente qué hacer. En la mayoría de los casos, buscaría crear al menos una buena escala (tal vez eliminar un elemento) en lugar de tres escalas poco confiables.
• ¿Tengo que eliminar los elementos que afectan la fiabilidad?
  • Tu decides. Si se establece la escala, entonces puede elegir no hacerlo. Si el tamaño de su muestra es pequeño, podría ser una anomalía del muestreo aleatorio. Sin embargo, en general, me inclinaría a eliminar un elemento si realmente bajara su alfa de 0.72 a 0.60. También verificaría si este elemento problemático no está destinado a ser revertido.

Dejaré la discusión de lambda 6 ( discutido por William Revelle aquí ) a otros.