Asumiré que su cuestionario debe considerarse como una escala unidimensional (de lo contrario, el alfa de Cronbach no tiene mucho sentido). Vale la pena ejecutar un análisis factorial exploratorio para verificar eso. También le permitirá ver cómo los artículos se relacionan con la escala (es decir, a través de sus cargas).
Los pasos básicos para validar sus artículos y su escala deben incluir:
- un informe completo sobre las estadísticas básicas de los ítems (rango, cuartiles, tendencia central, efectos de techo y piso si los hay);
- comprobar la consistencia interna como lo ha hecho con su alfa (lo mejor es dar intervalos de confianza del 95%, porque depende de la muestra);
- describa su medida de resumen (p. ej., puntaje total o promedio, también conocido como puntaje de escala) con estadísticas habituales (histograma + densidad, cuantiles, etc.);
- verifique sus respuestas de resumen con covariables específicas que se supone que están relacionadas con la construcción que está evaluando; esto se conoce como validez de grupo conocido;
- si es posible, verifique sus respuestas de resumen con los instrumentos conocidos que pretenden medir la misma construcción ( validez concurrente o convergente).
Si su escala no es unidimensional, estos pasos deben realizarse para cada subescala, y también puede factorizar la matriz de correlación de sus factores para evaluar la estructura de factores de segundo orden (o usar modelos de ecuaciones estructurales o análisis factorial confirmatorio, o lo que quieras). También puede evaluar la validez convergente y discriminante utilizando el escalado de múltiples rasgos o el modelado de múltiples métodos de múltiples rasgos (basado en correlaciones entre elementos dentro y entre escalas) o, nuevamente, SEM.
Entonces, diría que la Teoría de respuesta a ítems no ayudaría mucho a menos que esté interesado en acortar su cuestionario, filtrar algunos ítems que muestren el funcionamiento diferencial de ítems , o usar su prueba en algún tipo de prueba adaptativa de computadora .
En cualquier caso, el modelo Rasch es para elementos binarios. Para los artículos ordenados politómicos, los modelos más utilizados son:
- el modelo de respuesta gradual
- el modelo de crédito parcial
- El modelo de escala de calificación.
Solo los dos últimos son de la familia Rasch, y básicamente usan una formulación de probabilidades adyacente, con la idea de que el sujeto tiene que "pasar" varios umbrales para respaldar una categoría de respuesta dada. La diferencia entre estos dos modelos es que el PCM no impone que los umbrales estén igualmente espaciados en la escala theta ( habilidad o ubicación del sujeto en el rasgo latente). El modelo de respuesta graduada se basa en una formulación de probabilidades acumulativas. Tenga en cuenta que todos estos modelos suponen que la escala es unidimensional; es decir, solo hay un rasgo latente. Hay supuestos adicionales como, por ejemplo, la independencia local (es decir, las correlaciones entre las respuestas se explican por la variación en la escala de capacidad).
De todos modos, se encuentra una documentación muy completa y pistas útiles para aplicar métodos psicométricos en I en el volumen 20 de la revista Journal of Statistical Software: Volumen especial: Psicometría en I . Básicamente, los paquetes R más interesantes que uso en mi trabajo diario son: ltm , eRm , psych , psy . Otros se mencionan en la vista de tareas CRAN Psychometrics . Otros recursos de interés son:
Se puede encontrar una buena revisión sobre el uso de FA vs. IRT en el desarrollo de escalas en la construcción y evaluación de escalas en la práctica: una revisión del análisis factorial versus las aplicaciones de la teoría de respuesta al ítem , realizada por diez Holt et al (Psychological Test and Assessment Modeling (2010) 52 (3): 272-297).