Identificación de preguntas inútiles de un cuestionario.


12

Estoy desarrollando un cuestionario. Para mejorar su fiabilidad y validez, quiero utilizar métodos estadísticos.

Quiero eliminar preguntas cuyas respuestas son siempre las mismas. Esto significa que casi todos los participantes dieron las mismas respuestas a esas preguntas.

Ahora mis preguntas son:

  1. ¿Cuál es el término técnico para preguntas tan inútiles cuyas respuestas son siempre las mismas, independientemente del contexto de uso?
  2. ¿Cuáles son los métodos para identificar tales preguntas?

44
No conozco un nombre especial para las preguntas donde todos dan la misma respuesta (tal vez alguien más lo haga). Probablemente los llamaría 'poco informativos'. Probablemente no causen mucho daño más que perder el tiempo de los encuestados. Definitivamente debería deshacerse de ellos, pero podría centrarme más en general en encontrar y eliminar preguntas que no se correlacionan con ('cargar') las variables latentes que desea evaluar.
gung - Restablece a Monica

77
Una regla general es que si el 80% de los encuestados dan la misma respuesta, la pregunta no es informativa. PERO, a veces quieres saber eso. "Eres un asesino" no es una pregunta informativa según esa regla, pero realmente querrás saberlo antes de tener un nuevo compañero de cuarto. Entonces no hay una regla dura y rápida.
Jeremy Miles

44
Tales preguntas (con muy baja variabilidad) son malas como medidas del rasgo al que pertenecen. Pero a veces se incluyen y son útiles para rastrear a los encuestados mentirosos o shirker.
ttnphns

Respuestas:


9

Tanto la teoría de prueba clásica (CTT) como la teoría de respuesta a ítems (IRT) pueden proporcionar orientación en cuanto a qué ítems contribuyen al rasgo latente que desea medir y cuáles no. Con CTT, considere 1) la dificultad del ítem, 2) la correlación del ítem con el puntaje total, 3) la varianza del ítem y 4) el impacto en las estimaciones de consistencia interna (p. Ej., El alfa de Cronbach) si el ítem se elimina.

Los artículos que son demasiado fáciles o demasiado difíciles tienden a no ayudar a separar el tema (discriminar entre puntajes altos y puntajes bajos). A menos que esté interesado en medir las diferencias entre los mejores, se deben considerar las preguntas muy difíciles para su eliminación. En una línea similar, los artículos muy fáciles solo son adecuados si está interesado en el rendimiento de los de bajo rendimiento.

Todos los elementos deben correlacionarse positivamente con el puntaje total y puede establecer un límite inferior para esa correlación de alrededor de 0.20 como guía. Las correlaciones bajas o negativas pueden indicar que hay problemas de redacción en su cuestionario y que la pregunta debe revertirse.

Los elementos con baja varianza (variabilidad de puntajes) deben considerarse para su eliminación, ya que no separan a los sujetos y no contribuyen a la información recopilada de la encuesta. Los elementos con una variación muy alta pueden estar midiendo algo más que la construcción / rasgo que desea medir.

Si la estimación de la consistencia interna mejora con el elemento eliminado, entonces el elemento debe considerarse para su eliminación o volver a redactarse.

Los elementos que todos responden correctamente son a veces elementos máximos y aquellos que todos se equivocan se denominan elementos mínimos No contribuyen a la información que está tratando de recopilar.

Si está desarrollando un cuestionario de alto riesgo o planea comercializar el cuestionario, definitivamente debe considerar IRT. Sin embargo, es un área temática grande y, a menos que esté realmente interesado, probablemente no valga la pena entrar aquí.

Espero que esto ayude.


4

Creo que lo que está buscando es la Teoría de respuesta al ítem. Las preguntas "inútiles" a las que se refiere son elementos con poca discriminación. Mediante el análisis IRT puede calcular la discriminación, la dificultad y la probabilidad asociada de adivinar los elementos por parte de los participantes de la encuesta. El programa R tiene un paquete fácil para usar IRT e imagino que otros paquetes de software estadístico también lo hacen.

Si desea una descripción general rápida, aquí está la página de wikipedia, pero le recomendaría investigar más. http://en.wikipedia.org/wiki/Item_response_theory

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.