Se agregó una sexta opción de respuesta ("No sé") a una escala Likert de 5 puntos. ¿Se pierden los datos?


16

Necesito un poco de ayuda para recuperar los datos de un cuestionario.

Uno de mis colegas aplicó un cuestionario, pero sin darse cuenta, en lugar de utilizar la escala Likert original de 5 puntos (totalmente en desacuerdo para estar totalmente de acuerdo), insertó una sexta respuesta en la escala. Y, para empeorar las cosas, la sexta opción de respuesta es ... "No sé".

El problema es la gran proporción de encuestados que, en un momento u otro, eligieron "No sé". Si fueran un porcentaje razonablemente pequeño, los habría excluido de la base de datos. Sin embargo, el núcleo de la investigación se basa en un modelo conceptual, y la exclusión de tantos registros crearía un problema para el modelo.

¿Podría alguien señalarme en la dirección correcta aquí? ¿Hay alguna 'buena práctica' o puedo hacer algo para usar (transformar, convertir, etc.) esas respuestas de "No sé"?

Además, si hago alguna manipulación de los datos en cuestión (es decir, si convierto las respuestas "No sé", por sustitución, imputación, etc.), ¿qué tipo de "descargo de responsabilidad", "advertencia", anotación, debo usar?

Sé que es una posibilidad remota, pero confieso que, además de rescatar las respuestas, también tengo curiosidad por saber cuál es la práctica acordada (si la hay), en este tipo de casos.

PD: Sé que suena infantil, pero no, el 'colega' no soy yo :)


22
Imagine que su colega no hubiera incluido la categoría No sé. ¿Qué habrían respondido esas personas? Tal vez habrían marcado alguna categoría aleatoria, tal vez la habrían dejado en blanco. Ahora sabe que sus variables son problemáticas y toman una decisión informada. Visto desde esta perspectiva, el colega te hizo un favor.
Maarten Buis

Bueno, en lo que respecta a rascarme la cabeza, de hecho me hizo un favor ... Tienes razón sobre la aleatoriedad de las respuestas, y esto podría ser un enfoque para la imputación, sin embargo, me preguntaba si hay alguna buena prácticas, o al menos algunas experiencias similares
agilice el

44
Encuentro los cuestionarios que no tienen esa opción " No sé " particularmente frustrantes (especialmente cuando no puedes enviar sin elegir algo). Digamos que lanzas una pregunta como " Las nuevas características de ese cohete espacial son una mejora ", y luego te ves obligado a ser neutral en el mejor de los casos, algunas personas pueden interpretar ese tipo de encuestas y concluir "Hemos pedido 1000 personas, y al 100% no les importó ... ", mientras que en la práctica, esa característica podría ser un completo error para quienes la usan. En esos casos, casi se siente como un respaldo silencioso para algo que no he usado.
Bruno

3
Para ser más claro: si el modelo supone que la escala de 5 puntos puede representar las opiniones de los encuestados, entonces sus datos demuestran que el modelo es inadecuado . Si fuera correcto, entonces tendría un número insignificante de "No lo sé", porque las personas habrían podido responder 1-5. Entonces, estos datos "crearían un problema para el modelo" como la órbita de Mercurio crea un problema para la física newtoniana. Pensé que su única salida es si el punto medio es "ni estoy de acuerdo ni en desacuerdo" y usted puede argumentar que "No sé" es redundante con el mismo significado que esto.
Steve Jessop

Hola, @SteveJessop, mientras que en teoría / en principio, tienes razón sobre la cantidad de respuestas DK como indicativas de un problema con el cuestionario (no el modelo, eso sí, el modelo no es CFA para la escala, sino regresión) para un grupo de variables, incluida la escala), todavía es un poco fuerte llamarlo inadecuado. Haré los análisis de escala y veré, y es cierto, el número de respuestas DK puede resultar problemático. Sin embargo, también pueden significar que el encuestado no tenía ganas de responder (por cierto, la gran mayoría de las respuestas DK provienen de un grupo de estudiantes después de un examen ...)
optimice el

Respuestas:


28

¿Por qué tratar de forzar una calibración en algo que no es cierto? Como dijo Maarten, esto no es una pérdida de datos sino una ganancia de información. Si la píldora mágica que está buscando existe, significaría que hay algunas suposiciones sobre su población que se hacen, por ejemplo, un sesgo a favor de una etiqueta en particular a pesar de que los usuarios dicen "No sé".

Entiendo totalmente su frustración, pero la forma correcta de abordar el problema es modificar el modelo para adaptarlo a sus necesidades en función de los datos reales existentes, y no al revés (modificar los datos).


Hola, Hatim, no creo que sea posible modificar el modelo. La escala es ordinal y supone una elección razonada y explícita, mientras que la sexta respuesta, "no sé", se puede interpretar de muchas maneras. Puede significar que "nunca me encontré con esta situación / no recuerdo", puede significar una elección "intermedia" de algún tipo. Cualquier interpretación / suposición de este tipo en mi nombre sería presuntuosa e infundada. La respuesta de Maarten se refería a una "ganancia" de información, que supongo que se puede usar una imputación "aleatoria" específica, pero esto no es lo que usted dice: "modificar el modelo".
racionalizar el

continuación ... Sin embargo, aunque estaba y sigo estando tentado a investigar más a fondo esa imputación 'aleatorizada', el gran volumen de respuestas "no sé" me hace temer que las verdaderas relaciones (auténticas) entre las variables sean alterado
racionalizar

8
+1. Sé que es incómodo, pero usted [el OP] puede elegir entre buscar un conjunto de datos diferente si desea probar ese modelo o modificar el análisis planificado. Ha formulado la pregunta con la esperanza de obtener diferentes respuestas, pero no hay, en mi opinión, ninguna que sea defendible. Si respondiera a tal cuestionario, me sentiría ofendido por la distorsión y la falta de confianza en tratar de tratar mi No sabe como cualquier otra cosa. De hecho, como consumidor ocasional de investigación social, también estoy desconcertado.
Nick Cox

1
Naturalmente, tiene razón en que esto ha sucedido antes, y muchas veces. Es por eso que aquellos con alguna experiencia en proyectos que fueron desviados o complicados por problemas imprevistos pueden decir, por lo tanto, el análisis será diferente y el documento no será tan imaginado. O incluso, a veces los proyectos simplemente no funcionan, así que ahí lo tienes. (Si de alguna manera estás bajo instrucción o compulsión de seguirlo, eso es especialmente desafortunado, pero no afecta mi consejo sobre cómo pensarlo)
Nick Cox

8
@ user2836366 No entiendo sus afirmaciones de que el modelo no se puede modificar. Ciertamente, "No sé" no es parte de la colección ordinal de respuestas, pero eso es completamente importante; "No sabe" implica que por cualquier razón (incluyendo saber realmente saber) la persona no eligió una de las respuestas ordinales. Entonces, una de esas modificaciones es que podría tener algún modelo para ese proceso (elija "no sabe" vs "eligió una de las otras opciones") y luego el modelo habitual para los casos en la segunda categoría. Dichos modelos pueden ser algo similares a los modelos de obstáculo o los modelos con inflación cero.
Glen_b -Reinstala a Monica

10

Si se trata de un cuestionario estandarizado que se ha validado de forma independiente, no puede afirmar que el nuevo cuestionario es equivalente y que los datos ya no son comparables. Podría intentar validar y examinar el cuestionario en experimentos separados (requiere mucho tiempo y esfuerzo, especialmente si también desea mostrar la comparabilidad con la versión anterior) o simplemente aceptar que está tratando con una menor calidad de evidencia (ya que sus datos provienen de un cuestionario no validado).

Cuando utilice sus datos, deberá tener en cuenta el cambio. Cuando se enfrentan a una pregunta de actitud, las personas no le dan una respuesta "objetivamente cierta" de alguna manera, le dan la respuesta que consideran verdadera, y esto ciertamente está influenciado tanto por las opciones de respuesta disponibles ("normalizan" sus respuestas a la escala) y al conocimiento que tienen sobre el tema (existen sesgos conocidos que funcionan de manera diferente, a veces en diferentes direcciones (!) dependiendo de si el participante tiene mucho o poco conocimiento sobre el tema).

Por lo tanto, si estamos tratando con un cuestionario establecido, tiene la buena opción de comparar su versión del cuestionario y la original. Si el original suponía que las personas saben lo que están seleccionando, y resulta que no lo saben, puede discutir cómo el viejo modelo se basa en suposiciones erróneas y cuáles son las consecuencias de eso. Tenga en cuenta que este es un descubrimiento "secundario", que hace una nueva pregunta de investigación agradable, pero lo aleja de la original y, de hecho, muestra que responder la original es mucho más difícil de lo que se pensaba, por lo que sin duda multiplica su trabajo.

Si no está tratando con un cuestionario establecido, puede continuar con el flujo y pretender que su cuestionario ad-hoc fue planeado de esa manera, y evaluar los resultados en consecuencia. De nuevo, podría significar que los resultados que esperaba no se pueden obtener con este método, pero esto también es algo importante que debe saber.

Para una buena comprensión de cómo las palabras y las opciones influyen en la forma en que se responden los cuestionarios, sugiero leer la "Psicología de la respuesta a la encuesta" de Tourangeau et al. Es una gran lectura para todos los que crean un cuestionario.


2

Si pregunta a cuántos niños ha dado a luz la encuestada, las respuestas "cero" y "no aplicable" no significarían estrictamente lo mismo, ya que los hombres no pueden dar a luz.

Para algunos contextos, equiparar "No sé" con la respuesta neutral podría ser, asimismo, un error conceptual.

En realidad, tienes dos preguntas: una dicotómica "¿Tienes una opinión?" y un ordinal "¿Qué es?", así como, arriba, tienes un implícito "¿Eres una mujer?" más allá de tu pregunta explícita.

Por supuesto, puede introducir algunos supuestos (a veces correctamente, a veces solo por conveniencia, a veces de forma forzada) para permitirle modelar, pero no puedo ver una estrategia universalmente aplicable sin entrar en el ámbito de los detalles de su fenómeno.

Como último punto a considerar, no tendría sentido tratar de inferir a la población masculina nada de las respuestas de fecundidad femenina.


2

El dilema de si se debe incluir o no la opción de respuesta No sabe en un cuestionario que consiste en escalas de calificación de tipo Likert es eterno. A menudo, cuando los ítems preguntan sobre la opinión, el DK se incluye porque no tener opinión es un estado importante por sí solo y los encuestados esperan la opción como tal. En los inventarios de rasgos personales en los que las personas atribuyen cualidades a una opción DK objetivo generalmente se descartan porque normalmente se espera que el encuestado pueda evaluar el grado de afinidad de una característica (es decir, el encuestado siempre se considera calificado); y cuando ocasionalmente encuentra dificultades, se le permite (por instrucción) omitir ese elemento. En inventarios de rasgos personales donde las personas describen un objetivo (elementos de comportamiento) DK (o don '

@Hatim en su respuesta, @Maarten y algunos otros comentaristas de la pregunta OP han expresado con sensatez que una gran cantidad de respuestas DK observadas en el estudio actual indican problemas (validez de contenido o validez nominal) en los elementos o que los sujetos no ' No encaja con el cuestionario que se les ordenó.

Pero nunca puede contar la historia, en última instancia, la interpretación del impedimento recae sobre usted (a menos que lo aborde en una investigación por separado). Se podría afirmar, por ejemplo, que la inclusión de la opción DK a los likerts en ese cuestionario (por ejemplo, es un inventario de atribución de rasgos) sirve mal, no bien. No le dio información (de lo que dicen los comentaristas it proves that the [rating] model is inadequate), sino que más bien distrajo / sedujo a un encuestado. Si no se proporciona la decisión de calificación guiada por el esquema de rasgo cognitivo implícito, podría haberse obtenido; pero ver la opción de enfriamiento excluye el esquema y hace que uno se retire rápidamente.

Si admite más, bajo su riesgo, pero ¿por qué no? - que un sujeto fácilmente distraído o perezoso es aquel cuyo potencial, la vista retenida es válida pero tiende a diferenciarse débilmente, es decir, invocaría fácilmente al das das convencional , en lugar del esquema personal de Erlebnis , entonces puede especular tentativamente que su respuesta faltante es alrededor de la media de la muestra o población para ese ítem. Si es así, ¿por qué no hacer una sustitución media (+ ruido) de las respuestas faltantes? O puede hacer una imputación EM o regresiva (+ ruido) para tener en cuenta las correlaciones.

Para repetir: la decisión de imputación es posible pero arriesgada, y es poco probable, dada la gran cantidad de datos faltantes, restaurar "verdaderamente" los datos ausentes. Como dijo @rumtscho, seguramente que el nuevo cuestionario con DK no es equivalente al original sin DK, y los datos ya no son comparables.

Estas fueron especulaciones. Pero antes que nada, debe intentar investigar los patrones observados de falta. ¿Quiénes son los sujetos que seleccionaron DK? ¿Se agrupan en subtipos? ¿En qué se diferencian en el resto de los elementos de la submuestra "bien"? Algunos programas tienen el paquete de Análisis de valor perdido. Luego, podría decidir si eliminar a las personas total o parcialmente, imputarlas o analizarlas como una submuestra separada.

PD También tenga en cuenta que los encuestados son "estúpidos". A menudo simplemente se mezclan con las calificaciones de la escala. Por ejemplo, si el punto DK se coloca cerca de un polo de la escala, a menudo se confundiría con la falta de atención con ese polo. No estoy bromeando.


Hola, @ttnphns, Bueno, tu respuesta es demasiado larga para tomarla punto por punto (ya he comentado las otras respuestas sobre algunos de los puntos que has planteado aquí). Para ser sincero, tendré que volver a leerlo un par de veces. Sin embargo, aborda todo lo que quería.
racionalizar el

0

Ahora tiene encuestados autoseleccionados para tener una opinión al respecto. Lo que concluyas será únicamente sobre esas personas. Esto podría estar bien, ya que sondear esos "no sabe" es, por definición, menos útil.


2
Gracioso, pero demasiado pesimista. Esas personas ofrecieron argumentos sobre lo que uno puede, no puede, debe, no debe hacer, y son los argumentos los que deben sopesarse. La misma respuesta se podría dar en cualquier hilo aquí, pero aquellos que no hablan no tienen voz.
Nick Cox
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.