Respuestas:
Utilizo un proceso de pares para capturar conversaciones naturales.
Después de dar a sus sujetos un cuestionario de antecedentes, colóquelos frente a una máquina en un entorno de oficina natural y deles una tarea para que realicen. Mi trabajo cubre herramientas de programación, por lo que los sujetos hacen programación en pares, pero el enfoque de pares también puede funcionar para otros programas. La ventaja de usar pares es que se harán preguntas mutuamente y tratarán de elaborar las instrucciones juntos.
El uso de parejas es más natural que el enfoque común de "pensar en voz alta", en el que le dice a los sujetos que digan lo que están pensando. El problema con ese enfoque es que no capturará tan fácilmente la metáfora que usan los sujetos, lo que le da una idea de su pensamiento. Por ejemplo, para una herramienta de compilación, "Oh, ¿por qué muestra eso?", "Hmm, supongo que es como cuando encuentras una coincidencia, pero ingresas al directorio incorrecto". El truco es que cuando los sujetos tengan que explicarse mutuamente su confusión, tendrán una buena razón para hacer un esfuerzo honesto.
Uso Camtasia con micrófonos para capturar lo que está en la pantalla y lo que dicen. Luego transcribo la sesión y hago anotaciones con acciones particulares que ocurrieron en la pantalla. [Camtasia es de TechSmith, los creadores de Morae.] Es posible que desee utilizar una cámara para capturar a los sujetos y ver dónde apuntan con los dedos. Repasar las transcripciones es mucho más útil cuando intentas escribir cuál podría ser el resultado. [Además: el proceso de redacción en sí es útil para que hagas las preguntas correctas, incluso si no estás buscando publicar tus resultados.]
Después de realizar la tarea, pídales que describan su experiencia, para qué creen que usarían el programa, qué les gustó y qué les gustaría ver mejorada. Obtener esta retroalimentación no es necesariamente para que tomes sus sugerencias literales para implementarlas. Más bien, mire más profundamente para ver cuáles eran sus expectativas, y si estaban conceptualizando el programa de manera diferente de lo que pretendía; de nuevo, para ver qué metáforas usaron.
Además, observe el desempeño de la tarea misma. ¿Lograron lo que se suponía que debían hacer? Según el programa que esté probando, es posible que desee calcular cuánto tiempo les llevó realizar tareas específicas.
Comience con una prueba piloto con lo que cree que es una tarea muy básica. Te sorprendería descubrir que incluso las tareas simples tomarán más tiempo de lo que pensabas. Hasta ahora, he usado lo que he ganado para cambiar la sintaxis en mi herramienta y ajustar algunas características aquí y allá. Pero las mayores ganancias que he encontrado están en cómo escribo el tutorial y enmarco la herramienta.