¿Cómo tener una prueba beta exitosa con un equipo pequeño?

He hecho mucho trabajo (pro-bono) en un parche para un juego comercial de hace ~ 11 años que necesita algunas pruebas beta. Mucha gente lo está esperando.

¿Cuáles son algunas maneras de obtener buenos comentarios (con eso quiero decir útiles) durante la fase de prueba beta de un juego? Tengo muchas personas que quieren jugar con él, pero me preocupa recibir buenos comentarios sin atascarme en el desarrollo. También me preocupa que las personas estén más preocupadas por tener los ajustes que desean ver agregados al parche que por probar realmente el trabajo realizado.

• ¿Ofrece la posibilidad de registrar errores directamente en un rastreador de errores o enviarlos a una persona del equipo de desarrollo?
• ¿Cómo se asegura de cubrir todas las plataformas que admite (en mi caso: Mac OSX (x86 / ppc), Windows (versiones múltiples), Linux (versiones múltiples)?

¿Hay algún buen paquete de software (como un portal web) para ejecutar una prueba beta para un proyecto como este? ¿Algún buen documento con consejos?

Sugeriría encarecidamente tener una opción de archivo de errores en el juego, preferiblemente un botón grande que diga "ARCHIVO DE ERRORES AQUÍ". Los jugadores que están comprometidos, especialmente si su juego es realmente bueno, nunca recordarán los errores que ocurrieron si tienen que salir del motor para archivarlos. Puede hacer que esos vayan al rastreador de errores, o simplemente puede hacer que envíe un correo electrónico a la dirección del titular. El objetivo principal es facilitar el archivo, aunque esto puede no ser posible para un juego de 11 años. En ese caso, apoyaría tanto el correo electrónico directo como el enlace a un sitio web, y tal vez obligaría a los evaluadores a pasar por un front end trivial que expone un botón de "archivo de error" para que recuerden que existe.

Una buena manera de hacer esto podría ser exponer semi-públicamente su propio software de seguimiento de errores. La mayoría de los software de seguimiento de errores (Trac es un buen programa gratuito si aún no tiene uno configurado) ya tiene una buena interfaz web, y podría abrirla a todos en la versión beta directamente. De esta forma, sus beta testers pueden literalmente hacer QA por usted.

Para obtener cobertura de la plataforma, puede intentar ir directamente a esas comunidades. Asegúrese de discutir su versión beta en PC, Mac y foros centrados en Linux. De esa manera, se asegurará de obtener algunos de cada grupo. Debes pedir a los jugadores que especifiquen también qué plataformas tienen disponibles en la aplicación beta.

Por último, puede considerar enviar algún tipo de correo electrónico de "estado de la prueba" periódicamente. Algo así como "Hey, acabamos de cambiar el equilibrio de las armas, ¿pueden concentrarse en los niveles 4-7 para hoy? Los niveles 8-10 todavía se están resolviendo y serán un poco mejores la próxima semana". Todo lo que pueda hacer para enfocar el proceso de prueba resultará ventajoso.

En cuanto a obtener buena información cuantitativa, si tiene el tiempo de desarrollo, agregue la mayor cantidad de registros que pueda analizar.

• ¿Qué% de sus beta testers regresaron?
• ¿Cuánto duró su sesión de juego (más larga, promedio)?
• ¿Dónde dejaron de jugar (cuál fue la última acción registrada)
• ¿Qué porcentaje de personas encontró el nuevo contenido?

etc.

En cuanto a la recopilación de datos, ( http://docs.google.com ) tiene una herramienta de encuesta bastante fácil de usar: solo use el elemento de menú Formulario> Crear un formulario.

Si usa Flash o Silverlight, le recomendaría integrar Google Analytics o algo similar. Con Analytics es fácil instrumentar su juego y medir cosas como el tiempo de juego, dónde los jugadores abandonan, etc.

Además, recomendaría usar un servicio como las "Primeras impresiones" de la licencia de juegos Flash o simplemente ir directamente a Mechanical Turk de Amazon. He descubierto que por $ 1 puede hacer que un jugador pruebe su juego durante unos minutos y proporcione comentarios en varias categorías. Si utiliza Mechanical Turk, puede diseñar su propio formulario y hacer las preguntas que le interesen.

Si combina ambos métodos, puede obtener una gran cantidad de información por un precio relativamente bajo. Por supuesto, asegúrese de saber lo que quiere medir antes de comenzar a gastar dinero. Finalmente, escuché que algunas personas lanzarán sus juegos a un portal como Newgrounds usando un alias y luego usarán Analytics, así como un formulario incorporado para recopilar comentarios de los jugadores.