Soy un ingeniero de software que busca construir una herramienta de prueba A / B. No tengo antecedentes sólidos de estadísticas, pero he estado leyendo bastante en los últimos días.
Estoy siguiendo la metodología descrita aquí y resumiré los puntos relevantes a continuación.
La herramienta permitirá a los diseñadores y expertos en dominios configurar un sitio web para dividir el tráfico recibido en una URL específica entre dos o más URL. Por ejemplo, el tráfico que llega a http://example.com/hello1 podría dividirse entre http://example.com/hello1 y http://example.com/hello2 . El tráfico se dividiría en partes iguales entre las URL de destino y se comparará el rendimiento de los procesos de marketing en cada una de las URL de destino.
En este experimento, el tamaño de la muestra N
corresponderá a los visitantes. La prueba medirá las "conversiones", un término que describe cuándo un visitante se compromete a una acción específica en un proceso de marketing. Las conversiones se expresan en porcentajes y es deseable una mayor tasa de conversión. Esto hace que la prueba sea una comparación de proporciones independientes. La herramienta debe poder emplearse fácilmente para producir pruebas con resultados seguros. Seleccionar un valor apropiado de N
es importante.
En el artículo vinculado, arriba, se emplea un análisis de potencia de dos proporciones independientes para encontrar N
. Este método requiere que se conozca de antemano la tasa de conversión del control y que se especifique la mejora de conversión deseada. También especifica un nivel de significación del 95% y un poder estadístico del 80%.
Preguntas:
- ¿Es este método para determinar el
N
sonido? Si es así, ¿cuál es la forma más segura de determinar la tasa de conversión del control antes de comenzar la prueba? - ¿Existen formas sólidas de determinar
N
que no requieren que se conozcan las tasas de conversión del control por adelantado? - ¿Es sólida la metodología en el artículo vinculado ? Si no es así, ¿hay algún método accesible y fácilmente digerible que me pueda vincular?