Hay varios enfoques para hacer pruebas Bayesianas A / B.
En primer lugar, debe decidir si desea utilizar un enfoque analítico (utilizando distribuciones conjugadas como menciona Lenwood) o un enfoque MCMC. Para experimentos A / B simples, particularmente en la tasa de conversión, que es su caso, realmente no hay necesidad de usar un enfoque MCMC: solo use una distribución Beta como anterior y su distribución posterior también será una distribución Beta.
Luego, debe decidir qué regla de decisión aplicar. Aquí, parece haber dos enfoques principales para la toma de decisiones. El primero se basa en un artículo de John Kruschke de la Universidad de Indiana (K. Kruschke, Bayesian Estimation Sustituye a la prueba t , Journal of Experimental Psychology: General, 142, 573 (2013)). La regla de decisión utilizada en este documento se basa en el concepto de Región de equivalencia práctica (ROPE).
Otra posibilidad es utilizar el concepto de una pérdida esperada. Ha sido propuesto por Chris Stucchio (C. Stucchio, Bayesian A / B Testing en VWO ).
En principio, podría usar una regla de decisión diferente.
Puede encontrar esto y mucho más en esta publicación de blog: Pruebas Bayesianas A / B: una guía paso a paso . También incluye algunos fragmentos de código de Python y utiliza un proyecto de Python que está alojado en Github .