¿Cómo calcula un frecuentista la probabilidad de que el grupo A venza al grupo B con respecto a la respuesta binaria?

... (opcional) en el contexto de Google Web Optimizer.

Suponga que tiene dos grupos y una variable de respuesta binaria. Ahora obtienes el siguiente resultado:

Original : 401 ensayos, 125 ensayos exitosos
Combinación16 : 441 ensayos, 141 ensayos exitosos

La diferencia no es estadísticamente significativa, sin embargo, se puede calcular una probabilidad de que Combination16 supere a Original.

Para calcular la "posibilidad de vencer al original" he utilizado un enfoque bayesiano, es decir, realizar una integración bidimensional de Monte Carlo sobre los intervalos de confianza de estilo bayesiano (distribución beta, (0,0) anterior). Aquí está el código:

trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
                    "opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials

Esto resulta en 0.6764.

¿Qué técnica usaría un frecuentador para calcular "Probabilidad de vencer ..."? ¿Quizás la función de potencia de la prueba exacta de Fisher?

Opcional: contexto de Google Web Optimizer

Google Web Optimizer es una herramienta para controlar pruebas multivariadas o pruebas A / B. Esto solo como una introducción ya que esto no debería importar para la pregunta misma.

El ejemplo presentado anteriormente se tomó de la página de explicación de Google Web Optimizer (GWO), que puede encontrar aquí (desplácese hacia abajo a la sección " Rangos de tasa de conversión estimada "), específicamente de la figura 2.

Aquí GWO ofrece 67.8% para "Oportunidad de vencer a Original", que difiere ligeramente de mi resultado. Supongo que Google usa un enfoque más frecuente y me preguntaba: ¿Qué podría ser?

EDITAR: Dado que esta pregunta estaba a punto de desaparecer (supongo que debido a su naturaleza demasiado específica), la he reformulado para que sea de interés general.

bayesian ab-test

— steffen
fuente

En el punto de vista frecuentista, Original supera a Combinación o no. No hay "oportunidad" o probabilidad involucrada.

— charles.y.zheng

@ charles.y.zheng hm ... puede calcular la potencia de una prueba, es decir, la probabilidad de que se rechace la hipótesis nula asumiendo los parámetros verdaderos. ¿Cómo llamarías a eso?

— steffen

α

$\alpha$

@ charles.y.zheng lo sabía;). Si cree que los frecuentas no pueden calcular esa probabilidad, ¿por qué no la presenta como respuesta? Si la comunidad está de acuerdo, estoy feliz de aceptarlo :).

— steffen

@steffen: El nivel de significancia de una prueba es fácil de obtener por cálculo o simulación. El nivel de potencia de una prueba solo se define con respecto a una alternativa específica. Es por eso que no es posible calcular un "poder" general de una prueba; tal noción no se puede definir.

— charles.y.zheng

Aprovecharé esta oportunidad para explicar algunas cuestiones fundamentales con respecto a la diferencia entre las estadísticas frecuentistas y bayesianas, interpretando las prácticas frecuentistas desde un punto de vista bayesiano.

$D_1$ $D_2$ $p_1$ $p_2$ $f_i(p_i)$ $F_i(p_i)$ $p_1 > p_2$

P [p_{1} > p_{2}; f_{1}, f_{2}] = \frac{\int_{0}^{1} \int_{0}^{1} I (p_{1} > p_{2}) P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}{\int_{0}^{1} \int_{0}^{1} P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}

$P[p_1 > p_2;f_1,f_2] = \frac{\int_0^1 \int_0^1 I(p_1 > p_2) P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2)}{\int_0 ^1 \int_0^1 P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2) }$

$f_1(p_1)$ $f_2(p_2)$

$\theta$

$g_{\theta_i}(p_i)$

g_{θ_{i}} (p_{i}) = δ (θ_{i})

$g_{\theta_i}(p_i) = \delta (\theta_i)$

$\theta_i$

P [p_{1} > p_{2}; g_{θ_{1}}, g_{θ_{2}}] = δ_{θ_{1}, θ_{2}}

$P[p_1 > p_2;g_{\theta_1},g_{\theta_2}] = \delta_{\theta_1, \theta_2}$

$\theta_1 = \theta_2$

Así, el frecuentista permanece en silencio. (O, alternativamente, hace la declaración trivial: "La probabilidad está entre 0 y 1 ...")

— charles.y.zheng
fuente

Lo siento estaba equivocado. Finalmente aprendí (entre otros aquí ), que los frecuentistas ni siquiera pueden calcular intervalos de confianza en datos empíricos. Por lo tanto, mis ideas de seguimiento (que no revelé) sobre cómo un frecuentista respondería a mi pregunta también estaban todas equivocadas. Sin embargo, estoy un poco inseguro, ya que la pregunta obtuvo 4, pero su respuesta no es un voto positivo :(.

— steffen

Ahora no me siento cómodo con la mezcla de ideas bayesianas y frecuentistas (por ejemplo, cuando dices cómo los frecuentadores tratan con los anteriores (lo cual no hacen, ¿no?)). Tal vez la respuesta sea simplemente como lo pones en los comentarios: un frecuentista no puede responder la pregunta, ya que está mal en su perspectiva del mundo (como escribió Dikran aquí ) Lo siento nuevamente por no haberte creído antes.

— steffen

Quizás mi interpretación no fue tan convencional como creía, pero no hay nada intrínsecamente incorrecto en poner los métodos frecuentistas y bayesianos en pie de igualdad. Consulte la Teoría de la estimación de puntos de Lehmann y Casella, en la que los métodos frecuentistas y bayesianos se comparan mediante la teoría de la decisión estadística.

— charles.y.zheng