Tamaño de muestra requerido para determinar cuál de un conjunto de anuncios tiene la mayor tasa de clics

Soy un diseñador de software de profesión y estoy trabajando en un proyecto para un cliente, y me gustaría asegurarme de que mi análisis sea estadísticamente sólido.

Considere lo siguiente: tenemos n anuncios (n <10), y simplemente queremos saber qué anuncio tiene el mejor rendimiento. Nuestro servidor de anuncios publicará aleatoriamente uno de estos anuncios. El éxito es si un usuario hace clic en el anuncio; nuestro servidor realiza un seguimiento de eso.

Dado: Intervalo de confianza: 95%

Pregunta: ¿Cuál es el tamaño de muestra estimado? (¿Cuántos anuncios totales debemos servir?) ¿Por qué? (recuerda que soy un tonto)

Gracias

— Jonathan
fuente

¿Podría aclarar qué quiere decir con "margen de error del 5%"?

— parada el

@onestop - buena aclaración - lo eliminé de la pregunta. Acabo de tomar esa variable de la siguiente calculadora de tamaño de muestra: raosoft.com/samplesize.html Pero no creo que sea relevante en esta pregunta. ¡Gracias!

— Jonathan

Para muchas pruebas, puede calcular un tamaño de muestra de modo que la prueba alcance una cierta potencia dado un tamaño de efecto supuesto (fijo). En otras palabras, primero debe especificar estas cosas: 1) ¿qué prueba desea utilizar? 2) ¿Qué poder quieres que tenga esa prueba? condicional en 3) un tamaño de efecto que considere interesante. 1) es algo con lo que la gente aquí probablemente pueda ayudarlo. 2) podría estar relacionado con el 95% que indicó. 3) sin embargo, es algo que debe proporcionar de antemano: ¿qué tan diferentes deben ser las probabilidades para ser considerado interesantemente diferente?

— caracal

Entonces, si tengo que dar más parámetros aquí: 1. prueba para usar , no tengo idea, ¿tiene sugerencias? 2. poder : incluso después de mirar la definición de wikipedia, no sé cómo responder eso inteligentemente. 3. tamaño del efecto : digamos un 10% mejor

— Jonathan

La prueba que probablemente desee es la prueba exacta de Fisher . Desafortunadamente, dada la probable tasa de clics muy baja y el pequeño tamaño de efecto esperado, necesitará una enorme N para lograr el intervalo de confianza que desea. Digamos que el porcentaje de clics "verdadero" de su mejor anuncio es .11, y su segundo mejor .1. Además, supongamos que desea que la probabilidad de que no rechace incorrectamente la hipótesis nula (que no hay diferencia entre los dos anuncios) sea inferior a .20. Si es así, necesitará una N del orden de 10,000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Como sugirió un comentarista, es probable que no le importe una diferencia del diez por ciento en el rendimiento de los anuncios. Para diferencias más graves, el tamaño necesario de las muestras disminuye rápidamente.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
fuente