Estimación del éxito comparativo de diferentes folletos.

El problema del mundo real

Uno de mis clientes se está preparando para enviar un correo directo a su lista de usuarios suscritos, y surgió este desafío estadístico.

Su equipo de marketing tiene 3 folletos diferentes y quiere saber qué folleto obtiene la tasa de respuesta más alta. También les gustaría saber si enviar el correo con una dirección escrita a mano, en un sobre grueso, mejora los resultados en comparación con un sobre normal.

Asumamos lo siguiente:

Para cada folleto $b_i$ ( $i = 1,2,3$ ), una persona que recibe ese folleto que realmente lo abre y lo lee responderá con probabilidad $r_i$ , dónde $r_i$ es la verdadera tasa de respuesta para ese folleto
Los sobres gruesos de alta calidad tienen una verdadera tasa de apertura de $o_{thick}$ mientras que los sobres normales tienen una tasa de apertura $o_{normal}$
De envíos anteriores, esperamos que las tasas de respuesta observadas reales estén entre aproximadamente 1% y 5%.

Nuestras metas

Queremos encontrar el mejor folleto mientras enviamos la menor cantidad de correos. También queremos estimar las dos tasas de apertura.

Al recopilar las tasas de respuesta empírica de los correos enviados reales, si la verdadera diferencia entre las tasas de respuesta $r_i$ es mayor al medio por ciento, deberíamos poder detectar esa diferencia como estadísticamente significativa con $p < .05$

Mis pensamientos hasta ahora

Asignamos aleatoriamente usuarios a cada uno de los 3 folletos, de modo que $N$ Los usuarios reciben cada folleto. Queremos saber que $N$ necesitamos lograr nuestra sensibilidad deseada para detectar diferencias en las tasas de respuesta. Suponiendo el peor de los casos, debemos ser capaces de detectar una diferencia entre las tasas reales de 1% y 1.5%. El SD para esta diferencia es $\sqrt{\frac{(.01*.99) + (.015*.985)}{N}}$ . Establecer el doble de esa cantidad (2 desviaciones estándar nos da un 95% de confianza) igual a .005 (nuestro medio porcentaje deseado) conduce a la solución $N = 3948$ .

Preguntas

¿Es este el diseño óptimo o podemos hacerlo mejor?
Es mi cálculo de $N$ ¿correcto?

Finalmente, ¿cuál es la mejor manera de estimar $o_{normal}$ y $o_{thick}$ o simplemente la diferencia entre los dos?

Mi idea era asignar aleatoriamente la mitad de cada grupo de folletos a cada tipo de sobre. Dentro de cada grupo de folletos, las tasas de respuesta observadas serían el producto de las tasas de apertura y el $r_i$ . Esto complicaría mi cálculo de $N$ arriba, ya que realmente debería haber usado este producto en mi cálculo.

Mi respuesta dependería de una estimación de la tasa de apertura promedio: $\frac{o_{normal} + o_{thick}}{2}$ - que tendría que adivinar. Además, no estoy seguro de cómo determinar la distribución de la diferencia entre $o_{normal}$ y $o_{thick}$ , dado que ahora tenemos tres estimaciones diferentes de esa diferencia, cada una de las cuales depende de una diferencia $r_i$ , cada uno de los cuales solo tenemos estimaciones empíricas, estimaciones empíricas que dependen de nuestra estimación de la tasa de apertura promedio.

Muchas gracias por cualquier ayuda con esto.

hypothesis-testing anova statistical-significance

— Jonás
fuente

Aquí hay un experimento mental para considerar antes de ir demasiado lejos: suponga dos escenarios, A y B. En el escenario A, cada destinatario recibe su correo, lo abre y luego lanza una moneda con probabilidad

r_{i}

$r_i$ para decidir si responder. En el escenario B, sus destinatarios miran el correo que reciben, lanzan una moneda con probabilidad

r_{i}

$r_i$ , y abra el correo si sale cara; responden ansiosamente a cualquier oferta contenida en el correo que abren y descartan cualquier correo que no abran.

— Cardenal

Hola cardenal, creo que el modelo más preciso es en realidad un híbrido de A y B. Piensa en cómo manejas el correo basura. Personalmente, según el sobre y el matasellos, simplemente tiraré la mayor parte sin abrir. Pero si lo abro, el marketing interno debe llamar mi atención y convencerme. Si pensamos en nuestro mailer como un héroe en una búsqueda, debe matar a dos dragones independientes para salvar a la princesa. Y como diseñadores de pruebas, estamos tratando de medir la aptitud relativa de diferentes héroes en la tarea de matar a estos 2 dragones diferentes.

— Jonás

Estoy de acuerdo en que las personas generalmente no actúan de manera tan extrema, pero el punto de presentar los escenarios fue provocar un pensamiento sobre lo que puede y no puede estimarse a partir de sus datos (sin introducir suposiciones adicionales implícitas y potencialmente bastante fuertes). ¡En un escenario, la tasa de respuesta observada proviene completamente de una decisión de respuesta aleatoria, mientras que en el segundo proviene completamente de una decisión de apertura de correo aleatorio!

— Cardenal

Bueno, creo que el modelo más simple que sugiere su experimento mental conduce a un problema que es mucho más fácil de resolver. Simplemente puedo pensar en probar 6 escenarios (cada sobre con cada folleto) y probar las diferencias usando un método similar al de la sección "Mis pensamientos ...". Pero sospecho que eso conducirá a enviar más correos que una solución para el modelo de dos niveles más complejo. El problema es que no sé a qué distribución da lugar ese modelo de dos niveles, así que no sé cómo probarlo, de ahí el post :)

— Jonás

Existen fórmulas empíricas para determinar el tamaño de la muestra. La prueba subyacente es una prueba t de dos muestras para la igualdad de la métrica (tasa de respuesta en su caso). Suponiendo que desea que el poder de la prueba sea del 80%, una de esas fórmulas es $n= 16\sigma^2/\Delta^2$ dónde $\sigma$ es el desarrollo estándar de la métrica (tasa de respuesta) y $\Delta$ es la cantidad de cambio en la tasa de respuesta que desea resolver de manera confiable (con significación estadística).

Además, hay diseños factoriales fraccionales disponibles que le permiten optimizar el número de ensayos (suponiendo que no desea medir las interacciones de cada factor con cualquier otro factor). Esta es una encuesta sobre diseño experimental que describe los detalles.

— wabbit
fuente

Supongamos que enviaste folletos $A$ y $B$ a igual número de clientes , entonces $a$ los usuarios responden al folleto $A$ y $b$ los usuarios responden al folleto $B$ y $b>a$ . Entonces el significado es

$P = {\sum_{n=b}^{a+b} C^{a+b}_n \over 2^{a+b}}$

No importa cuántos usuarios recibieron sus folletos, solo cuántos respondieron.

— usuario31264
fuente