¿Cómo se compara el poder de una regresión logística y una prueba t?

¿Es el poder de una regresión logística y una prueba t equivalente? Si es así, deberían ser "equivalentes de densidad de datos", con lo que quiero decir que el mismo número de observaciones subyacentes produce la misma potencia dado un alfa fijo de 0,05. Considere dos casos:

1. [La prueba t paramétrica]: se realizan 30 extracciones de una observación binomial y se promedian los valores resultantes. Esto se hace 30 veces para el grupo A (que tiene un Pr binomial de .70 de ocurrir) y 30 veces para el grupo B (que tiene un Pr binomial de .75 de ocurrir). Esto produce 30 medias por grupo que representan un resumen de 1,800 sorteos de una distribución binomial. Se realiza una prueba t de 58df para comparar las medias.
2. [La regresión logística]: se realiza una regresión logística con una pendiente codificada ficticia que representa la pertenencia al grupo y cada uno de los 1.800 sorteos.

Mi pregunta tiene dos partes:

1. Dado un conjunto alfa de .05, ¿el poder de estas metodologías será el mismo o diferente? ¿Por qué? ¿Cómo puedo probarlo?
2. ¿La respuesta a la pregunta 1 es sensible a los tamaños de muestra que entran en la prueba t, el tamaño de la muestra de cada grupo en la prueba t, las probabilidades binomiales subyacentes o algún otro factor? Si es así, ¿cómo puedo saber (sin simulación) que el poder es realmente diferente y qué tipo de cambios producirán qué tipo de cambios en el poder? Alternativamente, proporcione un código R resuelto que resuelva el problema mediante la simulación.

Si he calculado correctamente, la regresión logística asintóticamente tiene el mismo poder que la prueba t. Para ver esto, escriba su probabilidad logarítmica y calcule la expectativa de su arpillera en su máximo global (su valor negativo estima la matriz de varianza-covarianza de la solución ML). No se moleste con la parametrización logística habitual: es más simple parametrizarla con las dos probabilidades en cuestión. Los detalles dependerán exactamente de cómo se pruebe la importancia de un coeficiente de regresión logística (hay varios métodos).

Que estas pruebas tengan poderes similares no debería ser demasiado sorprendente, porque la teoría de chi-cuadrado para estimaciones de ML se basa en una aproximación normal a la probabilidad logarítmica, y la prueba t se basa en una aproximación normal a las distribuciones de proporciones. El quid de la cuestión es que ambos métodos hacen las mismas estimaciones de las dos proporciones y ambas estimaciones tienen los mismos errores estándar.

---

Un análisis real podría ser más convincente. Adoptemos una terminología general para los valores en un grupo dado (A o B):

• $p$ es la probabilidad de un 1.
• $n$ es el tamaño de cada conjunto de sorteos.
• $m$ es el número de conjuntos de sorteos.
• $N = m n$ es la cantidad de datos.
• 0 1 j th i $k_{ij}$ (igual a o ) es el valor del resultado en el conjunto de sorteos .$0$$1$$j^\text{th}$$i^\text{th}$
• i $k_i$ es el número total de en el conjunto de sorteos .$i^\text{th}$
• $k$ es el número total de unos.

La regresión logística es esencialmente el estimador de ML de . Su logaritmo está dado por$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

Sus derivadas con respecto al parámetro son$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

Si se establece el primero en cero, se obtiene la estimación ML y al conectarla al recíproco de la segunda expresión se obtiene la varianza , cuál es el cuadrado del error estándar. p (1 - p )/${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

El estadístico t se obtendrá de estimadores basados ​​en los datos agrupados por conjuntos de dibujos; a saber, como la diferencia de las medias (una del grupo A y la otra del grupo B) dividida por el error estándar de esa diferencia, que se obtiene de las desviaciones estándar de las medias. Veamos la media y la desviación estándar para un grupo dado, entonces. La media es igual a , que es idéntica al estimador ML . La desviación estándar en cuestión es la desviación estándar de los medios de extracción; es decir, es la desviación estándar del conjunto de . Aquí está el quid de la cuestión, así que exploremos algunas posibilidades.p k i /$k/N$$\hat{p}$$k_i/n$

1. Supongamos que los datos no están agrupados en sorteos en absoluto: es decir, y . Los son los medios de extracción. Su varianza muestral es igual a veces . De esto se deduce que el error estándar es idéntico al error estándar ML aparte de un factor de , que es esencialmente cuando . Por lo tanto, aparte de esta pequeña diferencia, cualquier prueba basada en regresión logística será la misma que una prueba t y lograremos esencialmente la misma potencia.m = N k i N / ( N - 1 ) p ( 1 - p ) $n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ 1N=$\sqrt{N/(N-1)}$$1$$N = 1800$

2. Cuando se agrupan los datos, la varianza (verdadera) de es igual a porque las estadísticas representan la suma de variables de Bernoulli ( ), cada una con varianza . Por lo tanto, el error estándar esperado de la media de de estos valores es la raíz cuadrada de , como antes.p ( 1 - p ) / n k i n p p ( 1 - p ) m p ( 1 - p ) / n / m = p ( 1 - p ) /$k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$$p(1-p)/n/m = p(1-p)/N$

Número 2 indica la potencia de la prueba no debe variar apreciablemente con cómo los sorteos están prorrateada (es decir, con la forma y son variados sujeto a ), aparte quizás de un bastante pequeño efecto del ajuste en la varianza de la muestra (a menos que haya sido tan tonto como para usar muy pocos conjuntos de sorteos dentro de cada grupo).n m n = $m$$n$$m n = N$

Simulaciones limitadas para comparar a (con 10,000 iteraciones cada una) que involucran (esencialmente regresión logística); ; y (maximizar el ajuste de varianza de la muestra) lo confirman: la potencia (en , unilateral) en los dos primeros casos es de 0,59 mientras que en el tercero, en el que el factor de ajuste realiza una cambio de material (ahora hay solo dos grados de libertad en lugar de 1798 o 58), se reduce a 0.36. Otra prueba que compara ap = 0.74 m = 900 , n = 1 m = n = 30 m = 2 , n = 450 α = 0.05 p = 0.50 p = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$$p = 0.50$$p = 0.52$ da potencias de 0.22, 0.21 y 0.15, respectivamente: nuevamente, observamos solo una ligera caída de no agrupar en sorteos (= regresión logística) a agrupar en 30 grupos y una caída sustancial a solo dos grupos.

Las morales de este análisis son:

1. No pierde mucho cuando divide sus valores de datos en un gran número de grupos relativamente pequeños de "sorteos".$N$$m$
2. Puede perder una potencia apreciable utilizando un pequeño número de grupos ( es pequeño, --la cantidad de datos por grupo - es grande).$m$$n$
3. Es mejor no agrupar los valores de datos en "sorteos". Simplemente analícelos tal cual (utilizando cualquier prueba razonable, incluida la regresión logística y la prueba t).$N$

Aquí hay un código en R que ilustra la simulación de la respuesta de Whuber . Los comentarios sobre cómo mejorar mi código R son más que bienvenidos.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter