Qué hacer cuando las medias de dos muestras son significativamente diferentes pero la diferencia parece demasiado pequeña para importar

Tengo dos muestras ( en ambos casos). Las medias difieren en aproximadamente el doble del estándar combinado. dev. El valor resultante es aproximadamente 10. Si bien es bueno saber que he demostrado de manera concluyente que las medias no son las mismas, me parece que esto se debe a la gran n. Al observar los histogramas de los datos, ciertamente no creo que un valor p pequeño sea realmente representativo de los datos y, para ser honesto, no me siento cómodo citando. Probablemente estoy haciendo la pregunta equivocada. Lo que estoy pensando es: ok, los medios son diferentes, pero ¿eso realmente importa ya que las distribuciones comparten una superposición significativa?$n \approx 70$$T$

¿Es aquí donde las pruebas bayesianas son útiles? Si es así, dónde es un buen lugar para comenzar, un poco de búsqueda en Google no ha dado nada útil, pero no puedo hacer la pregunta correcta. Si esto es incorrecto, ¿alguien tiene alguna sugerencia? ¿O es simplemente un punto de discusión en oposición al análisis cuantitativo?

Supongamos que denota la media de la primera población y denota la media de la segunda población. Parece que ha utilizado una prueba dos muestras para probar si . El resultado significativo implica que , pero la diferencia parece ser pequeña para su aplicación.$\mu_1$$\mu_2$$t$$\mu_1=\mu_2$$\mu_1\neq\mu_2$

Lo que ha encontrado es el hecho de que estadísticamente significativo a menudo puede ser algo más que significativo para la aplicación . Si bien la diferencia puede ser estadísticamente significativa, aún puede no ser significativa .

Las pruebas bayesianas no resolverán ese problema; aún así, concluirá que existe una diferencia.

Sin embargo, podría haber una salida. Por ejemplo, para una hipótesis unilateral, podría decidir que si es unidades mayores que entonces esa sería una diferencia significativa que es lo suficientemente grande como para importar para su aplicación.$\mu_1$$\Delta$$\mu_2$

En ese caso, probaría si lugar de si . La estadística (suponiendo variaciones iguales) en ese caso sería donde es la estimación de desviación estándar agrupada. Bajo la hipótesis nula, esta estadística es -distribuidos con grados de libertad.$\mu_1-\mu_2\leq \Delta$$\mu_1-\mu_2=0$$t$

Una forma fácil de llevar a cabo esta prueba es restar de sus observaciones de la primera población y luego realizar una prueba dos muestras unilateral regular .$\Delta$$t$

Es válido comparar varios enfoques, pero no con el objetivo de elegir el que favorezca nuestros deseos / creencias.

Mi respuesta a su pregunta es: es posible que dos distribuciones se superpongan mientras tienen medios diferentes, lo que parece ser su caso (pero necesitaríamos ver sus datos y contexto para proporcionar una respuesta más precisa).

Voy a ilustrar esto usando un par de enfoques para comparar medios normales .

1. prueba$t$

Considere dos muestras simuladas de tamaño de un y , entonces el valor es aproximadamente como en su caso (vea el código R a continuación).N ( 10 , 1 ) N ( 12 , 1 ) t $70$$N(10,1)$$N(12,1)$$t$$10$

rm(list=ls())
# Simulated data
dat1 = rnorm(70,10,1)
dat2 = rnorm(70,12,1)

set.seed(77)

# Smoothed densities
plot(density(dat1),ylim=c(0,0.5),xlim=c(6,16))
points(density(dat2),type="l",col="red")

# Normality tests
shapiro.test(dat1)
shapiro.test(dat2)

# t test
t.test(dat1,dat2)

Sin embargo, las densidades muestran una superposición considerable. Pero recuerde que está probando una hipótesis sobre las medias, que en este caso son claramente diferentes pero, debido al valor de , hay una superposición de las densidades.$\sigma$

2. Probabilidad de perfil de$\mu$

Para obtener una definición de la probabilidad y probabilidad del perfil, consulte 1 y 2 .

En este caso, la probabilidad de perfil de de una muestra de tamaño media de muestra es simplemente .n ˉ x R p ( μ ) = exp [ - n ( ˉ x - μ ) 2 $\mu$$n$$\bar{x}$$R_p(\mu)=\exp\left[-n(\bar{x}-\mu)^2\right]$

Para los datos simulados, estos pueden calcularse en R de la siguiente manera

# Profile likelihood of mu
Rp1 = function(mu){
n = length(dat1)
md = mean(dat1)
return( exp(-n*(md-mu)^2) )
}

Rp2 = function(mu){
n = length(dat2)
md = mean(dat2)
return( exp(-n*(md-mu)^2) )
}

vec=seq(9.5,12.5,0.001)
rvec1 = lapply(vec,Rp1)
rvec2 = lapply(vec,Rp2)

# Plot of the profile likelihood of mu1 and mu2
plot(vec,rvec1,type="l")
points(vec,rvec2,type="l",col="red")

Como puede ver, los intervalos de probabilidad de y no se superponen en ningún nivel razonable.μ $\mu_1$$\mu_2$

3. Posterior de usando Jeffreys antes$\mu$

Considere los Jeffreys anteriores de$(\mu,\sigma)$

La parte posterior de para cada conjunto de datos se puede calcular de la siguiente manera$\mu$

# Posterior of mu
library(mcmc)

lp1 = function(par){
n=length(dat1)
if(par[2]>0) return(sum(log(dnorm((dat1-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

lp2 = function(par){
n=length(dat2)
if(par[2]>0) return(sum(log(dnorm((dat2-par[1])/par[2])))- (n+2)*log(par[2]))
else return(-Inf)
}

NMH = 35000
mup1 = metrop(lp1, scale = 0.25, initial = c(10,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]
mup2 = metrop(lp2, scale = 0.25, initial = c(12,1), nbatch = NMH)$batch[,1][seq(5000,NMH,25)]

# Smoothed posterior densities
plot(density(mup1),ylim=c(0,4),xlim=c(9,13))
points(density(mup2),type="l",col="red")

Una vez más, los intervalos de credibilidad de los medios no se superponen a ningún nivel razonable.

En conclusión, puede ver cómo todos estos enfoques indican una diferencia significativa de medias (que es el interés principal), a pesar de la superposición de las distribuciones.

$\star$ Un enfoque de comparación diferente

A juzgar por sus preocupaciones sobre la superposición de las densidades, otra cantidad de interés podría ser , la probabilidad de que la primera variable aleatoria sea más pequeña que la segunda variable. Esta cantidad puede estimarse de forma no paramétrica como en esta respuesta . Tenga en cuenta que no hay supuestos de distribución aquí. Para los datos simulados, este estimador es , mostrando cierta superposición en este sentido, mientras que las medias son significativamente diferentes. Por favor, eche un vistazo al código R que se muestra a continuación.${\mathbb P}(X<Y)$$0.8823825$

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r ) 
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

nonpest(dat1,dat2)

Espero que esto ayude.

Respondiendo la pregunta correcta

ok, los medios son diferentes, pero ¿eso realmente importa ya que las distribuciones comparten una superposición significativa?

Cualquier prueba que pregunte si las medias grupales son diferentes, cuando funciona correctamente, le dirá si las medias son diferentes. No le dirá que las distribuciones de los datos en sí son diferentes, ya que esa es una pregunta diferente. Esa pregunta ciertamente depende de si las medias son diferentes, pero también de muchas otras cosas que podrían resumirse (incompletamente) como varianza, sesgo y curtosis.

Usted observa correctamente que la certeza acerca de dónde están las medias depende de la cantidad de datos que tiene para estimarlas, por lo que tener más datos le permitirá detectar diferencias de medias en distribuciones más superpuestas. Pero te preguntas si

como el pequeño valor p es realmente representativo de los datos

De hecho, no lo es, al menos no directamente. Y esto es por diseño. Es representativo (aproximadamente hablando) de la certeza que puede tener de que un par particular de estadísticas de muestra de los datos (no los datos en sí) son diferentes.

Si desea representar los datos en sí mismos de una manera más formal que simplemente mostrar los histogramas y probar los momentos de los mismos, quizás un par de gráficos de densidad podrían ser útiles. Más bien depende realmente del argumento para el que está utilizando la prueba.

Una versión bayesiana

En todos estos aspectos, las 'pruebas' de diferencia bayesianas y las pruebas T se comportarán de la misma manera porque están tratando de hacer lo mismo. Las únicas ventajas que puedo pensar para usar un enfoque bayesiano son: a) que será fácil hacer la prueba permitiendo posibles variaciones diferentes para cada grupo, yb) que se centrará en estimar el tamaño probable de la diferencia de medias en lugar de encontrar un valor p para alguna prueba de diferencia. Dicho esto, estas ventajas son bastante menores: por ejemplo, en b) siempre se puede informar un intervalo de confianza para la diferencia.

Las comillas anteriores sobre 'pruebas' son deliberadas. Ciertamente es posible hacer pruebas de hipótesis bayesianas, y la gente lo hace. Sin embargo, sugeriría que la ventaja comparativa del enfoque se centra en construir un modelo plausible de los datos y comunicar sus aspectos importantes con niveles apropiados de incertidumbre.

En primer lugar, esto no es un problema para fijar en las pruebas frecuentes. El problema radica en la hipótesis nula de que las medias son exactamente iguales. Por lo tanto, si las poblaciones difieren en los medios en cualquier cantidad pequeña y el tamaño de la muestra es lo suficientemente grande, la posibilidad de rechazar esta hipótesis nula es muy alta. Por lo tanto, el valor p para su prueba resultó ser muy pequeño. El culpable es la elección de la hipótesis nula. Elija d> 0 y tome la hipótesis nula de que las medias difieren en menos de d en valor absoluto en menos de d. Elija d para que la diferencia real tenga que ser satisfactoriamente grande para rechazar. Tu problema desaparece. Las pruebas bayesianas no resuelven su problema si insiste en una hipótesis nula de igualdad exacta de medios.