Dado un tamaño de muestra suficientemente grande, una prueba siempre mostrará un resultado significativo a menos que el tamaño del efecto verdadero sea exactamente cero. ¿Por qué?

21

Tengo curiosidad acerca de una afirmación hecha en el artículo de Wikipedia sobre el tamaño del efecto . Específicamente:

[...] una comparación estadística no nula siempre mostrará resultados estadísticamente significativos a menos que el tamaño del efecto de la población sea exactamente cero

No estoy seguro de lo que esto significa / implica, y mucho menos un argumento para respaldarlo. Supongo que, después de todo, un efecto es una estadística, es decir, un valor calculado a partir de una muestra, con su propia distribución. ¿Significa esto que los efectos nunca se deben a una variación aleatoria (que es lo que entiendo que significa que no sea significativo)? ¿Entonces consideramos si el efecto es lo suficientemente fuerte, teniendo un valor absoluto alto?

Estoy considerando el efecto con el que estoy más familiarizado: el coeficiente de correlación de Pearson r parece contradecir esto. ¿Por qué cualquier $r$ sería estadísticamente significativo? Si es pequeña, nuestra línea de regresión $r$

y = una X + si = r (\frac{s_{y}}{s_{X}}) = ϵ X + si

$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$

Para pequeño, está cerca de 0, una prueba F probablemente contendrá un intervalo de confianza que contiene 0 para la pendiente. ¿No es este un contraejemplo? $\epsilon$

hypothesis-testing

— Gary
fuente

10

Sugerencia: la cláusula antes de la porción que citó es esencial. " Dado un tamaño de muestra suficientemente grande , una comparación estadística no nula siempre mostrará resultados estadísticamente significativos a menos que el tamaño del efecto de la población sea exactamente cero ..."

— Kodiólogo

@Kodiologist: Pero, en mi ejemplo, ¿implicaría esto que si el tamaño de la muestra fuera mayor, entonces r también sería mayor o, al menos, la expresión

sería mayor si el tamaño de la muestra fuera mayor? No lo veo

r (s_{y} / s_{x})

$r(s_y/s_x)$

— Gary

55

Si esto no fuera cierto, sería un defecto en el método estadístico. Si

, seguramente algún tamaño de muestra es lo suficientemente grande como para detectar la diferencia.

μ > μ_{0}

$\mu > \mu_0$

— John Coleman

26

Como un simple ejemplo, suponga que estoy estimando su altura utilizando algunos mumbo jumbo estadísticos.

Siempre ha dicho a los demás que mide 177 cm (aproximadamente 5 pies 10 pulgadas).

Si tuviera que probar esta hipótesis (que su altura es igual a 177 cm, ), y podría reducir el error de medición en mi lo suficiente, entonces podría demostrar que es no , de hecho, 177 cm de altura. Eventualmente, si calculo su altura a suficientes decimales, seguramente se desviará de la altura establecida de 177.00000000 cm. Quizás eres 177.02 cm; Solo tengo que reducir mi error a menos de .02 para descubrir que no mides 177 cm. $h = 177$

¿Cómo reduzco el error en las estadísticas? Obtenga una muestra más grande. Si obtiene una muestra lo suficientemente grande, el error se vuelve tan pequeño que puede detectar las desviaciones más minúsculas de la hipótesis nula.

— Socavador
fuente

2

Esta es una explicación muy clara y concisa. Probablemente sea más útil para entender por qué sucede esto que las respuestas más matemáticas. Bien hecho.

— Nadie el

1

Bien explicado, pero creo que también es importante tener en cuenta que hay casos en los que el valor declarado es realmente exacto. Por ejemplo, dejando de lado las cosas raras que suceden en la teoría de cuerdas, etc., una medición del número de dimensiones espaciales de nuestro universo (que se puede hacer) dará 3, y no importa qué tan precisa sea esa medición, usted nunca encuentre desviaciones estadísticamente significativas significativas de 3. Por supuesto, si sigue probando suficientes veces obtendrá algunas desviaciones simplemente debido a la variación, pero ese es un problema diferente.

— David Z

Probablemente sea una pregunta ingenua, pero si afirmo que tengo 177 cm, ¿el concepto de dígitos significativos no significa que solo digo que tengo entre 176.5 y 177.5? La respuesta parece dar un buen concepto teórico, cierto, pero ¿no se basa en una premisa falsa? ¿Qué me estoy perdiendo?

— JimLohse

En este caso, la altura establecida de 177 es análoga a la hipótesis nula en estadística. En las pruebas de hipótesis tradicionales para la igualdad, se hace una declaración de igualdad (por ejemplo,

). El punto es que no importa cuál sea su altura, puedo refutarlo reduciendo el error a menos que la hipótesis nula sea EXACTAMENTE cierta. Usé la altura como un ejemplo fácil de entender, pero este concepto es el mismo en otras áreas (la sustancia x no causa cáncer, esta moneda es justa, etc.)

μ = 177

$\mu = 177$

— Underminer

13

Como señala @Kodiologist, esto realmente se trata de lo que sucede con muestras de gran tamaño. Para tamaños de muestra pequeños no hay razón por la que no pueda tener falsos positivos o falsos negativos.

Creo que la prueba hace que el caso asintótico sea más claro. Supongamos que tenemos y queremos probar vs . Nuestra estadística de prueba es $z$ $X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$ $H_0: \mu = 0$ $H_A: \mu \neq 0$

Z_{n} = \frac{{\bar{X}}_{n} - 0}{1 / \sqrt{n}} = \sqrt{n} {\bar{X}}_{n} .

$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$

entonces $\bar X_n \sim \mathcal N(\mu, \frac 1n)$ . Estamos interesados en. $Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ $P(|Z_n| \geq \alpha)$

P (| Z_{n} | \geq α) = P (Z_{n} \leq - α) + PAGS (Z_{norte} \geq α)

$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$

Sea

nuestra variable de referencia. Debajo de

entonces tenemos

para que podamos elegir

para controlar nuestra tasa de error tipo I, según lo desee. Pero bajo

= 1 + Φ (- α - μ \sqrt{n}) - Φ (α - μ \sqrt{n}) .

$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$

Y \sim N (0, 1)

$Y \sim \mathcal N(0,1)$

H_{0}

$H_0$

μ = 0

$\mu = 0$

P (| Z_{n} | \geq α) = 1 - P (- α \leq Y \leq α)

$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$

α

$\alpha$

H_{A}

$H_A$

entonces

así que con probabilidad 1 rechazaremos

si

(la

es en el caso de

, pero de cualquier manera los infinitos tienen el mismo signo).

μ \sqrt{n} \neq 0

$\mu \sqrt n \neq 0$

P (| Z_{n} | \geq α) \to 1 + Φ (\pm \infty) - Φ (\pm \infty) = 1

$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$

H_{0}

$H_0$

μ \neq 0

$\mu \neq 0$

\pm

$\pm$

μ < 0

$\mu < 0$

$\mu$ $0$ $\mu$ $0$ $1$ $n$ $H_A$ $1$ $n \to \infty$

$H_0 : \rho = \rho_0$ $H_A: \rho \neq \rho_0$ $1$

— jld
fuente

1

μ < 0

$μ < 0$

Z_{n}

$Z_n$

- \infty

$-\infty$

\infty

$\infty$

1

μ = 0

$\mu=0$

\bar{X} \to_{p} 0

$\bar{X}\to_p 0$

\sqrt{n} \to \infty

$\sqrt{n}\to \infty$

1

@DeltaIV, correcto, si la tasa de convergencia fuera diferente, uno necesitaría una escala diferente para obtener una distribución nula no degenerada. Pero para el presente ejemplo, root-n es la tasa correcta.

— Christoph Hanck

1

\sqrt{n} \bar{X}

$\sqrt n \bar X$

0

$0$

7

Podría decirse que lo que dijeron es incorrecto, si no por otra razón que su uso de "esto siempre sucede".

No sé si este es el quid de la confusión que estás teniendo, pero lo publicaré porque creo que muchos lo hacen y se confundirán con esto:

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

Lo que literalmente dicen se traduce en lo siguiente:

$n$ $n_0$

Sin embargo, lo que intentaban decir es lo siguiente:

Para cualquier nivel de significación, a medida que aumenta el tamaño de la muestra, la probabilidad de que una prueba no nula produzca un resultado significativo se aproxima a 1 si el tamaño del efecto verdadero no es exactamente cero.

Aquí hay diferencias cruciales:

No hay garantía. Es más probable que obtenga un resultado significativo con una muestra más grande. Ahora, podrían esquivar parte de la culpa aquí, porque hasta ahora es solo un problema de terminología. En un contexto probabilístico, que se entiende que la declaración "si n es suficientemente grande, entonces X" puede también ser interpretado en el sentido de "X vuelve cada vez más probable que sea cierto a medida que n aumenta de tamaño" .
Sin embargo, esta interpretación sale por mi ventana tan pronto como dicen que esto "siempre" sucede. La terminología adecuada aquí habría sido decir que esto sucede " con alta probabilidad " ¹ .
$n > n_0$

Pero una vez que entiendes la literatura, entiendes lo que están tratando de decir.

(Nota al margen: por cierto, este es exactamente uno de los problemas constantes que muchas personas tienen con Wikipedia. Con frecuencia, solo es posible entender lo que dicen si ya conoce el material, por lo que solo sirve como referencia o como recordatorio , no como material de autoaprendizaje).

_{¹ Para los compañeros pedantes (¡hola!), Sí, el término tiene un significado más específico que el que he vinculado. El término técnico más flexible que probablemente deseamos aquí es "asintóticamente casi seguro" . Vea aquí .}

— Mehrdad
fuente

"la probabilidad de que una prueba no nula produzca un resultado significativo se aproxima a 0 si el tamaño del efecto verdadero es exactamente cero" puede no ser del todo correcta: si la prueba tiene un nivel de significancia

α

$\alpha$ entonces la probabilidad de producir un resultado significativo puede ser

α

$\alpha$ o alrededor de todos los tamaños de muestra

— Henry

@ Henry: ¡Oh, dispara, tienes razón! Lo escribí tan rápido que no me detuve a pensar. ¡Gracias una tonelada! Lo he arreglado :)

— Mehrdad

3

Mi ejemplo favorito es el número de dedos por género. La gran mayoría de las personas tiene 10 dedos. Algunos han perdido los dedos debido a accidentes. Algunos tienen dedos extra.

No sé si los hombres tienen más dedos que las mujeres (en promedio). Toda la evidencia fácilmente disponible sugiere que los hombres y las mujeres tienen 10 dedos.

Sin embargo, estoy muy seguro de que si hiciera un censo de todos los hombres y todas las mujeres, aprendería que un género tiene más dedos (en promedio) que el otro.

— emory
fuente

Dado un tamaño de muestra suficientemente grande, una prueba siempre mostrará un resultado significativo a menos que el tamaño del efecto verdadero sea exactamente cero. ¿Por qué?

XXXnortenortenn > n0 0norte>norte0 0n > n_0XXX

limn → ∞Pr ( X) = 1limnorte→∞Pr(X)=1\lim\limits_{n\to\infty} \Pr (X) = 1

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$