¿La tasa de error tipo I es alfa o como máximo alfa?

Según la página de Wikipedia de valor p :

Cuando el valor p se calcula correctamente, esta prueba garantiza que la tasa de error Tipo I sea como máximo . $\alpha$

Sin embargo, más abajo en la página se da esta fórmula:

$Pr (R e j e c t H | H) = Pr (p \leq α | H) = α$ $\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = \alpha$

Suponiendo que 'tasa de error tipo 1' = $\Pr(\mathrm{Reject}\; H|H)$ esto sugiere que la tasa de error tipo 1 es $\alpha$ y no 'a lo sumo $\alpha$ '. De lo contrario, la fórmula se leería:

Pr (R e j e c t H | H) \leq α

$\Pr(\mathrm{Reject}\; H|H) \leq \alpha$

¿Dónde está mi malentendido?

hypothesis-testing p-value type-i-and-ii-errors

— huevo
fuente

Cuando la "hipótesis nula" incluye más de un estado de la naturaleza, la tasa de falsos positivos (FPR) real puede variar con ese estado. Todo lo que podemos hacer es garantizar un límite en el FPR sin importar cuál sea ese estado de la naturaleza, pero no siempre podemos garantizar que el FPR sea igual a $\alpha$ .

(Hay otras razones por las cuales el FPR podría no igualar su valor objetivo , como cuando el estadístico de prueba es discreto. Estas situaciones generalmente se pueden curar mediante procedimientos de decisión aleatorios. Como tal, no proporcionan ninguna información fundamental sobre el pregunta.) $\alpha$

Considere la prueba clásica de una cola donde se supone que el estadístico tiene una distribución Normal de media desconocida y (por simplicidad) desviación estándar conocida . se compara con . La hipótesis nula es mientras que la hipótesis alternativa es . La región de rechazo por lo tanto es de la forma $X$ $\mu$ $\sigma$ $\mu$ $0$ $H_0:\mu \ge 0$ $H_A:\mu \lt 0$

R (α) = (- \infty, Z_{α}]

$\mathcal{R}(\alpha) = (-\infty, Z_\alpha]$

donde se elige para que la probabilidad de observar una estadística en esta región sea como máximo : $Z_\alpha$ $\alpha$

\begin{matrix} (1) & α = sup (Pr (X \in R (α))) . \end{matrix}

$\alpha =\sup\left(\Pr(X \in \mathcal{R}(\alpha))\right)\tag{1}.$

Bajo los supuestos, esta probabilidad viene dada por la función de distribución Normal : $\Phi$

\begin{matrix} (2) & Pr (X \in R (α)) = Φ (\frac{Z_{α} - μ}{σ}) . \end{matrix}

$\Pr(X \in \mathcal{R}(\alpha)) = \Phi\left(\frac{Z_\alpha-\mu}{\sigma}\right)\tag{2}.$

Esta probabilidad depende del valor desconocido de . $\mu$ Por lo tanto, no podemos garantizar que realmente sea igual a . De hecho, para grande , es prácticamente cero. Sin embargo, tenemos que cubrir todas nuestras bases y garantizar que mientras sea consistente con la hipótesis nula, la tasa de falsos positivos no excederá . $\alpha$ $\mu$ $(2)$ $\mu$ $(1)$ $\alpha$

— whuber
fuente

@ JackPierce-Brown La fórmula es correcta para hipótesis de punto nulo y para estadística de prueba continua. Eso es lo que debe suponerse en el artículo de Wikipedia, pero probablemente no se detalla. (+1)

— ameba

@Amoeba tiene razón. Tenga en cuenta, además, que solo unas pocas pruebas prácticas realmente involucran hipótesis de punto nulo. Incluso la prueba t de Student clásica de vs no es un punto Nulo, porque hay múltiples posibilidades para el valor desconocido del parámetro a pesar de que el valor nulo determina el valor de .

H_{0} : μ = 0

$H_0:\mu=0$

H_{A} : μ > 0

$H_A:\mu \gt 0$

σ

$\sigma$

μ

$\mu$

— whuber

@whuber Hmm, tu ejemplo de prueba t es desconcertante. ¿Puedes elaborar? Pensé que es un punto nulo, porque es un punto y no entra en la hipótesis nula. Si es no un nulo punto, significa que la tasa de error de tipo I no es igual a ? Pensé que debería ser igual a sin importar qué sea .

H_{0} = 0

$H_0=0$

0

$0$

σ

$\sigma$

α

$\alpha$

α

$\alpha$

σ

$\sigma$

— ameba

@Amoeba es parte de la hipótesis nula. Rigurosamente, el espacio de parámetros esLa hipótesis nula es el subconjuntoNo es un solo estado de la naturaleza. Pero tal vez este no es el mejor ejemplo posible, ya que la distribución de la estadística no depende de : que es la razón por un FPR constante es posible.

σ

$\sigma$

Θ = {(μ, σ) ∣ μ \in R, σ \geq 0} .

$\Theta = \{(\mu,\sigma)\mid \mu\in\mathbb{R},\,\sigma \ge 0\}.$

H_{0} = {(μ, σ) ∣ μ = 0, σ \geq 0} \subset Θ .

$H_0=\{(\mu,\sigma)\mid \mu=0,\sigma\ge 0\} \subset\Theta.$

t

$t$

σ

$\sigma$

— whuber

Interesante. Veo.

— ameba

Es un problema furtivo. Si tiene datos continuos y los trata adecuadamente, entonces . Sin embargo, cuando sus datos son discretos, puede que no sea posible para . Considere los datos binomiales sobre si una moneda es justa, con 5 lanzamientos de monedas, los posibles valores p unilaterales son: $\Pr(p \leq \alpha|H_0) = \alpha$ $p = \alpha$

> pbinom(0:5, size=5, prob=.5)
[1] 0.03125 0.18750 0.50000 0.81250 0.96875 1.00000

Solo cabezas podrían producir un error de tipo I, y la probabilidad asociada con eso es . De manera que la tasa de error de tipo I sería llevará a cabo a "como máximo ", pero no igual a . $0$ $\approx 0.03$ $α$ $\alpha$

Por otro lado, hay estrategias de análisis (no válidas) que conducen a tasas de error de tipo I que son mayores que , incluso cuando (por ejemplo, rutinas de selección por pasos). $\alpha$ $p<\alpha$

Tengo una discusión más completa aquí: comparación y contraste, valores p, niveles de significancia y error tipo I

— gung - Restablece a Monica
fuente