Reproduzca la figura de "Inferencia estadística de la era de la computadora" de Efron y Hastie

La versión resumida de mi pregunta.

(26 de diciembre de 2018)

Estoy tratando de reproducir la Figura 2.2 de la Inferencia estadística de la era de la computadora de Efron y Hastie, pero por alguna razón que no puedo entender, los números no se corresponden con los del libro.

Supongamos que estamos tratando de decidir entre dos posibles funciones de densidad de probabilidad para los datos observados , una densidad de hipótesis nula y una densidad alternativa . Una regla de prueba dice qué opción, o $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ , haremos con los datos observados $x$ . Cualquiera de estas reglas tiene dos probabilidades asociadas de error frecuentista: elegir $f_1$ cuando en realidad $f_0$ generado $x$ , y viceversa,

α = {Pr}_{f_{0}} {t (x) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{f_{1}} {t (x) = 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Dejar $L(x)$ ser la razón de verosimilitud ,

L (x) = \frac{f_{1} (x)}{f_{0} (x)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

Entonces, el lema de Neyman-Pearson dice que la regla de prueba del formulario $t_c(x)$ es el algoritmo óptimo de prueba de hipótesis

t_{c} (x) = {\begin{cases} 1 if log L (x) \geq c \\ 0 if log L (x) < c . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

por $f_0 \sim \mathcal{N} \left(0,1\right), \enspace f_1 \sim \mathcal{N} \left(0.5,1\right)$ y tamaño de muestra $n=10$ ¿Cuáles serían los valores para $\alpha$ y $\beta$ para un corte $c=0.4$ ?

De la Figura 2.2 de la Inferencia estadística de la era de la computadora de Efron y Hastie tenemos:
- $\alpha=0.10$ y $\beta=0.38$ para un corte $c=0.4$
encontré $\alpha=0.15$ y $\beta=0.30$ para un corte $c=0.4$ utilizando dos enfoques diferentes: A) simulación y B) analíticamente .

Agradecería que alguien me explicara cómo obtener $\alpha=0.10$ y $\beta=0.38$ para un corte $c=0.4$ . Gracias.

La versión resumida de mi pregunta termina aquí. A partir de ahora encontrarás:

En la sección A) detalles y código completo de Python de mi enfoque de simulación .
En la sección B) detalles y código completo de Python del enfoque analítico .

A) Mi enfoque de simulación con código completo de Python y explicaciones

(20 de diciembre de 2018)

Del libro ...

En el mismo espíritu, el lema de Neyman-Pearson proporciona un algoritmo de prueba de hipótesis óptimo. Esta es quizás la más elegante de las construcciones frecuentistas. En su formulación más simple, el lema NP supone que estamos tratando de decidir entre dos posibles funciones de densidad de probabilidad para los datos observados $x$ , una densidad de hipótesis nula $f_0\left(x\right)$ y una densidad alternativa $f_1\left(x\right)$ . Una regla de prueba $t\left(x\right)$ dice qué opción, $0$ o $1$ , haremos habiendo observado los datos $x$ . Cualquiera de estas reglas tiene dos probabilidades asociadas de error frecuentista: elegir $f_1$ cuando en realidad generado , y viceversa,

$α = {Pr}_{f_{0}} {t (x) = 1},$ $\alpha = \text{Pr}_{f_0} \{t(x)=1\},$ $β = {Pr}_{f_{1}} {t (x) = 0} .$ $\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Dejar $L(x)$ ser la razón de verosimilitud ,

$L (x) = \frac{f_{1} (x)}{f_{0} (x)}$ $L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

(Fuente: Efron, B. y Hastie, T. (2016). Inferencia estadística de la era de la computadora: algoritmos, evidencia y ciencia de datos. Cambridge: Cambridge University Press. )

Entonces, implementé el código de Python a continuación ...

import numpy as np

def likelihood_ratio(x, f1_density, f0_density):
    return np.prod(f1_density.pdf(x)) / np.prod(f0_density.pdf(x))

De nuevo, del libro ...

y definir la regla de prueba por

$t_{c} (x) = {\begin{cases} 1 if log L (x) \geq c \\ 0 if log L (x) < c . \end{cases}$ $t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

(Fuente: Efron, B. y Hastie, T. (2016). Inferencia estadística de la era de la computadora: algoritmos, evidencia y ciencia de datos. Cambridge: Cambridge University Press. )

Entonces, implementé el código de Python a continuación ...

def Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density):
    lr = likelihood_ratio(x, f1_density, f0_density)
    llr = np.log(lr)

    if llr >= cutoff:
        return 1
    else:
        return 0

Finalmente, del libro ...

Donde es posible concluir que un límite $c=0.4$ implicará $\alpha=0.10$ y $\beta=0.38$ .

Entonces, implementé el código de Python a continuación ...

def alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f0_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return np.sum(NP_test_results) / float(replicates)

def beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f1_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return (replicates - np.sum(NP_test_results)) / float(replicates)

y el código ...

from scipy import stats as st

f0_density = st.norm(loc=0, scale=1)
f1_density = st.norm(loc=0.5, scale=1)

sample_size = 10
replicates = 12000

cutoffs = []
alphas_simulated = []
betas_simulated = []
for cutoff in np.arange(3.2, -3.6, -0.4):
    alpha_ = alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates)
    beta_ = beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates)

    cutoffs.append(cutoff)
    alphas_simulated.append(alpha_)
    betas_simulated.append(beta_)

y el código ...

import matplotlib.pyplot as plt
%matplotlib inline

# Reproducing Figure 2.2 from simulation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_simulated, betas_simulated, 'ro', alphas_simulated, betas_simulated, 'k-')

para obtener algo como esto:

que se parece a la figura original del libro, pero las 3 tuplas $(c,\alpha,\beta)$ de mi simulación tiene diferentes valores de $\alpha$ y $\beta$ cuando se compara con los del libro para el mismo límite $c$ . Por ejemplo:

del libro que tenemos $(c=0.4, \alpha=0.10, \beta=0.38)$
de mi simulación tenemos:
- $(c=0.4, \alpha=0.15, \beta=0.30)$
- $(c=0.8, \alpha=0.10, \beta=0.39)$

Parece que el límite $c=0.8$ de mi simulación es equivalente al corte $c=0.4$ del libro.

Agradecería que alguien me explicara qué estoy haciendo mal aquí. Gracias.

B) Mi enfoque de cálculo con código completo de Python y explicaciones

(26 de diciembre de 2018)

Aún tratando de entender la diferencia entre los resultados de mi simulación ( alpha_simulation(.), beta_simulation(.)) y los presentados en el libro, con la ayuda de un amigo estadístico (Sofía), calculamos $\alpha$ y $\beta$ analíticamente en lugar de a través de la simulación, entonces ...

Una vez que

f_{0} \sim N (0, 1)

$f_0 \sim \mathcal{N} \left(0,1\right)$

f_{1} \sim N (0.5, 1)

$f_1 \sim \mathcal{N} \left(0.5,1\right)$

entonces

f (x | μ, σ^{2}) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ)}^{2}}{2 σ^{2}}}

$f\left(x \;\middle\vert\; \mu, \sigma^2 \right) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu\right)^2}{2\sigma^2}}$

Además,

L (x) = \frac{f_{1} (x)}{f_{0} (x)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

entonces,

L (x) = \frac{f_{1} (x | μ_{1}, σ^{2})}{f_{0} (x | μ_{0}, σ^{2})} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ_{1})}^{2}}{2 σ^{2}}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{f_1\left(x\;\middle\vert\; \mu_1, \sigma^2\right)}{f_0\left(x\;\middle\vert\; \mu_0, \sigma^2\right)} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

Por lo tanto, al realizar algunas simplificaciones algebraicas (como se muestra a continuación), tendremos:

L (x) = \frac{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{i = 1}^{n} {(x_{i} - μ_{1})}^{2}}{2 σ^{2}}}}{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{i = 1}^{n} {(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

= e^{\frac{- \sum_{i = 1}^{n} {(x_{i} - μ_{1})}^{2} + \sum_{i = 1}^{n} {(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2 + \sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}$

= e^{\frac{- \sum_{i = 1}^{n} (x_{i}^{2} - 2 x_{i} μ_{1} + μ_{1}^{2}) + \sum_{i = 1}^{n} (x_{i}^{2} - 2 x_{i} μ_{0} + μ_{0}^{2})}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_1 + \mu_1^2\right) + \sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_0 + \mu_0^2\right)}{2\sigma^2}}$

= e^{\frac{- \sum_{i = 1}^{n} x_{i}^{2} + 2 μ_{1} \sum_{i = 1}^{n} x_{i} - \sum_{i = 1}^{n} μ_{1}^{2} + \sum_{i = 1}^{n} x_{i}^{2} - 2 μ_{0} \sum_{i = 1}^{n} x_{i} + \sum_{i = 1}^{n} μ_{0}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n}x_i^2 + 2\mu_1\sum_{i = 1}^{n}x_i - \sum_{i = 1}^{n}\mu_1^2 + \sum_{i = 1}^{n}x_i^2 - 2\mu_0\sum_{i = 1}^{n}x_i + \sum_{i = 1}^{n}\mu_0^2}{2\sigma^2}}$

= e^{\frac{2 (μ_{1} - μ_{0}) \sum_{i = 1}^{n} x_{i} + n (μ_{0}^{2} - μ_{1}^{2})}{2 σ^{2}}}

$= e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}}$ .

Así que si

t_{C} (X) = {\begin{cases} 1 si log L (X) \geq C \\ 0 0 si log L (X) < C . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

entonces para $\text{log } L(x) \ge c$ tendremos:

Iniciar sesión ({mi}^{\frac{2 (μ_{1} - μ_{0 0}) \sum_{yo = 1}^{norte} X_{yo} + norte (μ_{0 0}^{2} - μ_{1}^{2})}{2 σ^{2}}}) \geq C

$\text{log } \left( e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}} \right) \ge c$

\frac{2 (μ_{1} - μ_{0 0}) \sum_{yo = 1}^{norte} X_{yo} + norte (μ_{0 0}^{2} - μ_{1}^{2})}{2 σ^{2}} \geq C

$\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2} \ge c$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{2 C σ^{2} - norte (μ_{0 0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0 0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2 - n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{2 C σ^{2}}{2 (μ_{1} - μ_{0 0})} - \frac{norte (μ_{0 0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0 0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2}{2\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{C σ^{2}}{(μ_{1} - μ_{0 0})} - \frac{norte (μ_{0 0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0 0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{C σ^{2}}{(μ_{1} - μ_{0 0})} + \frac{norte (μ_{1}^{2} - μ_{0 0}^{2})}{2 (μ_{1} - μ_{0 0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1^2-\mu_0^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{C σ^{2}}{(μ_{1} - μ_{0 0})} + \frac{norte (μ_{1} - μ_{0 0}) (μ_{1} + μ_{0 0})}{2 (μ_{1} - μ_{0 0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1-\mu_0\right)\left(\mu_1+\mu_0\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{yo = 1}^{norte} X_{yo} \geq \frac{C σ^{2}}{(μ_{1} - μ_{0 0})} + \frac{norte (μ_{1} + μ_{0 0})}{2}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}$

(\frac{1}{norte}) \sum_{yo = 1}^{norte} X_{yo} \geq (\frac{1}{norte}) (\frac{C σ^{2}}{(μ_{1} - μ_{0 0})} + \frac{norte (μ_{1} + μ_{0 0})}{2})

$\left(\frac{1}{n}\right) \sum_{i = 1}^{n}x_i \ge \left(\frac{1}{n}\right) \left( \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}\right)$

\frac{\sum_{yo = 1}^{norte} X_{yo}}{norte} \geq \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\frac{\sum_{i = 1}^{n}x_i}{n} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{X} \geq \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\bar{x} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{X} \geq k, dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Resultando en

t_{C} (X) = {\begin{cases} 1 Si \bar{X} \geq k \\ 0 0 Si \bar{X} < k . \end{cases}, dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if } \bar{x} \ge k\\ 0\enspace\text{if } \bar{x} \lt k.\end{array} \right. \enspace \enspace \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Para calcular $\alpha$ y $\beta$ , lo sabemos:

α = {Pr}_{F_{0 0}} {t (X) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{F_{1}} {t (X) = 0 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

entonces,

\begin{array}{ll} α = {Pr}_{F_{0 0}} {\bar{X} \geq k}, \\ β = {Pr}_{F_{1}} {\bar{X} < k} . \end{array} dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\begin{array}{ll} \alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\},\\ \beta = \text{Pr}_{f_1} \{\bar{x} \lt k\}.\end{array} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

por $\alpha$ ...

α = {Pr}_{F_{0 0}} {\bar{X} \geq k} = {Pr}_{F_{0 0}} {\bar{X} - μ_{0 0} \geq k - μ_{0 0}}

$\alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\} = \text{Pr}_{f_0} \{\bar{x} - \mu_0 \ge k - \mu_0\}$

α = {Pr}_{F_{0 0}} {\frac{\bar{X} - μ_{0 0}}{\frac{σ}{\sqrt{norte}}} \geq \frac{k - μ_{0 0}}{\frac{σ}{\sqrt{norte}}}}

$\alpha = \text{Pr}_{f_0} \left\{\frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\}$

α = {Pr}_{F_{0 0}} {puntaje z \geq \frac{k - μ_{0 0}}{\frac{σ}{\sqrt{norte}}}} dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\alpha = \text{Pr}_{f_0} \left\{\text{z-score} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Entonces, implementé el código de Python a continuación:

def alpha_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_alpha = (k-m_0)/(sigma/np.sqrt(n))

    # Pr{z_score >= z_alpha}
    return 1.0 - st.norm(loc=0, scale=1).cdf(z_alpha)

por $\beta$ ...

β = {Pr}_{F_{1}} {\bar{X} < k} = {Pr}_{F_{1}} {\bar{X} - μ_{1} < k - μ_{1}}

$\beta = \text{Pr}_{f_1} \{\bar{x} \lt k\} = \text{Pr}_{f_1} \{\bar{x} - \mu_1 \lt k - \mu_1\}$

β = {Pr}_{F_{1}} {\frac{\bar{X} - μ_{1}}{\frac{σ}{\sqrt{norte}}} < \frac{k - μ_{1}}{\frac{σ}{\sqrt{norte}}}}

$\beta = \text{Pr}_{f_1} \left\{\frac{\bar{x} - \mu_1}{\frac{\sigma}{\sqrt{n}}} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\}$

β = {Pr}_{F_{1}} {puntaje z < \frac{k - μ_{1}}{\frac{σ}{\sqrt{norte}}}} dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\beta = \text{Pr}_{f_1} \left\{\text{z-score} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

resultando en el código de python a continuación:

def beta_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_beta = (k-m_1)/(sigma/np.sqrt(n))

    # Pr{z_score < z_beta}
    return st.norm(loc=0, scale=1).cdf(z_beta)

y el código ...

alphas_calculated = []
betas_calculated = []
for cutoff in cutoffs:
    alpha_ = alpha_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)
    beta_ = beta_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)

    alphas_calculated.append(alpha_)
    betas_calculated.append(beta_)

y el código ...

# Reproducing Figure 2.2 from calculation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_calculated, betas_calculated, 'ro', alphas_calculated, betas_calculated, 'k-')

para obtener una figura y valores para $\alpha$ y $\beta$ muy similar a mi primera simulación

Y finalmente para comparar los resultados entre simulación y cálculo lado a lado ...

df = pd.DataFrame({
    'cutoff': np.round(cutoffs, decimals=2), 
    'simulated alpha': np.round(alphas_simulated, decimals=2),
    'simulated beta': np.round(betas_simulated, decimals=2),
    'calculated alpha': np.round(alphas_calculated, decimals=2),
    'calculate beta': np.round(betas_calculated, decimals=2)
})
df

Resultando en

Esto muestra que los resultados de la simulación son muy similares (si no los mismos) a los del enfoque analítico.

En resumen, todavía necesito ayuda para descubrir qué podría estar mal en mis cálculos. Gracias. :)

— Francisco Fonseca
fuente

Me parece que cualquier pregunta que requiera que los lectores recorran 11 páginas de código de computadora, resultados estadísticos y álgebra es poco probable que sea leída por nadie, y mucho menos respondida de manera convincente. Si está interesado en continuar con esto, como parece ser por el tiempo y la atención que ha dedicado a él, le sugiero que identifique el quid de la cuestión y vea si puede explicarlo y hacer su pregunta en el espacio de ¿una o como máximo dos páginas de material?

— whuber

Hola @whuber, gracias por tu sugerencia! Mi intención era publicar detalles (código fuente y explicaciones) para permitir que cualquiera reproduzca mis resultados, pero parece que esta estrategia no funcionó muy bien como usted observó correctamente :). Gracias de nuevo. Luego edité la pregunta para resumir mi duda al comienzo de la publicación. Espero que esto funcione.

— Francisco Fonseca

En el sitio web del libro Computer Age Statistical Inference , hay una sesión de discusión donde Trevor Hastie y Brad Efron a menudo responden a varias preguntas. Entonces, publiqué esta pregunta allí (como a continuación) y recibí de Trevor Hastie la confirmación de que hay un error en el libro que se solucionará (en otras palabras, mis simulaciones y cálculos, tal como se implementaron en Python en esta pregunta) son correctos )

Cuando Trevor Hastie respondió que "De hecho c = .75 para esa trama" significa que en la figura a continuación (Figura 2.2 original del libro) el límite $c$ debiera ser $c=0.75$ en vez de $c=0.4$ :

Por lo tanto, el uso de mis funciones alpha_simulation(.), beta_simulation(.), alpha_calculation(.)y beta_calculation(.)(cuyo código Python completa está disponible en esta pregunta) Tengo $\alpha=0.10$ y $\beta=0.38$ para un corte $c=0.75$ como confirmación de que mi código es correcto.

alpha_simulated_c075 = alpha_simulation(0.75, f0_density, f1_density, sample_size, replicates)
beta_simulated_c075 = beta_simulation(0.75, f0_density, f1_density, sample_size, replicates)

alpha_calculated_c075 = alpha_calculation(0.75, 0.0, 0.5, 1.0, sample_size)
beta_calculated_c075 = beta_calculation(0.75, 0.0, 0.5, 1.0, sample_size)

print("Simulated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_simulated_c075, beta_simulated_c075))
print("Calculated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_calculated_c075, beta_calculated_c075))

Finalmente, cuando Trevor Hastie respondió que "... resultando en un umbral para x de .4" significa que $k=0.4$ en la ecuación a continuación (ver sección B de esta pregunta):

\bar{X} \geq k, dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

Resultando en

t_{C} (X) = {\begin{cases} 1 Si \bar{X} \geq k \\ 0 0 Si \bar{X} < k . \end{cases}, dónde k = \frac{C σ^{2}}{norte (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

Entonces, en Python podemos obtener $k=0.4$ para un corte $c=0.75$ como a continuación:

n = 10
m_0 = 0.0
m_1 = 0.5
variance = 1.0
c = 0.75

k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0
threshold_for_x = k

print("threshold for x (when cutoff c=0.75) = {0:.1f}".format(threshold_for_x))

— Francisco Fonseca
fuente