Media de la muestra bootstrap vs estadística de la muestra

Digamos que tengo una muestra y la muestra de bootstrap de esta muestra para un estatico (por ejemplo, la media). Como todos sabemos, esta muestra de bootstrap estima la distribución muestral del estimador de la estadística. $\chi$

Ahora, ¿es la media de esta muestra de bootstrap una mejor estimación de la estadística de población que la estadística de la muestra original ? ¿En qué condiciones sería ese el caso?

estimation bootstrap

— Amelio Vazquez-Reina
fuente

La media de la muestra de bootstrap es la media de la muestra y no necesita una muestra de bootstrap en este caso.

— Xi'an

Gracias @ Xi'an No estoy seguro de seguir. La media de la muestra de bootstrap puede ser numéricamente diferente de la media de la muestra. ¿Estás tratando de decir que los dos siguen siendo teóricamente equivalentes? ¿Se puede confirmar en ambos extremos?

— Amelio Vazquez-Reina

Aclaremos nuestra terminología: la "muestra de arranque" podría referirse a una muestra específica con reemplazo de los datos o podría referirse a una variable aleatoria (multivariada) de la cual dicha muestra se consideraría una realización. Tiene razón en que la media de una realización puede diferir de la media de los datos, pero @ Xi'an proporciona la observación más relevante de que la media de la variable aleatoria (que por definición es la estimación inicial de la media de la población ) debe coincidir con la media de los datos.

— whuber

Entonces su pregunta es casi idéntica a stats.stackexchange.com/questions/126633/… ; la única diferencia es que las realizaciones de muestra de bootstrap pueden superponerse, pero el análisis dado en la respuesta allí se traslada fácilmente a la situación de bootstrap, con el mismo resultado.

— whuber

Veo la conexión @whuber, aunque en bootstrap uno tiene "subconjuntos con reemplazo" y las realizaciones pueden superponerse, como usted dijo. Me imagino que la distribución (por ejemplo, pseudoaleatoriedad) utilizada para obtener las nuevas muestras en bootstrap también puede afectar el sesgo de la estimación de la muestra de bootstrap. Quizás la respuesta es que para todos los asuntos prácticos la diferencia es insignificante. De esto se trata la pregunta: condiciones, sutilezas y la diferencia en la práctica.

— Amelio Vazquez-Reina

Respuestas:

Generalicemos, para enfocarnos en el quid de la cuestión. Explicaré los detalles más pequeños para no dejar dudas. El análisis requiere solo lo siguiente:

La media aritmética de un conjunto de números se define como $z_1, \ldots, z_m$

$\frac{1}{metro} (z_{1} + \dots + z_{metro}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
La expectativa es un operador lineal. Es decir, cuando son variables aleatorias y son números, entonces la expectativa de una combinación lineal es la combinación lineal de las expectativas, $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

Sea una muestra obtenida de un conjunto de datos tomando elementos uniformemente de con reemplazo. Deje será la media aritmética de . Esta es una variable aleatoria. Luego $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

sigue por la linealidad de la expectativa. Como todos los elementos de se obtienen de la misma manera, todos tienen la misma expectativa, dice: $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

Esto simplifica lo anterior a

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

Por definición, la expectativa es la suma de valores ponderada por la probabilidad. Dado que se supone que cada valor de tiene la misma probabilidad de de ser seleccionado, $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

La media aritmética de los datos.

Para responder a la pregunta, si uno usa la media de datos para estimar la media de la población, entonces la media de arranque (que es el caso ) también es igual a , y por lo tanto es idéntico como un estimador de la media de la población. $\bar x$ $k=n$ $\bar x$

Para las estadísticas que no son funciones lineales de los datos, no se cumple necesariamente el mismo resultado. Sin embargo, sería un error simplemente sustituir la media de bootstrap por el valor de la estadística en los datos: no es así como funciona el bootstrapping. En cambio, al comparar la media de bootstrap con la estadística de datos obtenemos información sobre el sesgo de la estadística. Esto se puede usar para ajustar la estadística original para eliminar el sesgo. Como tal, la estimación corregida por sesgo se convierte así en una combinación algebraica de la estadística original y la media de arranque. Para obtener más información, busque "BCa" (bootstrap acelerado y con corrección de sesgos) y "ABC". Wikipedia proporciona algunas referencias.

— whuber
fuente

¿Quiere decir que la expectativa de la media de arranque es igual a la media de los datos, no? La media de arranque en sí misma no está determinada por la muestra de datos (original).

— capybaralet

@ user2429920 La media de bootstrap es una estadística determinada por la muestra. En este sentido, es idéntico a la media muestral. Su expectativa se toma en el sentido de la distribución muestral. Sospecho que podría estar usando "expectativa" en un sentido diferente en relación con el proceso de calcular el promedio de arranque mediante submuestreo repetido con reemplazo.

— whuber

Creo que el último párrafo es la respuesta real a esta pregunta, ya que es general y no se centra solo en la estadística media. Tenía la misma duda que tenía el OP, y no estaba al tanto de la existencia de BCa. Aunque la demostración en esta respuesta no me ayudó mucho (no estoy usando la media como mi estadística), el último párrafo fue muy claro sobre el quid de la cuestión. Creo que la respuesta de Xi'an también aborda el caso en el que se usa la estadística media, por lo que el mismo problema. ¡Gracias!

— Gabriel

@Gabriel buenos puntos. Revisé el registro: antes de editar, esta pregunta originalmente solo preguntaba sobre la media. Es por eso que las respuestas parecen estar tan centradas en esa estadística.

— whuber

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$

{\bar{X}}_{n}

$\bar{X}_ n$

— Xi'an
fuente

+1 Esta es la respuesta que originalmente quería escribir, pero temía que pudiera ser demasiado opaca para algunos lectores. Sin embargo, me alegra verlo tan elegantemente presentado. Sin embargo, no estoy seguro de lo que quiere decir en su última oración, donde parece diferenciar la "expectativa" de la aproximación simulada a la media de su "límite": dado que la expectativa es constante (no varía con el tamaño de la simulación) ), realmente no hay ningún límite que tomar.

— whuber

@whuber: ¡Gracias por el comentario y perdón por escribir mi breve respuesta exactamente al mismo tiempo que la tuya! Sus explicaciones son ciertamente más legibles para los novatos en bootstrap. Corregí la oración final, cuya parte limitante es la ley de los grandes números.

— Xi'an

¡Su uso de "malo" en esa última oración es bastante ambiguo! Lo descubrí por tu pista LLN. Para cualquier simulación finita de la distribución bootstrap, cada muestra en la simulación produce su propia media (hay un significado de "media"). El promedio de todas esas muestras en una simulación dada produce una media de simulación (hay otro significado). La media de simulación converge a una constante a medida que el tamaño de la simulación crece, que es la media de arranque (un tercer significado), y esto es igual a la media de la muestra (el cuarto significado). (Y esto estima la media de la población - ¡un quinto significado!)

— whuber