Suposiciones con respecto a las estimaciones de incertidumbre de bootstrap

62

Aprecio la utilidad de la rutina de arranque para obtener estimaciones de incertidumbre, pero una cosa que siempre me ha molestado es que la distribución correspondiente a esas estimaciones es la distribución definida por la muestra. En general, parece una mala idea creer que nuestras frecuencias de muestra se ven exactamente como la distribución subyacente, entonces, ¿por qué es sólido / aceptable derivar estimaciones de incertidumbre basadas en una distribución donde las frecuencias de muestra definen la distribución subyacente?

Por otro lado, esto puede no ser peor (posiblemente mejor) que otros supuestos de distribución que solemos hacer, pero aún así me gustaría entender un poco mejor la justificación.

bootstrap uncertainty

— usuario4733
fuente

3

Hay varias preguntas relacionadas que tal vez desee analizar. Algunos se enumeran en el margen lateral de esta página. Aquí hay uno sobre cuándo falla el bootstrap y qué significa que falle.

— cardenal

55

Hay varias formas en que uno puede aplicar el bootstrap. Los dos enfoques más básicos son lo que se considera el bootstrap "no paramétrico" y "paramétrico". El segundo supone que el modelo que está utilizando es (esencialmente) correcto.

Centrémonos en el primero. Asumiremos que tiene una muestra aleatoria distribuida de acuerdo con la función de distribución $X_1, X_2, \ldots, X_n$ . (Suponiendo que de otro modo requiere enfoques modificados.) Sea será la función de distribución acumulativa empírica. Gran parte de la motivación para el arranque proviene de un par de hechos. $F$ $\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Desigualdad Dvoretzky – Kiefer – Wolfowitz

P (sup_{x \in R} | {\hat{F}}_{n} (x) - F (x) | > ε) \leq 2 e^{- 2 n ε^{2}} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr\big( \textstyle\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| > \varepsilon \big) \leq 2 e^{-2n \varepsilon^2} \> .$

Lo que esto muestra es que la función de distribución empírica converge uniformemente con la función de distribución verdadera exponencialmente rápida en probabilidad. De hecho, esta desigualdad junto con el lema de Borel-Cantelli muestra de inmediato que casi seguro. $\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

No hay condiciones adicionales en la forma de para garantizar esta convergencia. $F$

Heurísticamente, entonces, si estamos interesados en alguna de la función de distribución que sea suave , entonces esperamos que esté cerca de . $T(F)$ $T(\hat{F}_n)$ $T(F)$

(Puntiagudo) imparcialidad de $\hat{F}_n(x)$

Por simple linealidad de expectativa y la definición de , para cada , $\hat{F}_n(x)$ $x \in \mathbb{R}$

E_{F} {\hat{F}}_{n} (x) = F (x) .

$\newcommand{\e}{\mathbb{E}} \e_F \hat{F}_n(x) = F(x) \>.$

Supongamos que estamos interesados en la media . Entonces, la imparcialidad de la medida empírica se extiende a la imparcialidad de los funcionales lineales de la medida empírica. Entonces, $\mu = T(F)$

E_{F} T ({\hat{F}}_{n}) = E_{F} {\bar{X}}_{n} = μ = T (F) .

$\e_F T(\hat{F}_n) = \e_F \bar{X}_n = \mu = T(F) \> .$

Entonces es correcto en promedio y dado que se acerca rápidamente a , entonces (heurísticamente), se acerca rápidamente a . $T(\hat{F}_n)$ $\hat{F_n}$ $F$ $T(\hat{F}_n)$ $T(F)$

Para construir un intervalo de confianza ( que es, esencialmente, de qué se trata el bootstrap ), podemos usar el teorema del límite central, la consistencia de los cuantiles empíricos y el método delta como herramientas para pasar de funciones lineales simples a estadísticas de interés más complicadas. .

Buenas referencias son

B. Efron, métodos Bootstrap: Otra mirada a la navaja , Ann. Stat. vol. 7, no. 1, 1–26.
B. Efron y R. Tibshirani, Introducción a Bootstrap , Chapman – Hall, 1994.
GA Young y RL Smith, Fundamentos de la inferencia estadística , Cambridge University Press, 2005, Capítulo 11 .
AW van der Vaart, Estadísticas asintóticas , Cambridge University Press, 1998, Capítulo 23 .
P. Bickel y D. Freedman, Alguna teoría asintótica para el bootstrap . Ana. Stat. vol. 9, no. 6 (1981), 1196-1217.

— cardenal
fuente

Muy bien, @cardinal (+1).

Explicación clara, se dan referencias, excelente respuesta.

— vesszabo

solo pensando, la condición de que es una "muestra aleatoria" de es en realidad un lugar donde las cosas se descomponen. Por ejemplo, usando una muestra de una población de Facebook. Si quieres inferir sobre los usuarios de Facebook, bootstrap funcionará. Si desea inferir sobre la población general, bootstrap no ayudará aquí, porque la que converge no es la distribución de intereses.

X_{i}

$X_i$

F

$F$

F (x)

$F(x)$

— probabilidadislogica

12

Aquí hay un enfoque diferente para pensarlo:

Comience con la teoría donde conocemos la distribución verdadera, podemos descubrir propiedades de las estadísticas de muestra simulando a partir de la distribución verdadera. Así es como Gosset desarrolló la distribución t y la prueba t, tomando muestras de las normales conocidas y calculando la estadística. Esta es en realidad una forma de arranque paramétrico. Tenga en cuenta que estamos simulando para descubrir el comportamiento de las estadísticas (a veces en relación con los parámetros).

Ahora, qué pasa si no conocemos la distribución de la población, tenemos una estimación de la distribución en la distribución empírica y podemos tomar muestras de eso. Al tomar muestras de la distribución empírica (que se conoce) podemos ver la relación entre las muestras de bootstrap y la distribución empírica (la población para la muestra de bootstrap). Ahora inferimos que la relación de las muestras de bootstrap con la distribución empírica es la misma que la de la muestra con la población desconocida. Por supuesto, qué tan bien se traduce esta relación dependerá de cuán representativa sea la muestra de la población.

Recuerde que no estamos usando las medias de las muestras de bootstrap para estimar la media de la población, usamos la media de la muestra para eso (o cualquiera que sea la estadística de interés). Pero estamos utilizando las muestras de bootstrap para estimar las propiedades (propagación, sesgo) del proceso de muestreo. Y usar el muestreo de una población conocida (que esperamos sea representativa de la población de interés) para conocer los efectos del muestreo tiene sentido y es mucho menos circular.

— Greg Snow
fuente

8

El principal truco (y aguijón) de bootstrapping es que es una teoría asintótica: si para empezar tiene una muestra infinita, la distribución empírica estará tan cerca de la distribución real que la diferencia es insignificante.

Desafortunadamente, el bootstrapping a menudo se aplica en tamaños de muestra pequeños. La sensación común es que el bootstrapping ha demostrado funcionar en algunas situaciones muy no asintóticas, pero tenga cuidado de todos modos. Si su tamaño de muestra es demasiado pequeño, de hecho está trabajando condicionalmente para que su muestra sea una 'buena representación' de la distribución verdadera, lo que lleva muy fácilmente al razonamiento en círculos :-)

— Nick Sabbe
fuente

eso es lo que pensé, pero hay algo circular en este razonamiento. No soy un estadístico, pero mi sensación era que la inferencia estadística funciona cuando sus estimadores convergen rápidamente, por lo que incluso si su muestra no ha convergido en la distribución, sus inferencias son sólidas. En este caso, confiamos en que toda la distribución empricial converja a la distribución real. Tal vez hay teoremas que dicen que algunas estimaciones de bootstrap convergen rápidamente, pero generalmente veo el bootstrapping aplicado sin apelar a tales teoremas.

— user4733

44

El aparente razonamiento circular es por qué fue apodado el bootstrap. Se sentía como si la gente intentara levantarse con sus propias botas. Más tarde, Efron demostró que realmente funcionaba.

— Greg Snow

Si el tamaño de la muestra es realmente pequeño, necesita mucha confianza en cualquier método que use ...

— kjetil b halvorsen

5

Yo diría que no desde la perspectiva de "asintóticamente, la distribución empírica estará cerca de la distribución real" (que, por supuesto, es muy cierto), sino desde una "perspectiva a largo plazo". En otras palabras, en cualquier caso particular, la distribución empírica derivada por bootstrapping estará apagado (a veces desplazado demasiado lejos esta manera, a veces desplazado demasiado lejos de esa manera, a veces demasiado sesgada de esta manera, a veces demasiado sesgada de esa manera), pero en promedio se será una buena aproximación a la distribución real. Del mismo modo, sus estimaciones de incertidumbre derivadas de la distribución bootstrap estarán desactivadas en cualquier caso particular, pero nuevamente, en promedio, estarán (aproximadamente) en lo correcto.

— Wolfgang
fuente