¿Existe un estimador imparcial de la distancia de Hellinger entre dos distribuciones?

En un entorno donde se observa distribuido desde una distribución con densidad , me pregunto si hay un estimador imparcial (basado en 's) de la distancia de Hellinger a otra distribución con densidad , a saber, $X_1,\ldots,X_n$ $f$ $X_i$ $f_0$

H (f, f_{0}) = {1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x}^{1 / 2} .

$\mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} \sqrt{f(x)f_0(x)} \text{d}x \right\}^{1/2}\,.$

— Xi'an
fuente

Entonces f0 es conocido y fijo. Pero, ¿se conoce o proviene de una familia paramétrica o está haciendo esto en un marco no paramétrico con todo lo que sabe acerca de si proviene de su muestra? Creo que hace la diferencia al intentar una respuesta.

— Michael R. Chernick

@MichaelChernick: suponga que todo lo que sabe sobre es la muestra .

f

$f$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— Xi'an

No creo que se haya calculado (si existe). Si existe, entonces AIC tiene un hermano perdido.

Un ataque a este problema parece factible si asume que y son discretos. Esto lleva a un estimador obvio (calcule la distancia de Hellinger entre el FED y ). Bootstrapping (en teoría, ¡no a través de la simulación!) Nos dará una idea del posible sesgo, así como una forma de reducir (o incluso eliminar) el sesgo. Espero tener éxito con la distancia al cuadrado en lugar de la distancia en sí, porque es matemáticamente más manejable. El supuesto de una discreta no es un problema en las aplicaciones; el espacio de discreto es un subconjunto denso de todos modos.

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

f

$f$

f

$f$

— whuber

Me viene a la mente la prueba de Rosenblatt de que no existe un estimador imparcial de buena fe de . ¿Podemos superar eso y obtener un estimador no obsesionado de ? No lo sé.

f

$f$

H (f, f_{0})

$H(f,f_0)$

— Zen

Respuestas:

No existe un estimador imparcial de o de para de cualquier clase de distribución no paramétrica razonablemente amplia. $\mathfrak{H}$ $\mathfrak{H}^2$ $f$

Podemos mostrar esto con el argumento maravillosamente simple de

Bickel y Lehmann (1969). Estimación imparcial en familias convexas . Los Anales de Estadística Matemática, 40 (5) 1523-1535. ( proyecto euclid )

algunas distribuciones , y , con las densidades correspondientes , y . Deje denotan , y dejar que ser alguna estimador de sobre la base de muestras iid . $F_0$ $F$ $G$ $f_0$ $f$ $g$ $H(F)$ $\mathfrak{H}(f, f_0)$ $\hat H(\mathbf X)$ $H(F)$ $n$ $X_i \sim F$

Suponga que es imparcial para muestras de cualquier distribución de la forma Pero luego para que debe ser un polinomio en $\hat H$

M_{α} := α F + (1 - α) G .

$M_\alpha := \alpha F + (1 - \alpha) G .$

\begin{aligned} Q (α) & = H (M_{α}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) d M_{α} (x_{1}) \dots d M_{α} (x_{n}) \\ = \int_{x_{1}} \dots \int_{x_{n}} \hat{H} (X) [α d F (x_{1}) + (1 - α) d G (x_{1})] \dots [α d F (x_{n}) + (1 - α) d G (x_{n})] \\ = α^{n} E_{X \sim F^{n}} [\hat{H} (X)] + \dots + (1 - α)^{n} E_{X \sim G^{n}} [\hat{H} (X)], \end{aligned}

$\begin{align} Q(\alpha) &= H(M_\alpha) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \,\mathrm{d}M_\alpha(x_1) \cdots\mathrm{d}M_\alpha(x_n) \\&= \int_{x_1} \cdots \int_{x_n} \hat H(\mathbf X) \left[ \alpha \mathrm{d}F(x_1) + (1-\alpha) \mathrm{d}G(x_1) \right] \cdots \left[ \alpha \mathrm{d}F(x_n) + (1-\alpha) \mathrm{d}G(x_n) \right] \\&= \alpha^n \operatorname{\mathbb{E}}_{\mathbf X \sim F^n}[ \hat H(\mathbf X)] + \dots + (1 - \alpha)^n \operatorname{\mathbb{E}}_{\mathbf X \sim G^n}[ \hat H(\mathbf X)] ,\end{align}$

Q (α)

$Q(\alpha)$

α

$\alpha$ de grado como máximo .

n

$n$

Ahora, especializémonos en un caso razonable y demostremos que la correspondiente $Q$ no es polinómica.

Supongamos que es una distribución que tiene densidad constante en : para todos . (Su comportamiento fuera de ese rango no importa). Sea una distribución admitida solo en , y alguna distribución admitida solo en . $F_0$ $[-1, 1]$ $f_0(x) = c$ $\lvert x \rvert \le 1$ $F$ $[-1, 0]$ $G$ $[0, 1]$

Ahora dondee igualmente para. Tenga en cuenta que,para cualquier distribución,que tenga una densidad.

\begin{aligned} Q (α) & = H (m_{α}, f_{0}) \\ = \sqrt{1 - \int_{R} \sqrt{m_{α} (x) f_{0} (x)} d x} \\ = \sqrt{1 - \int_{- 1}^{0} \sqrt{c α f (x)} d x - \int_{0}^{1} \sqrt{c (1 - α) g (x)} d x} \\ = \sqrt{1 - \sqrt{α} B_{F} - \sqrt{1 - α} B_{G}}, \end{aligned}

$\begin{align} Q(\alpha) &= \mathfrak{H}(m_\alpha, f_0) \\&= \sqrt{1 - \int_{\mathbb R} \sqrt{m_\alpha(x) f_0(x)} \mathrm{d}x} \\&= \sqrt{1 - \int_{-1}^0 \sqrt{c \, \alpha f(x)} \mathrm{d}x - \int_{0}^1 \sqrt{c \, (1 - \alpha) g(x)} \mathrm{d}x} \\&= \sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G} ,\end{align}$

B_{F} := \int_{R} \sqrt{f (x) f_{0} (x)} d x

$B_F := \int_{\mathbb R} \sqrt{f(x) f_0(x)} \mathrm{d}x$

B_{G}

$B_G$

B_{F} > 0

$B_F > 0$

B_{G} > 0

$B_G > 0$

F

$F$

G

$G$

$\sqrt{1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G}$ no es un polinomio de ningún grado finito. Por lo tanto, ningún estimador puede ser imparcial para en todas las distribuciones con muchas muestras finitas. $\hat H$ $\mathfrak{H}$ $M_\alpha$

Del mismo modo, debido a que tampoco es un polinomio, no hay un estimador para que sea imparcial en todas las distribuciones con finitamente muchas muestras. $1 - \sqrt{\alpha} B_F - \sqrt{1 - \alpha} B_G$ $\mathfrak{H}^2$ $M_\alpha$

Esto excluye prácticamente todas las clases de distribuciones no paramétricas razonables, excepto aquellas con densidades limitadas a continuación (una suposición que a veces hacen análisis no paramétricos). Probablemente podrías matar esas clases también con un argumento similar simplemente haciendo constantes las densidades o algo así.

— Dougal
fuente

No sé cómo construir (si existe) un estimador imparcial de la distancia Hellinger. Parece posible construir un estimador consistente. Tenemos una densidad fija conocida , y una muestra aleatoria de una densidad . Queremos estimar donde . Por el SLLN, sabemos que casi seguro, como $f_0$ $X_1,\dots,X_n$ $f>0$

H (f, f_{0}) = \sqrt{1 - \int_{X} \sqrt{f (x) f_{0} (x)} d x} = \sqrt{1 - \int_{X} \sqrt{\frac{f_{0} (x)}{f (x)}} f (x) d x}

$H(f,f_0) = \sqrt{1 - \int_\mathscr{X} \sqrt{f(x)f_0(x)}\,dx} = \sqrt{1 - \int_\mathscr{X} \sqrt{\frac{f_0(x)}{f(x)}}\;\;f(x)\,dx}$

= \sqrt{1 - E [\sqrt{\frac{f_{0} (X)}{f (X)}}]},

$= \sqrt{1 - \mathbb{E}\left[\sqrt{\frac{f_0(X)}{f(X)}}\;\;\right] }\, ,$

X \sim f

$X\sim f$

\sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{f (X_{i})}}} \to H (f, f_{0}),

$\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{f(X_i)}}} \quad \rightarrow H(f,f_0) \, ,$

n \to \infty

$n\to\infty$ . Por lo tanto, una forma razonable de estimar sería tomar un estimador de densidad (como un estimador de densidad de núcleo tradicional) de , y calcular

H (f, f_{0})

$H(f,f_0)$

\hat{f_{n}}

$\hat{f_n}$

f

$f$

\hat{H} = \sqrt{1 - \frac{1}{n} \sum_{i = 1}^{n} \sqrt{\frac{f_{0} (X_{i})}{\hat{f_{n}} (X_{i})}}} .

$\hat{H}=\sqrt{1 - \frac{1}{n} \sum_{i=1}^n \sqrt{\frac{f_0(X_i)}{\hat{f_n}(X_i)}}} \, .$

— zen
fuente

@ Zen: Buen punto! Considero esta respuesta como la respuesta porque me hizo darme cuenta de que suena muy parecido a una desviación estándar, para la cual no existe un estimador imparcial. En cuanto a la varianza de , no se preocupe: implica que este estimador tiene una varianza finita.

H

$H$

{\hat{H}}_{n}^{2}

$\hat H^2_n$

E [(\sqrt{f_{0} (X) / f (X)})^{2}] = 1

$\mathbb{E}[(\sqrt{f_0(X)/f(X)})^2]=1$

— Xi'an

¡Gracias por la aclaración sobre la varianza del estimador, Xi'an!

— Zen

Algunos trabajan en otros estimadores consistentes: (a) arxiv.org/abs/1707.03083 y trabajos relacionados basados en estimadores de densidad -NN; (b) arxiv.org/abs/1402.2966 basado en la corrección de las estimaciones de densidad del núcleo; (c) ieeexplore.ieee.org/document/5605355 basado en una conexión a la clasificación. (Muchos de estos se basan en muestras de y , porque ese es el trabajo que conocía sobre la mano, pero creo que hay variantes para conocido .)

k

$k$

f

$f$

f_{0}

$f_0$

f_{0}

$f_0$

— Dougal