Estimador imparcial de exponencial de medida de un conjunto?

Supongamos que tenemos un conjunto (medible y adecuadamente bien comportado) , donde es compacto. Además, supongamos que podemos extraer muestras de la distribución uniforme sobre wrt la medida de Lebesgue y que conocemos la medida . Por ejemplo, tal vez es una caja que contiene . $S\subseteq B\subset\mathbb R^n$ $B$ $B$ $\lambda(\cdot)$ $\lambda(B)$ $B$ $[-c,c]^n$ $S$

Para fijo , ¿hay una manera simple e imparcial de estimar al muestrear uniformemente los puntos en y verificar si están dentro o fuera de ? $\alpha\in\mathbb R$ $e^{-\alpha \lambda(S)}$ $B$ $S$

Como ejemplo de algo que no funciona del todo, supongamos que muestreamos puntos . Entonces podemos usar la estimación de Monte Carlo Pero, mientras es un estimador imparcial de , no creo que sea el caso que sea un estimador imparcial de . ¿Hay alguna forma de modificar este algoritmo? $k$ $p_1,\ldots,p_k\sim\textrm{Uniform}(B)$

λ (S) \approx \hat{λ} := \frac{# {p_{i} \in S}}{k} λ (B) .

$\lambda(S)\approx \hat\lambda:= \frac{\#\{p_i\in S\}}{k}\lambda(B).$

\hat{λ}

$\hat\lambda$

λ (S)

$\lambda(S)$

e^{- α \hat{λ}}

$e^{-\alpha\hat\lambda}$

e^{- α λ (S)}

$e^{-\alpha\lambda(S)}$

— Justin Solomon
fuente

Respuestas:

Suponga que tiene los siguientes recursos disponibles:

Tiene acceso a un estimador . $\hat{\lambda}$
$\hat{\lambda}$ es imparcial para . $\lambda ( S )$
$\hat{\lambda}$ es casi seguro acotado superiormente por . $C$
Conoces la constante , y $C$
Puede realizar realizaciones independientes de tantas veces como desee. $\hat{\lambda}$

Ahora, tenga en cuenta que para cualquier , se cumple lo siguiente (por la expansión de Taylor de ): $u > 0$ $\exp x$

\begin{aligned} e^{- α λ (S)} & = e^{- α C} \cdot e^{α (C - λ (S))} \\ = e^{- α C} \cdot \sum_{k ⩾ 0} \frac{{(α [C - λ (S)])}^{k}}{k!} \\ = e^{- α C} \cdot e^{u} \cdot \sum_{k ⩾ 0} \frac{e^{- u} \cdot {(α [C - λ (S)])}^{k}}{k!} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \end{aligned}

$\begin{align} e^{-\alpha \lambda ( S ) } &= e^{-\alpha C} \cdot e^{\alpha \left( C - \lambda ( S ) \right)} \\ &= e^{- \alpha C} \cdot \sum_{k \geqslant 0} \frac{ \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{- \alpha C} \cdot e^u \cdot \sum_{k \geqslant 0} \frac{ e^{-u} \cdot \left( \alpha \left[ C - \lambda ( S ) \right] \right)^k}{ k! } \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \end{align}$

Ahora, haga lo siguiente:

Muestra . $K \sim \text{Poisson} ( u )$
Forme como estimadores imparciales de . $\hat{\lambda}_1, \cdots, \hat{\lambda}_K$ $\lambda(S)$
Devuelve el estimador

\hat{Λ} = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \cdot \prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} .

$\hat{\Lambda} = e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \cdot \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\}.$

$\hat{\Lambda}$ es entonces un estimador no negativo e imparcial de . Esto es porque $\lambda(S)$

\begin{aligned} E [\hat{Λ} | K] & = e^{u - α C} \cdot {(\frac{α}{u})}^{K} E [\prod_{i = 1}^{K} {C - {\hat{λ}}_{i}} | K] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} E [C - {\hat{λ}}_{i}] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} \prod_{i = 1}^{K} [C - λ (S)] \\ = e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} | K \right] &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \mathbf{E} \left[ \prod_{i = 1}^K \left\{ C - \hat{\lambda}_i \right\} | K \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \mathbf{E} \left[ C - \hat{\lambda}_i \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \prod_{i = 1}^K \left[ C - \lambda ( S ) \right] \\ &= e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \end{align}$

y por lo tanto

\begin{aligned} E [\hat{Λ}] & = E_{K} [E [\hat{Λ} | K]] \\ = E_{K} [e^{u - α C} \cdot {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K}] \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} P (K = k) {(\frac{α}{u})}^{K} {[C - λ (S)]}^{K} \\ = e^{u - α C} \cdot \sum_{k ⩾ 0} \frac{u^{k} e^{- u}}{k!} {(\frac{α [C - λ (S)]}{u})}^{k} \\ = e^{- α λ (S)} \end{aligned}

$\begin{align} \mathbf{E} \left[ \hat{\Lambda} \right] &= \mathbf{E}_K \left[ \mathbf{E} \left[ \hat{\Lambda} | K \right] \right] \\ &= \mathbf{E}_K \left[ e^{u -\alpha C} \cdot \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \right] \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \mathbf{P} ( K = k ) \left(\frac{ \alpha }{u} \right)^K \left[ C - \lambda ( S ) \right]^K \\ &= e^{u -\alpha C} \cdot \sum_{k \geqslant 0} \frac{ u^k e^{-u} }{ k! } \left(\frac{ \alpha \left[ C - \lambda ( S ) \right]}{u} \right)^k \\ &= e^{-\alpha \lambda ( S ) } \end{align}$

por el cálculo anterior.

— πr8
fuente

¡Interesante! ¿El estimador de descrito en la pregunta no funciona aquí, ya que está limitado anteriormente por ? Además, ¿cómo es que esto no contradice la respuesta de @whuber a continuación? ¿Hay un argumento fácil por qué esto es imparcial? Perdón por muchas preguntas, mi teoría de la probabilidad es débil :-)

\hat{λ}

$\hat\lambda$

λ (B) < \infty

$\lambda(B)<\infty$

— Justin Solomon

El estimador que describe funciona, ya que sabe . Creo que esto no contradice la otra respuesta debido a la suposición ; dado el acceso finito a estimadores imparciales, no creo que esta construcción funcione. La imparcialidad se produce al comparar la expectativa de con la serie de poder anterior; Lo aclararé en la respuesta.

λ (B)

$\lambda (B)$

5

$5$

\hat{Λ}

$\hat{\Lambda}$

— πr8

¿Está seguro de que puede intercambiar el producto y las expectativas en la segunda línea de la prueba de imparcialidad?

— jbowman

Parece que está bien porque están calculados con iid, ¿verdad?

— Justin Solomon el

+1 Creo que este es un ejemplo interesante e instructivo. Tiene éxito al no hacer una suposición implícita en mi respuesta: que el tamaño de la muestra está especificado o al menos limitado.

— whuber

La respuesta es negativa.

Una estadística suficiente para una muestra uniforme es el recuento de puntos que se observan en Este recuento tiene una distribución Binomial . Escriba y $X$ $S.$ $(n,\lambda(S)/\lambda(B))$ $p=\lambda(S)/\lambda(B)$ $\alpha^\prime = \alpha\lambda(B).$

Para un tamaño de muestra de deje ser cualquier estimador (no aleatorizado) de La expectativa es $n,$ $t_n$ $\exp(-\alpha \lambda(S)) = \exp(-(\alpha\lambda(B)) p) = \exp(-\alpha^\prime p).$

E [t_{n} (X)] = \sum_{x = 0}^{n} (\binom{n}{x}) p^{x} (1 - p)^{n - x} t_{n} (x),

$E[t_n(X)] = \sum_{x=0}^n \binom{n}{x}p^x (1-p)^{n-x}\, t_n(x),$

que es igual a un polinomio de grado como máximo en Pero si la exponencial no puede expresarse como un polinomio en (Una prueba: tome derivadas. El resultado para la expectativa será cero pero la derivada de la exponencial, que en sí misma es exponencial en no puede ser cero). $n$ $p.$ $\alpha^\prime p \ne 0,$ $\exp(-\alpha^\prime p)$ $p.$ $n+1$ $p,$

La demostración para estimadores aleatorios es casi la misma: al tomar las expectativas, nuevamente obtenemos un polinomio en $p.$

En consecuencia, no existe un estimador imparcial.

— whuber
fuente

Ah, eso es una decepción! Gracias por la buena prueba. Pero, la serie de Taylor para converge bastante rápido --- ¿tal vez hay un estimador "aproximadamente imparcial" por ahí? No estoy seguro de lo que eso significa (no soy un gran estadístico :-))

\exp (t)

$\exp(t)$

— Justin Solomon

¿Qué tan rápido, exactamente? La respuesta depende del valor de y ahí radica su problema, porque no sabe cuál es ese valor. Solo sabe que se encuentra entre y Puede usar eso para establecer un límite en el sesgo si lo desea.

α^{'} p

$\alpha^\prime p$

0

$0$

α .

$\alpha.$

— whuber

En mi solicitud espero para ocupar una gran parte de . Me gustaría utilizar este valor en una relación de aceptación Metropolis-Hastings pseudo-marginal, no estoy seguro si ese método puede manejar incluso niveles controlables de sesgo ...

S

$S$

B

$B$

— Justin Salomón

Por cierto, ¡realmente agradecería tus pensamientos sobre la otra respuesta a esta pregunta!

— Justin Solomon