¿Es posible tener un estimador imparcial y acotado?

Tengo un parámetro que se encuentra entre . Digamos que puedo ejecutar un experimento y obtener , donde es un gaussiano estándar. Lo que necesito es una estimación de que es 1) imparcial 2) casi seguramente acotada. El requisito (2) es crucial para mí. $\theta$ $[0,1]$ $\hat{\theta} = \theta + w$ $w$ $\theta$

Lo natural es construir un nuevo estimador estableciendo en si está por encima de y en si está por debajo de . Pero entonces el estimador no será imparcial. ¿Entonces qué debo hacer? $\hat{\theta}$ $1$ $1$ $0$ $0$

Formalmente, la pregunta es si existe una función tal que satisfaga (1) y (2) arriba. Además, ¿la situación sería diferente si obtuviera más de una muestra? $f: \mathbb{R} \rightarrow \mathbb{R}$ $f(\hat \theta)$

— yves
fuente

¿Puedes decir más sobre tu situación? No soy un estadístico matemático, pero esto me parece muy abstracto. Me recuerda a la regresión logística, donde el parámetro debe estar en y , pero la distribución de muestreo de no es gaussiana. (Por supuesto, es, pero eso no está limitado por .) ¿Hay algo de eso relacionado con su situación? FWIW, sospecho que no podrá encontrar una función como desea (es decir, que está acotada), b / c no está acotada. (Con disculpas, puedo eliminar este comentario si es necesario.)

π

$\pi$

(0, 1)

$(0,1)$

E [\hat{π}] = π

$E[\hat\pi]=\pi$

\hat{π}

$\hat\pi$

logit (\hat{π})

$\text{logit}(\hat\pi)$

(0, 1)

$(0,1)$

R

$\mathbb R$

— gung - Restablecer Monica

Estoy de acuerdo en que lo más probable es que no exista tal función , incluso si expandimos la condición para recolectar múltiples muestras. Sin embargo, si ese es el caso, todavía estaría interesado en ver una prueba de que tal función no existe.

f

$f$

— yves

La expresion

\hat{θ} = θ + w

$\hat{\theta} = \theta + w$ Es una expresión teórica a la que generalmente se llega al intentar determinar las propiedades del estimador, la imparcialidad en este caso. Pero esta no es la forma funcional real del estimador, porque contiene el parámetro desconocido

θ

$\theta$ . Para explorar significativamente su pregunta, necesitamos la expresión de

\hat{θ}

$\hat \theta$ en función de los datos. Esto no se puede responder en general.

— Alecos Papadopoulos

¡Tengo la misma pregunta! Más precisamente, la pregunta es si existe

- \infty < a < b < \infty

$-\infty< a < b < \infty$ y una función medible

f : R \to [a, b]

$f : \mathbb{R} \to [a,b]$ tal que

\forall μ \in [0, 1] \underset{X \leftarrow N (μ, 1)}{E} [f (X)] = μ .

$\forall \mu \in [0,1] ~~~~~ \underset{X \leftarrow \mathcal{N}(\mu,1)}{\mathbb{E}}[ f(X) ] = \mu.$ Creo que la respuesta es no, pero estoy buscando una prueba de que no

f

$f$ existe

— Thomas

Presentaré las condiciones bajo las cuales un estimador imparcial permanece imparcial, incluso después de que esté limitado. Pero no estoy seguro de que sean algo interesante o útil.

Deje un estimador $\hat \theta$ del parámetro desconocido $\theta$ de una distribución continua, y $E(\hat \theta) =\theta$ .

Suponga que, por algunas razones, bajo muestreo repetido queremos que el estimador produzca estimaciones que oscilan en $[\delta_l,\delta_u]$ . Asumimos que $\theta \in [\delta_l,\delta_u]$ y así podemos escribir cuando sea conveniente el intervalo como $[\theta-a,\theta+b]$ con $\{a,b\}$ números positivos pero por supuesto desconocidos.

Entonces el estimador restringido es

{\hat{θ}}_{c} = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$\hat \theta_c = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$

y su valor esperado es

\begin{aligned} E ({\hat{θ}}_{c}) & = δ_{l} \cdot P [\hat{θ} \leq δ_{l}] \\ + E (\hat{θ} ∣ δ_{l} \leq \hat{θ} \leq δ_{u}) \cdot P [δ_{l} \leq \hat{θ} \leq δ_{u}] \\ + δ_{u} \cdot P [\hat{θ} > δ_{u}] \end{aligned}

$\begin{align} E(\hat \theta_c) &= \delta_l\cdot P[\hat \theta \leq \delta_l] \\&+ E(\hat \theta \mid \delta_l \leq\hat \theta \leq\delta_u )\cdot P[\delta_l \leq\hat \theta \leq \delta_u] \\ &+\delta_u\cdot P[\hat \theta > \delta_u]\end{align}$

Definir ahora las funciones del indicador

I_{l} = I (\hat{θ} \leq δ_{l}), I_{m} = I (δ_{l} \leq \hat{θ} \leq δ_{l}), I_{u} = I (\hat{θ} > δ_{u})

$I_l = I(\hat \theta \leq \delta_l),\;\; I_m = I(\delta_l\leq \hat \theta \leq \delta_l),\;\; I_u = I(\hat \theta > \delta_u)$

y tenga en cuenta que

\begin{matrix} (1) & I_{l} + I_{u} = 1 - I_{m} \end{matrix}

$I_l + I_u = 1- I_m \tag{1}$

usando estas funciones indicadoras e integrales, podemos escribir el valor esperado del estimador restringido como ( $f(\hat \theta)$ es la función de densidad de $\hat \theta$ ),

E ({\hat{θ}}_{c}) = \int_{- \infty}^{\infty} δ_{l} f (\hat{θ}) I_{l} d \hat{θ} + \int_{- \infty}^{\infty} \hat{θ} f (\hat{θ}) I_{m} d \hat{θ} + \int_{- \infty}^{\infty} δ_{u} f (\hat{θ}) I_{u} d \hat{θ}

$E(\hat \theta_c) = \int_{-\infty}^{\infty}\delta_lf(\hat \theta)I_ld\hat \theta + \int_{-\infty}^{\infty}\hat \theta f(\hat \theta)I_md\hat \theta + \int_{-\infty}^{\infty} \delta_uf(\hat \theta)I_ud\hat \theta$

= \int_{- \infty}^{\infty} f (\hat{θ}) [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] d \hat{θ}

$=\int_{-\infty}^{\infty}f(\hat \theta)\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big]d\hat \theta$

\begin{matrix} (2) & = E [δ_{l} I_{l} + \hat{θ} I_{m} + δ_{u} I_{u}] \end{matrix}

$=E\Big[\delta_lI_l + \hat \theta I_m + \delta_uI_u\Big] \tag{2}$

Descomponiendo el límite superior e inferior, tenemos

E ({\hat{θ}}_{c}) = E [(θ - a) I_{l} + \hat{θ} I_{m} + (θ + b) I_{u}]

$E(\hat \theta_c) = E\Big[(\theta-a)I_l + \hat \theta I_m + (\theta+b)I_u\Big]$

= E [θ \cdot (I_{l} + I_{u}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$=E\Big[\theta\cdot(I_l+I_u) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

y usando $(1)$ ,

= E [θ \cdot (1 - I_{m}) + \hat{θ} I_{m}] - a E (I_{l}) + b E (I_{u})

$= E\Big[\theta\cdot(1-I_m) + \hat \theta I_m\Big] -aE(I_l)+bE(I_u)$

\begin{matrix} (3) & \Rightarrow E ({\hat{θ}}_{c}) = θ + E [(\hat{θ} - θ) I_{m}] - a E (I_{l}) + b E (I_{u}) \end{matrix}

$\Rightarrow E(\hat \theta_c) = \theta +E\big[(\hat \theta -\theta)I_m\big]-aE(I_l)+bE(I_u) \tag {3}$

Ahora desde $E(\hat \theta) = \theta$ tenemos

E [(\hat{θ} - θ) I_{m}] = E (\hat{θ} I_{m}) - E (\hat{θ}) E (I_{m})

$E\big[(\hat \theta -\theta)I_m\big] = E\big(\hat \theta I_m\big) - E(\hat \theta)E(I_m)$

Pero

E (\hat{θ} I_{m}) = E (\hat{θ} I_{m} ∣ I_{m} = 1) E (I_{m}) = E (\hat{θ}) E (I_{m})

$E\big(\hat \theta I_m\big) = E\big(\hat \theta I_m\mid I_m=1\big)E(I_m) = E\big(\hat \theta \big)E(I_m)$

Por lo tanto, $E\big[(\hat \theta -\theta)I_m\big] =0$ y entonces

\begin{matrix} (4) & \begin{aligned} E ({\hat{θ}}_{c}) & = θ - a E (I_{l}) + b E (I_{u}) \\ = θ - a P (\hat{θ} \leq δ_{l}) + b P (\hat{θ} > δ_{u}) \end{aligned} \end{matrix}

$\begin{align} E(\hat \theta_c) &= \theta -aE(I_l)+bE(I_u) \\ &= \theta -aP(\hat \theta \leq \delta_l)+bP(\hat \theta > \delta_u)\end{align}\tag {4}$

o alternativamente

\begin{matrix} (4a) & E ({\hat{θ}}_{c}) = θ - (θ - δ_{l}) P (\hat{θ} \leq δ_{l}) + (δ_{u} - θ) P (\hat{θ} > δ_{u}) \end{matrix}

$E(\hat \theta_c) = \theta -(\theta-\delta_l)P(\hat \theta \leq \delta_l)+(\delta_u-\theta)P(\hat \theta > \delta_u)\tag {4a}$

Por lo tanto de $(4)$ , we see that for the constrained estimator to also be unbiased, we must have

\begin{matrix} (5) & a P (\hat{θ} \leq δ_{l}) = b P (\hat{θ} > δ_{u}) \end{matrix}

$aP(\hat \theta \leq \delta_l) = bP(\hat \theta > \delta_u) \tag {5}$

What is the problem with condition $(5)$ ? It involves the unknown numbers $\{a,b\}$ , so in practice we will not be able to actually determine an interval to bound the estimator and keep it unbiased.

But let's say this is some controlled simulation experiment, where we want to investigate other properties of estimators, given unbiasedness. Then we can "neutralize" $a$ and $b$ by setting $a=b$ , which essentially creates a symmetric interval around the value of $\theta$ ... In this case, to achieve unbiasedness, we must more over have $P(\hat \theta \leq \delta_l) = P(\hat \theta > \delta_u)$ , i.e. we must have that the probability mass of the unconstrained estimator is equal to the left and to the right of the (symmetric around $\theta$ ) interval...

...and so we learn that (as sufficient conditions), if the distribution of the unconstrained estimator is symmetric around the true value, then the estimator constrained in an interval symmetric around the true value will also be unbiased... but this is almost trivially evident or intuitive, isn't it?

It becomes a little more interesting, if we realize that the necessary and sufficient condition (given a symmetric interval) a) does not require a symmetric distribution, only equal probability mass "in the tails" (and this in turn does not imply that the distribution of the mass in each tail has to be identical) and b) permits that inside the interval, the estimator's density can have any non-symmetric shape that is consistent with maintaining unbiasedness -it will still make the constrained estimator unbiased.

APPLICATION: The OP's case
Our estimator is $\hat \theta = \theta + w,\;\; w \sim N(0,1)$ and so $\hat \theta \sim N(\theta,1)$ . Then, using $(4)$ while writing $a,b$ in terms of $\theta, \delta$ , we have, for bounding interval $[0,1]$ ,

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} \leq 0) + (1 - θ) P (\hat{θ} > 1)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta \leq 0) +(1-\theta)P(\hat \theta > 1)$

The distribution is symmetric around $\theta$ . Transforming ( $\Phi()$ is the standard normal CDF)

E [{\hat{θ}}_{c}] = θ - θ P (\hat{θ} - θ \leq - θ) + (1 - θ) P (\hat{θ} - θ > 1 - θ)

$E[\hat \theta_c] = \theta -\theta P(\hat \theta-\theta \leq -\theta) +(1-\theta)P(\hat \theta -\theta > 1-\theta)$

= θ - θ Φ (- θ) + (1 - θ) [1 - Φ (1 - θ)]

$=\theta -\theta \Phi(-\theta) +(1-\theta)[1-\Phi(1-\theta)]$

One can verify that the additional terms cancel off only if $\theta =1/2$ , namely, only if the bounding interval is also symmetric around $\theta$ .

— Alecos Papadopoulos
fuente

I don't think this answers the question. You're analyzing truncation. The question is not "Does truncation work?", but rather "Is there an alternative to truncation that does work?". OP seems to be aware that truncation does not work.

— Thomas

@Thomas The OP asks (last sentence of the OP's post) whether we can have a bounded estimator that it is also unbiased. I present first a general treatment of the matter and then an application directly on the OP's premises. I don't understand why this "does not answer the question".

— Alecos Papadopoulos

You are assuming a specific functional form for the estimator, namely

f (\hat{θ}) = {\begin{matrix} δ_{l} & \hat{θ} < δ_{l} \\ \hat{θ} & δ_{l} \leq \hat{θ} \leq δ_{u} \\ δ_{u} & δ_{u} < \hat{θ} \end{matrix}}

$f(\hat \theta) = \left\{\begin{matrix} \delta_l & \hat \theta <\delta_l\\\hat \theta &\delta_l \leq \hat \theta \leq \delta_u \\\delta_u & \delta_u < \hat \theta \end{matrix} \right\}$ for some

δ_{l}, δ_{u} \in R

$\delta_l,\delta_u \in \mathbb{R}$ . My interpretation is that the question asks about any bounded estimator

f

$f$ , not just estimators with this functional form. For example,

f (\hat{θ}) = \sin (\hat{θ})

$f(\hat \theta) = \sin(\hat \theta)$ would be a bounded estimator (not a useful one though).

— Thomas

(I'm commenting on this years-old question because I have the same question. In particular, the question I'm interested in is for arbitrary bounded estimators.)

— Thomas

@Thomas True that my explorations does not treat boundedness in its outmost generality. True also that once you compose the estimator with a non-linear function, in general it must be on its own biased, as a necessary condition for the transformation to be unbiased.

— Alecos Papadopoulos