¿Cuál es la diferencia entre un estimador consistente y un estimador imparcial?

125

Estoy realmente sorprendido de que nadie parece haber preguntado esto ya ...

Cuando se discuten los estimadores, dos términos utilizados con frecuencia son "consistente" e "imparcial". Mi pregunta es simple: ¿cuál es la diferencia?

Las definiciones técnicas precisas de estos términos son bastante complicadas y es difícil tener una idea intuitiva de lo que significan . Puedo imaginar un buen estimador y un mal estimador, pero tengo problemas para ver cómo cualquier estimador podría satisfacer una condición y no la otra.

unbiased-estimator estimators consistency

— Orquídea matemática
fuente

¿Has mirado la primera figura en el artículo de Wikipedia sobre estimadores consistentes , que explica específicamente esta distinción?

— whuber

He leído los artículos por coherencia y sesgo, pero todavía no entiendo la distinción. (La cifra a la que hace referencia afirma que el estimador es consistente pero sesgado, pero no explica por qué .)

— MathematicalOrchid

¿Con qué parte de la explicación necesitas ayuda? El subtítulo señala que cada uno de los estimadores en la secuencia está sesgado y también explica por qué la secuencia es consistente. ¿Necesita una explicación de cómo el sesgo en estos estimadores es evidente a partir de la figura?

— whuber

+1 El hilo de comentarios que sigue a una de estas respuestas es muy esclarecedor, tanto por lo que revela sobre el tema como por ser un ejemplo interesante de cómo una comunidad en línea puede trabajar para exponer y rectificar conceptos erróneos.

— whuber

Relacionado: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Respuestas:

126

Para definir los dos términos sin usar demasiado lenguaje técnico:

Un estimador es consistente si, a medida que aumenta el tamaño de la muestra, las estimaciones (producidas por el estimador) "convergen" con el valor verdadero del parámetro que se estima. Para ser un poco más precisos, la consistencia significa que, a medida que aumenta el tamaño de la muestra, la distribución muestral del estimador se concentra cada vez más en el verdadero valor del parámetro.
Un estimador es imparcial si, en promedio, alcanza el valor del parámetro verdadero. Es decir, la media de la distribución de muestreo del estimador es igual al valor del parámetro verdadero.
Los dos no son equivalentes: la imparcialidad es una declaración sobre el valor esperado de la distribución muestral del estimador. La consistencia es una declaración sobre "hacia dónde va la distribución de muestreo del estimador" a medida que aumenta el tamaño de la muestra.

Ciertamente es posible que se satisfaga una condición pero no la otra; daré dos ejemplos. Para ambos ejemplos considerar una muestra de de una población . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Imparcial pero no consistente: suponga que está estimando . Entonces es un estimador imparcial de ya que . Pero, no es consistente ya que su distribución no se concentra más alrededor de medida que aumenta el tamaño de la muestra: ¡siempre es ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Consistente pero no imparcial: suponga que está estimando . El estimador de probabilidad máxima es $\sigma^2$ donde es la media muestral. Es un hecho que
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ que se puede derivar usando la informaciónaquí. Por lo tantoes empujado para cualquier tamaño de la muestra finita. También podemos derivar fácilmente que $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ A partir de estos hechos podemos ver de manera informal que la distribución dees cada vez más concentrada ena medida que aumenta el tamaño de la muestra ya que la media está convergiendo ay la varianza converge a. (Nota:Esto constituye una prueba de coherencia, utilizando el mismo argumento que el utilizado en la respuestaaquí) $v una r ({\hat{σ}}^{2}) = \frac{2 σ^{4 4} (norte - 1)}{{norte}^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ $\sigma^2$ $\sigma^2$ $0$

— Macro
fuente

(+1) Sin embargo, no todos los MLE son consistentes: el resultado general es que existe una subsecuencia consistente en la secuencia de MLE. Para una coherencia adecuada, se necesitan algunos requisitos adicionales, por ejemplo, identificabilidad. Se encuentran ejemplos de MLE que no son consistentes en ciertos modelos de errores en variables (donde el "máximo" resulta ser un punto de referencia).

— MånsT

Bueno, los ELE MLE que mencioné quizás no sean buenos ejemplos, ya que la función de probabilidad es ilimitada y no existe un máximo. Sin embargo, son buenos ejemplos de cómo el enfoque de ML puede fallar :) Lamento no poder dar un enlace relevante en este momento, estoy de vacaciones.

— MånsT

Gracias @ MånsT. Las condiciones necesarias se detallaron en el enlace, pero eso no estaba claro en la redacción.

— Macro

σ^{2}

$\sigma^2$

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

La consistencia de un estimador significa que a medida que el tamaño de la muestra aumenta, la estimación se acerca cada vez más al valor real del parámetro. La imparcialidad es una propiedad de muestra finita que no se ve afectada por el aumento del tamaño de la muestra. Una estimación es imparcial si su valor esperado es igual al valor del parámetro verdadero. Esto será cierto para todos los tamaños de muestra y es exacto, mientras que la consistencia es asintótica y solo es aproximadamente igual y no exacta.

$n$

Actualización después de la discusión en los comentarios con @cardinal y @Macro: Como se describe a continuación, aparentemente hay casos patológicos en los que la varianza no tiene que ir a 0 para que el estimador sea muy consistente y el sesgo ni siquiera tiene que ir a 0 tampoco.

— Michael Chernick
fuente

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

n

$n$

Michael, el cuerpo de tu respuesta es bastante bueno; Creo que la confusión fue introducida por su primer comentario, que lleva con dos declaraciones que son claramente falsas y posibles puntos de confusión. (De hecho, muchos estudiantes se alejan de una clase introductoria de estadística de posgrado con precisamente estos conceptos erróneos debido a una mala delineación entre los diferentes modos de convergencia y su significado. Su último comentario podría considerarse un poco duro.)

— cardenal

Desafortunadamente, las dos primeras oraciones en su primer comentario y todo el segundo comentario son falsas. Pero, me temo que no es fructífero intentar convencerlo aún más de estos hechos.

— cardenal

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$

-5

Consistencia: muy bien explicado antes [a medida que aumenta el tamaño de la muestra, las estimaciones (producidas por el estimador) "convergen" con el valor verdadero del parámetro que se estima]

Imparcialidad: satisface los supuestos de 1-5 MLR conocidos como el teorema de Gauss-Markov

linealidad
muestreo aleatorio
expectativa de error medio condicional cero
sin colinealidad perfecta
homoscedasticidad

Entonces se dice que el estimador es AZUL (el mejor estimador imparcial lineal

— Nikolina Langura
fuente