¿Cómo se explica lo que un estimador imparcial es para un laico?

10

Supongamos que es un estimador imparcial de . Entonces, por supuesto, . $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

¿Cómo se explica esto a un laico? En el pasado, lo que he dicho es que si promedias un montón de valores de , a medida que el tamaño de la muestra aumenta, obtienes una mejor aproximación de . $\hat{\theta}$ $\theta$

Para mí, esto es problemático. Creo que lo que realmente estoy describiendo aquí es este fenómeno de ser asintóticamente imparcial, en lugar de ser únicamente imparcial, es decir, donde probablemente depende de .

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

Entonces, ¿cómo se explica lo que un estimador imparcial es para un laico?

— Clarinetista
fuente

2

Es una forma de hacer una estimación correcta: por lo general, no es exactamente correcta, pero en general no produce sobreestimaciones con mayor frecuencia que subestima. Me doy cuenta de que esto hace que suene más como

θ

$\theta$ es la mediana de

\hat{θ}

$\hat \theta$ que como la media, pero creo que captura el punto esencial.

— jwimberley

3

Me gusta la broma de "tres estadísticos cazando" (una versión aquí ) para esto ...

— Ben Bolker

2

Su explicación es la Ley de los grandes números, no tiene nada que ver con la imparcialidad.

— Xi'an

@ Xi'an: Si el estimador estuviera sesgado, el límite no sería .

θ

$\theta$

— user2357112 es compatible con Monica el

@ user2357112: según tengo entendido (y el de otros, como lo muestran las respuestas hasta ahora), a medida que el tamaño de la muestra aumenta, significa medida que crece hasta el infinito, es decir, un estimador basado en observaciones. Ahora veo que la oración se puede interpretar de manera diferente.

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— Xi'an

14

Técnicamente, lo que está describiendo cuando dice que su estimador se acerca al valor verdadero a medida que crece el tamaño de la muestra es (como otros han mencionado) la consistencia o convergencia de los estimadores estadísticos. Esta convergencia puede ser convergencia en probabilidad, lo que dice que por cada , o casi convergencia segura que dice que . Observe cómo el límite está realmente dentro $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ La probabilidad en el segundo caso. Resulta que esta última forma de convergencia es más fuerte que la otra, pero ambas significan esencialmente lo mismo, y es que la estimación tiende a acercarse más y más a lo que estamos estimando a medida que recolectamos más muestras.

Un punto sutil aquí es que incluso cuando sea en probabilidad o casi con toda seguridad, es no cierto en general que , por lo que la coherencia no implica imparcialidad asintótica como usted sugiere. Debe tener cuidado al moverse entre secuencias de variables aleatorias (que son funciones) a secuencias de expectativas (que son integrales). $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

Dejando a un lado todas las cosas técnicas, imparcial solo significa que . Entonces, cuando se lo explique a alguien, simplemente diga que si el experimento se repitiera en condiciones idénticas muchas veces, el valor promedio de la estimación estaría cerca del valor verdadero. $\text{E}(\hat{\theta}_n) = \theta$

— dsaxton
fuente

55

Su visión del laico es bastante admirable. Él sabe lo que es "convergencia en probabilidad", "como convergencia", límites ... Es el hombre del futuro.

— Aksakal

2

No creo que un laico sepa alguna de estas cosas, estaba tratando de corregir algunos malentendidos en la publicación original. Mi sugerencia sobre cómo explicarle las cosas a un laico está en el último párrafo.

— dsaxton

ese último párrafo, sin embargo, enreda el concepto de sesgo con la consistencia de un estimador, que probablemente fue una de las confusiones de OP para comenzar.

— Aksakal

3

¿Cómo es eso? Repetir un experimento en condiciones idénticas significaría que el tamaño de la muestra es fijo, por lo que obviamente no estamos hablando de consistencia.

— dsaxton

1

Ok, tienes razón en eso, pero eso significa que estás trayendo una visión frecuenta de una probabilidad

— Aksakal

9

No estoy seguro si confundes consistencia e imparcialidad.

Consistencia: cuanto mayor es el tamaño de la muestra, menor es la varianza del estimador.

Depende del tamaño de la muestra

Imparcialidad: el valor esperado del estimador es igual al valor verdadero de los parámetros

No depende del tamaño de la muestra.

Entonces tu oración

si promedia un conjunto de valores de , a medida que el tamaño de la muestra aumenta, obtendrá una mejor aproximación de . $\hat\theta$ $\theta$

No es correcto. Incluso si el tamaño de la muestra se vuelve infinito, un estimador imparcial seguirá siendo un estimador imparcial, por ejemplo, si estima la media como "media +1", puede agregar mil millones de observaciones a su muestra y su estimador aún no le dará el valor verdadero.

Aquí puede encontrar una discusión más profunda sobre la diferencia entre consistencia e imparcialidad.

¿Cuál es la diferencia entre un estimador consistente y un estimador imparcial?

— Ferdi
fuente

2

En realidad, no sé nada sobre consistencia, pero gracias de todos modos.

— Clarinetista

1

@La consistencia clarinetista es quizás la propiedad más importante de un estimador, que con suficientes datos, se acercará arbitrariamente a la respuesta correcta.

— Matthew Gunn

7

@Ferdi ya proporcionó una respuesta clara a su pregunta, pero hagámoslo un poco más formal.

Deje sea su muestra de variables aleatorias independientes e idénticamente distribuidos de distribución . Está interesado en estimar una cantidad desconocida pero fija , utilizando el estimador como una función de . Como es una función de variables aleatorias, estimar $X_1,\dots,X_n$ $F$ $\theta$ $g$ $X_1,\dots,X_n$ $g$

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

También es una variable aleatoria. Definimos sesgo como

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

el estimador es imparcial cuando . $\mathbb{E}_\theta(\hat\theta_n) = \theta$

Diciéndolo en inglés simple: estamos tratando con variables aleatorias , por lo tanto, a menos que sea degenerado , si tomamos muestras diferentes, podríamos esperar observar datos diferentes y estimaciones tan diferentes. No obstante, podríamos esperar que en diferentes muestras "en promedio", estimado sería "correcto" si el estimador es imparcial. Por lo tanto, no siempre sería correcto, pero "en promedio" sería correcto. Simplemente no siempre puede ser "correcto" debido a la aleatoriedad asociada con los datos. $\hat\theta_n$

Como otros ya notaron, el hecho de que su estimación se "acerca" a la cantidad estimada a medida que su muestra crece, es decir, que converge en la probabilidad

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

tiene que ver con la consistencia de los estimadores , no con la imparcialidad. La imparcialidad por sí sola no nos dice nada sobre el tamaño de la muestra y su relación con las estimaciones obtenidas. Además, los estimadores imparciales no siempre están disponibles y no siempre son preferibles a los sesgados. Por ejemplo, después de considerar el equilibrio de sesgo-varianza , puede considerar usar un estimador con mayor sesgo, pero con una varianza menor, por lo que "en promedio" estaría más alejado del valor real, pero con mayor frecuencia (menor varianza) los estimados estar más cerca del valor verdadero, entonces en caso de estimador imparcial.

— Tim
fuente

(+1): muy buen punto de incluir el hecho de que rara vez hay estimadores imparciales disponibles. Y mencionando la oposición sesgo / varianza.

— Xi'an

2

Primero debe distinguir el sesgo de malentendido del sesgo estadístico, especialmente para una persona laica.

La elección de decir usando la mediana, la media o la moda como su estimador para el promedio de la población , a menudo contiene un sesgo de creencias de teoría política, religiosa o científica. El cálculo de qué estimador es la mejor forma de promedio es de un tipo diferente al aritmético que afecta el sesgo estadístico.

Una vez que haya superado el sesgo de selección del método, puede abordar los posibles sesgos en el método de estimación. Primero, debe elegir un método que pueda tener un sesgo y un mecanismo que conduzca fácilmente hacia ese sesgo.

Puede ser más fácil usar un punto de vista de dividir y conquistar donde se vuelve obvio a medida que el tamaño de la muestra se reduce, la estimación se vuelve claramente sesgada. Por ejemplo, el factor n-1 (vs factor 'n') en los estimadores de dispersión de muestra se vuelve obvio cuando n cae de 3 a 2 a 1.

Todo depende de cuán 'endecha' sea la persona.

— Philip Oakley
fuente

Me temo que puede estar hablando de diferentes tipos de sesgos que el de la pregunta. ¿Podrías intentar ser más específico sobre qué es el sesgo? Usted escribe sobre "posibles sesgos en el método de estimación" y esto no parece corresponder a la definición de sesgo (dada en la pregunta y las respuestas anteriores). Al final, esto hace que su respuesta sea confusa ...

— Tim

@Tim, el primer paso fue garantizar que se hayan cubierto los prejuicios humanos. El segundo paso fue (y sigue parcialmente los problemas del paso 1) para asegurarse de que la enseñanza de la persona laica no fuera ya ese método X (el imparcial) que debía elegirse. por ejemplo, la desviación estándar es 1 / n * sum ((x-mean) ^ 2), pero eso (cuidadosamente) no distingue entre población y muestra. A la mayoría de los "laicos" se les enseña la versión irreflexiva 1 / (N-1) para una muestra. Si solo tiene un método, usted (la persona laica) no tiene elección, por lo que el sesgo del estimador no puede ser un problema ... Es el paso de Kruger-Dunning.

— Philip Oakley