¿Cuál es la relación entre estimador y estimación?

¿Cuál es la relación entre estimador y estimación?

EL Lehmann, en su clásica Teoría de la estimación puntual , responde a esta pregunta en las páginas 1-2.

Ahora se postula que las observaciones son los valores tomados por variables aleatorias que se supone que siguen una distribución de probabilidad conjunta, , que pertenece a alguna clase conocida ...$P$

... especializémonos ahora en la estimación puntual ... supongamos que es una función de valor real definida [en la clase estipulada de distribuciones] y que nos gustaría saber el valor de [en cualquier distribución real en efecto, ]. Desafortunadamente, , y por lo tanto , es desconocido. Sin embargo, los datos se pueden usar para obtener una estimación de , un valor que se espera sea cercano a .g θ θ g ( θ ) g ( θ ) g ( θ $g$$g$$\theta$$\theta$$g(\theta)$$g(\theta)$$g(\theta)$

En palabras: un estimador es un procedimiento matemático definido que genera un número (la estimación ) para cualquier conjunto de datos posible que pueda producir un problema en particular. Ese número tiene la intención de representar alguna propiedad numérica definida ( ) del proceso de generación de datos; podríamos llamar a esto el "estimado".$g(\theta)$

El estimador en sí no es una variable aleatoria: es solo una función matemática. Sin embargo, la estimación que produce se basa en datos que se modelan como variables aleatorias. Esto convierte la estimación (considerada como dependiente de los datos) en una variable aleatoria y una estimación particular para un conjunto particular de datos se convierte en una realización de esa variable aleatoria.

En una formulación ordinaria de mínimos cuadrados (convencional), los datos consisten en pares ordenados . El experimentador ha determinado (por ejemplo, pueden ser cantidades de un fármaco administrado). Se cada (una respuesta al medicamento, por ejemplo) proviene de una distribución de probabilidad que es Normal pero con una media desconocida y una varianza común . Además, se supone que los medios están relacionados con mediante una fórmula . Estos tres parámetros: , yx i y i μ i σ 2 x i μ i = β 0 + β 1 x i σ β 0 β 1 y i x i ( σ , β 0 , β 1 ) β 0 β 1 cos ( σ + β 2 0 - β 1 ) $(x_i, y_i)$$x_i$$y_i$$\mu_i$$\sigma^2$$x_i$$\mu_i = \beta_0 + \beta_1 x_i$$\sigma$$\beta_0$$\beta_1$--determine la distribución subyacente de para cualquier valor de . Por lo tanto, cualquier propiedad de esa distribución puede considerarse como una función de . Ejemplos de tales propiedades son la intersección , la pendiente , el valor de , o incluso la media en el valor , que (de acuerdo con esta formulación ) debe ser .$y_i$$x_i$$(\sigma, \beta_0, \beta_1)$$\beta_0$$\beta_1$$\cos(\sigma + \beta_0^2 - \beta_1)$β 0 + 2 β $x=2$$\beta_0 + 2 \beta_1$

En este contexto OLS, un no ejemplo de un estimador sería un procedimiento para adivinar el valor de si fuera igual a 2. Esto no es un estimador porque este valor de es aleatorio (de una manera completamente separada de la aleatoriedad de los datos): no es una propiedad (numérica definida) de la distribución, aunque esté relacionada con esa distribución. (Sin embargo, como acabamos de ver , se puede estimar la expectativa de para , igual a ).x y y x = 2 β 0 + 2 β $y$$x$$y$$y$$x=2$$\beta_0 + 2 \beta_1$

En la formulación de Lehmann, casi cualquier fórmula puede ser un estimador de casi cualquier propiedad. No existe un vínculo matemático inherente entre un estimador y un estimado. Sin embargo, podemos evaluar, de antemano, la posibilidad de que un estimador esté razonablemente cerca de la cantidad que se pretende estimar. Las formas de hacer esto y cómo explotarlas son el tema de la teoría de la estimación.

En resumen: un estimador es una función y una estimación es un valor que resume una muestra observada.

Un estimador es una función que asigna una muestra aleatoria a la estimación del parámetro:

X1,X2,. . . ,Xn Θ ¯ X =

$$\hat{\Theta}=t(X_1,X_2,...,X_n)$$ Tenga en cuenta que un estimador de n variables aleatorias es una variable aleatoria . Por ejemplo, un estimador es la media muestral: Una estimación es el resultado de aplicar la función del estimador a una muestra observada en minúscula :$X_1,X_2,...,X_n$$\hat{\Theta}$ θ x1,x2,. . . ,x $$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$$ $\hat{\theta}$$x_1,x_2,...,x_n$

x1,x2,. . . ,Xn μ = ¯ x =

$$\hat{\theta}=t(x_1,x_2,...,x_n)$$ Por ejemplo, una estimación de la muestra observada es la media de la muestra: $x_1,x_2,...,x_n$ $$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$$

Puede ser útil ilustrar la respuesta de Whuber en el contexto de un modelo de regresión lineal. Supongamos que tiene algunos datos bivariados y utiliza mínimos cuadrados ordinarios para obtener el siguiente modelo:

Y = 6X + 1

En este punto, puede tomar cualquier valor de X, conectarlo al modelo y predecir el resultado, Y. En este sentido, puede pensar en los componentes individuales de la forma genérica del modelo ( mX + B ) como estimadores . Los datos de la muestra (que presumiblemente conectó en el modelo genérico para calcular los valores específicos para m y B anteriores) proporcionaron una base sobre la cual podría obtener estimaciones para m y B, respectivamente.

En consonancia con los puntos de @ whuber en nuestro hilo a continuación, cualquier valor de Y para el que te genere un conjunto particular de estimadores se considera, en el contexto de la regresión lineal, como valores pronosticados.

(editado varias veces para reflejar los comentarios a continuación)

Suponga que recibió algunos datos y tuvo alguna variable observada llamada theta. Ahora sus datos pueden ser de una distribución de datos, para esta distribución, hay un valor correspondiente de theta que deduce que es una variable aleatoria. Puede usar el MAP o la media para calcular la estimación de esta variable aleatoria siempre que cambie la distribución de sus datos. Entonces, la variable aleatoria theta se conoce como una estimación , un valor único de la variable no observada para un tipo particular de datos.

Mientras estimador son sus datos, que también es una variable aleatoria. Para diferentes tipos de distribuciones, tiene diferentes tipos de datos y, por lo tanto, tiene una estimación diferente y, por lo tanto, esta variable aleatoria correspondiente se llama estimador .