¿Hay algún ejemplo donde MLE produce una estimación sesgada de la media?

17

¿Puede proporcionar un ejemplo de un estimador MLE de la media que está sesgada?

No estoy buscando un ejemplo que rompa los estimadores de MLE en general al violar las condiciones de regularidad.

Todos los ejemplos que puedo ver en Internet se refieren a la variación, y parece que no puedo encontrar nada relacionado con la media.

EDITAR

@MichaelHardy proporcionó un ejemplo en el que obtenemos una estimación sesgada de la media de distribución uniforme usando MLE bajo cierto modelo propuesto.

sin embargo

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

sugiere que MLE es un estimador imparcial uniformemente mínimo de la media, claramente bajo otro modelo propuesto.

En este punto, todavía no está muy claro para mí qué se entiende por estimación de MLE si es muy hipotético dependiente del modelo en lugar de decir un estimador medio de muestra que es neutral para el modelo. Al final, estoy interesado en estimar algo sobre la población y realmente no me importa la estimación de un parámetro de un modelo hipotético.

EDITAR 2

Como @ChristophHanck mostró el modelo con información adicional introdujo sesgo pero no logró reducir el MSE.

También tenemos resultados adicionales:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (diapositiva 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (diapositiva 5)

"Si existe un estimador imparcial más eficiente ˆθ de θ (es decir, ˆθ es imparcial y su varianza es igual al CRLB), entonces el método de estimación de máxima verosimilitud lo producirá".

"Además, si existe un estimador eficiente, es el estimador ML".

Dado que el MLE con parámetros de modelo libres es imparcial y eficiente, por definición, ¿es este "el" Estimador de máxima verosimilitud?

EDITAR 3

@AlecosPapadopoulos tiene un ejemplo con distribución Half Normal en el foro de matemáticas.

/math/799954/can-the-maximum-likelihood-estimator-be-unlimited-and-fail-to-achieve-cramer-rao

No está anclando ninguno de sus parámetros como en el caso uniforme. Diría que eso lo resuelve, aunque no ha demostrado el sesgo del estimador medio.

maximum-likelihood mean bias

— Cagdas Ozgenc
fuente

10

La media de un uniforme en cero y theta.

— Christoph Hanck

1

No puedo seguir su distinción entre "estimar algo sobre la población" y "un parámetro de un modelo hipotético". En todas las estadísticas paramétricas, parametrizamos una población por algunos parámetros. Por supuesto, podemos encontrar problemas de especificación errónea, pero eso no parece ser relevante para el problema en cuestión.

— Christoph Hanck

55

Por ejemplo, que una población puede caracterizarse por sus parámetros / momentos, como la media y la varianza (que sería suficiente para una población normal, por ejemplo). Y: no creo que las personas sean más o menos pedantes con usted que con cualquier otra persona en este foro.

— Christoph Hanck

2

Si se siente descontento con el aparente juego de manos de cambiar entre "parámetro" y "media", permítame definir una cierta distribución no negativa en términos de su media , con densidad en su soporte de ...

μ

$\mu$

\frac{1}{2 μ}

$\frac{1}{2\mu}$

[0, 2 μ]

$[0, 2\mu]$

— Silverfish

1

Con respecto a su edición 2, muchos de estos resultados se derivan en condiciones de regularidad que no se satisfacen para el ejemplo uniforme discutido en este hilo, para el cual el espacio muestral depende del parámetro.

— Christoph Hanck

32

Christoph Hanck no ha publicado los detalles de su ejemplo propuesto. Supongo que se refiere a la distribución uniforme en el intervalo $[0,\theta],$ basada en una muestra iid $X_1,\ldots,X_n$ de tamaño mayor que $n=1.$

La media es $\theta/2$ .

$\max\{X_1,\ldots,X_n\}/2.$

Eso está sesgado ya que entonces $\Pr(\max < \theta) = 1,$ $\operatorname{E}({\max}/2)<\theta/2.$

PD: Quizás deberíamos tener en cuenta que el mejor estimador imparcial de la media no es la media de la muestra, sino que esLa media muestral es un pésimo estimador de porque para algunas muestras, la media muestral es menor que y es claramente imposible para ser menor quefin de PS $\theta/2$

\frac{n + 1}{2 n} \cdot max {X_{1}, \dots, X_{n}} .

$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$

θ / 2

$\theta/2$

\frac{1}{2} max {X_{1}, \dots, X_{n}},

$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$

θ / 2

$\theta/2$

max / 2.

${\max}/2.$

Sospecho que la distribución de Pareto es otro de esos casos. Aquí está la medida de probabilidad: El valor esperado esEl MLE del valor esperado es where

α {(\frac{κ}{x})}^{α} \frac{d x}{x} for x > κ .

$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$

\frac{α}{α - 1} κ .

$\dfrac \alpha {\alpha -1 } \kappa.$

\frac{n}{n - \sum_{i = 1}^{n} ((\log X_{i}) - \log (min))} \cdot min

$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$

min = min {X_{1}, \dots, X_{n}} .

$\min = \min\{X_1,\ldots,X_n\}.$

No he calculado el valor esperado del MLE para la media, así que no sé cuál es su sesgo.

— Michael Hardy
fuente

12

Cagdas, no es legítimo pedir un contraejemplo y luego negar que propondrías algo más. Es como pedir un ejemplo de una fruta que no es roja, que le muestren un arándano y luego decir que no cuenta porque no le gustan los arándanos.

— whuber

77

Eso no es relevante para la pregunta que hizo.

— whuber

8

@CagdasOzgenc: si el MLE está sesgado o no depende del modelo. No hay tal cosa como un MLE sin un modelo. Y si altera el modelo, altera el MLE.

— Michael Hardy

8

@CagdasOzgenc Aquí hay una pregunta socrática: ¿la media de la muestra es un estimador imparcial de qué? Necesita un modelo para tener un parámetro que estimar.

— Matthew Drury

9

La media de una muestra iid es un estimador imparcial de la media de la población, pero no se puede hablar de un estimador de máxima verosimilitud de nada sin más estructura de la necesaria para hablar de un estimador imparcial de algo.

— Michael Hardy

18

Aquí hay un ejemplo que creo que algunos pueden encontrar sorprendente:

En la regresión logística, para cualquier tamaño de muestra finita con resultados no deterministas (es decir, ), cualquier coeficiente de regresión estimado no solo está sesgado, sino que la media del coeficiente de regresión en realidad no está definida. $0 < p_{i} < 1$

Esto se debe a que para cualquier tamaño de muestra finita, hay una probabilidad positiva (aunque muy pequeña si el número de muestras es grande en comparación con el número de parámetros de regresión) de obtener una separación perfecta de los resultados. Cuando esto sucede, los coeficientes de regresión estimados serán o . Tener una probabilidad positiva de ser o implica que el valor esperado no está definido. $-\infty$ $\infty$ $-\infty$ $\infty$

Para más información sobre este tema en particular, vea el efecto Hauck-Donner .

— Acantilado
fuente

1

Esto es bastante inteligente. Me pregunto si el MLE de los coeficientes de regresión logística es condicional imparcial en la falta de pertinencia del efecto Hauck-Donner.

— gung

3

@gung: Respuesta corta: ignorando el efecto Hauck-Donner, todavía hay sesgo hacia arriba en los coeficientes de regresión absoluta (es decir, los coeficientes negativos tienen sesgo hacia abajo, los positivos tienen sesgo hacia arriba). Curiosamente, parece haber un sesgo hacia 0.5 en las probabilidades estimadas. Comencé a escribir sobre esto en esta publicación , pero no he presentado mis resultados sobre los sesgos de las probabilidades estimadas.

— Cliff AB

10

Aunque @MichaelHardy ha hecho el punto, aquí hay un argumento más detallado de por qué el MLE del máximo (y por lo tanto, el de la media , por invariancia) no es imparcial, aunque está en un modelo diferente ( ver la edición a continuación). $\theta/2$

Estimamos el límite superior de la distribución uniforme . Aquí, es el MLE, para una muestra aleatoria . Mostramos que no es imparcial. Su cdf es Por lo tanto, su densidad es Por lo tanto, $U[0,\theta]$ $y_{(n)}$ $y$ $y_{(n)}$

\begin{array}{rcl} F_{y_{(n)}} (x) & = & Pr {Y_{1} ⩽ x, \dots, Y_{n} ⩽ x} \\ = & Pr {Y_{1} ⩽ x}^{n} \\ = & {\begin{cases} 0 & for x < 0 \\ {(\frac{x}{θ})}^{n} & for 0 ⩽ x ⩽ θ \\ 1 & for x > θ \end{cases} \end{array}

$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$

f_{y_{(n)}} (x) = {\begin{cases} \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} & for 0 ⩽ x ⩽ θ \\ 0 & else \end{cases}

$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$

\begin{array}{rcl} E [Y_{(n)}] & = & \int_{0}^{θ} x \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} d x \\ = & \int_{0}^{θ} n {(\frac{x}{θ})}^{n} d x \\ = & \frac{n}{n + 1} θ \end{array}

$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$

EDITAR: De hecho, es el caso de que (ver la discusión en los comentarios) el MLE es imparcial para la media en el caso en que tanto el límite inferior como el límite superior son desconocidos. Entonces, el mínimo es el MLE para , con (detalles omitidos) el valor esperado mientras para que el MLE para sea con el valor esperado $a$ $b$ $Y_{(1)}$ $a$

E (Y_{(1)}) = \frac{n a + b}{n + 1}

$E(Y_{(1)})=\frac{na+b}{n+1}$

E (Y_{(n)}) = \frac{n b + a}{n + 1}

$E(Y_{(n)})=\frac{nb+a}{n+1}$

(a + b) / 2

$(a+b)/2$

\frac{Y_{(1)} + Y_{(n)}}{2}

$\frac{Y_{(1)}+Y_{(n)}}{2}$

E (\frac{Y_{(1)} + Y_{(n)}}{2}) = \frac{n a + b + n b + a}{2 (n + 1)} = \frac{a + b}{2}

$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$

EDITAR 2: Para elaborar sobre el punto de Henry, aquí hay una pequeña simulación para el MSE de los estimadores de la media, que muestra que si bien el MLE si no sabemos que el límite inferior es cero es imparcial, los MSE para las dos variantes son idénticos , lo que sugiere que el estimador que incorpora el conocimiento del límite inferior reduce la variabilidad.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

— Christoph Hanck
fuente

Porque Wikipedia está proponiendo un modelo diferente para empezar. Ahí es donde radica mi confusión.

— Cagdas Ozgenc

Sí, pero una vez que nos ajustamos al caso especial discutido aquí, a saber, , volvemos al cuadrado 1. En ese caso, ya no necesitamos el mínimo de muestra para la estimación, ya que sabemos que el límite inferior es cero, para que el MLE del punto medio (= mediana = media) simplemente se convierta nuevamente.

a = 0

$a=0$

(m a x + 0) / 2

$(max+0)/2$

— Christoph Hanck

2

No he elaborado los detalles, pero el MLE en ese modelo podría ser imparcial si el mínimo sobreestima el límite inferior en la misma cantidad que el máximo subestima el máximo, de modo que el punto medio se estima sin sesgo.

— Christoph Hanck

44

@CagdasOzgenc: la imparcialidad no es la única o incluso la medida más importante de mejor . Al conocer con precisión un extremo del soporte, puede perder el equilibrio entre los errores al estimar la media, pero termina con (por ejemplo) una mejor estimación del rango

— Henry

66

Los estimadores de máxima verosimilitud no siempre son "mejores" en todos los criterios para tamaños de muestra pequeños. ¿Y qué? Tampoco pretenden serlo. Si desea utilizar un estimador diferente para su problema que tenga mejores propiedades de acuerdo con algún criterio para los tamaños de muestra que se encuentran cerca del tamaño real de la muestra, puede hacerlo. Lo hago, y también lo hacen otras personas. Nadie afirma que usar MLE esté justificado en todas las situaciones solo porque es MLE.

— jbowman

5

Completando aquí la omisión en mi respuesta en math.se referenciada por el OP,

supongamos que tenemos una muestra iid de tamaño de variables aleatorias siguiendo la distribución Half Normal . La densidad y los momentos de esta distribución son $n$

f_{H} (x) = \sqrt{2 / π} \cdot \frac{1}{v^{1 / 2}} \cdot \exp {- \frac{x^{2}}{2 v}} E (X) = \sqrt{2 / π} \cdot v^{1 / 2} \equiv μ, Var (X) = (1 - \frac{2}{π}) v

$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$

El log-verosimilitud de la muestra es

L (v ∣ x) = n \ln \sqrt{2 / π} - \frac{n}{2} \ln v - \frac{1}{2 v} \sum_{i = 1}^{n} x_{i}^{2}

$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$

La primera derivada con respecto a es $v$

\frac{\partial}{\partial v} L (v ∣ x) = - \frac{n}{2 v} + \frac{1}{2 v^{2}} \sum_{i = 1}^{n} x_{i}^{2}, ⟹ {\hat{v}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}

$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$

entonces es un método de estimador de momentos. Es imparcial ya que,

E ({\hat{v}}_{MLE}) = E (X^{2}) = Var (X) + [E (X)])^{2} = (1 - \frac{2}{π}) v + \frac{2}{π} v = v

$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$

Pero , el estimador resultante para la media está sesgado hacia abajo debido a la desigualdad de Jensen

\begin{aligned} {\hat{μ}}_{MLE} = \sqrt{2 / π} \cdot \sqrt{{\hat{v}}_{MLE}} ⟹ & E ({\hat{μ}}_{MLE}) = \sqrt{2 / π} \cdot E (\sqrt{{\hat{v}}_{MLE}}) \\ < \sqrt{2 / π} \cdot [\sqrt{E ({\hat{v}}_{MLE})}] = \sqrt{2 / π} \cdot \sqrt{v} = μ \end{aligned}

$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$

— Alecos Papadopoulos
fuente

4

El famoso problema de Neyman Scott tiene un MLE inconsistente en el sentido de que nunca converge a lo correcto. Motiva el uso de la probabilidad condicional.

Tome . El MLE de es y de es $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$ $\mu_i$ $(X_i + Y_i)/2$ $\sigma^2$ conque ha esperado valory está sesgado por un factor de 2. $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ $\sigma^2/4$

— AdamO
fuente

2

Si bien este ejemplo es cierto, esto desafía una de las condiciones básicas de regularidad para los resultados asintóticos de los MLE: que

, donde

es el número de parámetros estimados

es el tamaño de la muestra.

k / n \to 0

$k / n \rightarrow 0$

k

$k$

n

$n$

— Cliff AB

1

@CliffAB, la violación de la suposición es que la dimensión paramétrica no es fija. La dimensión de

va a

como

. Creo que eso es lo que estás diciendo, pero no sé lo que significa

. La ilustración práctica de este ejemplo, por supuesto, es que estos resultados estarían sesgados incluso en muestras pequeñas y debe usar la probabilidad condicional, como un modelo de efectos mixtos, para estimar

en este caso.

Θ

$\Theta$

\infty

$\infty$

n \to \infty

$n \rightarrow \infty$

k

$k$

σ

$\sigma$

— AdamO

3

Hay un rango infinito de ejemplos para este fenómeno desde

el estimador de máxima verosimilitud de un biyectiva transformar de un parámetro es el biyectiva transformada del estimador de máxima verosimilitud de , ; $\Psi(\theta)$ $\theta$ $\theta$ $\Psi(\hat{\theta}_\text{MLE})$
la expectativa de la transformada de biyectiva el estimador de máxima verosimilitud de , , no es el biyectiva transformada de la expectativa del estimador de máxima verosimilitud, ; $\theta$ $\Psi(\hat{\theta}_\text{MLE})$ $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$
la mayoría de las transformaciones son expectativas de alguna transformación de los datos, , al menos para familias exponenciales, siempre que se les pueda aplicar una transformación inversa de Laplace. $\Psi(\theta)$ $\mathfrak{h}(X)$

— Xi'an
fuente