Familia exponencial: estadísticas suficientes observadas versus esperadas

Mi pregunta surge de la lectura de Minka "Estimación de una distribución de Dirichlet" , que establece lo siguiente sin pruebas en el contexto de derivar un estimador de máxima verosimilitud para una distribución de Dirichlet basado en observaciones de vectores aleatorios:

Como siempre con la familia exponencial, cuando el gradiente es cero, las estadísticas suficientes esperadas son iguales a las estadísticas suficientes observadas.

No he visto la estimación de máxima verosimilitud en la familia exponencial presentada de esta manera, ni he encontrado ninguna explicación adecuada en mi búsqueda. ¿Alguien puede ofrecer una idea de la relación entre las estadísticas suficientes observadas y esperadas, y tal vez ayudar a comprender la estimación de máxima verosimilitud como minimizar su diferencia?

— Ben Bray
fuente

Esta es una afirmación habitual sobre la familia exponencial, pero en mi opinión, la mayoría de las veces se afirma de una manera que puede confundir al lector menos experimentado. Debido a que, tomado al pie de la letra, podría interpretarse como "si nuestra variable aleatoria sigue una distribución en la familia exponencial, entonces si tomamos una muestra y la insertamos en la estadística suficiente, obtendremos el verdadero valor esperado de la estadística ". Si solo fuera así ... Más sobre esto no tiene en cuenta el tamaño de la muestra, lo que puede causar más confusión.

La función de densidad exponencial es

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

donde es la estadística suficiente. $T(x)$

Como esta es una densidad, tiene que integrarse a la unidad, entonces ( es el soporte de ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Eq. cumple para all para que podamos diferenciar ambos lados con respecto a él: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Intercambiando el orden de diferenciación e integración, obtenemos

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Realizando la diferenciación que tenemos

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

Al insertar en obtenemos $(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

Ahora preguntamos: el lado izquierdo de es un número real. Entonces, el lado derecho también debe ser un número real y no una función . Por lo tanto, debe evaluarse en un específico , y debe ser el "verdadero" , de lo contrario en el lado izquierdo no tendríamos el verdadero valor esperado de . Para enfatizar esto, denotamos el valor verdadero por , y reescribimos como $(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

Pasamos ahora a la estimación de máxima verosimilitud . La probabilidad de registro para una muestra de tamaño es $n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

Al establecer su derivada con respecto a igual a , obtenemos el MLE $\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

Compare con . Los lados derechos no son iguales, ya que no podemos argumentar que el estimador MLE golpeó el valor verdadero. Entonces tampoco lo son los lados izquierdos. Pero recuerda que la ecuación. cumple para todos y también para también. Entonces los pasos en la ecuación. se pueden tomar con respecto a y así podemos escribir eq. para : $(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

que, combinado con , nos lleva a la relación válida $(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

que es lo que realmente dice la afirmación bajo examen: el valor esperado de la estadística suficiente bajo el MLE para los parámetros desconocidos (en otras palabras, el valor del primer momento bruto de la distribución que obtendremos si usamos en lugar de ), es igual (y no solo se aproxima por) el promedio de la estadística suficiente calculada a partir de la muestra . $\hat \theta(x)$ $\theta$ $\mathbf x$

Además, solo si el tamaño de la muestra es entonces podríamos decir con precisión, "el valor esperado de la estadística suficiente bajo el MLE es igual a la estadística suficiente". $n=1$

— Alecos Papadopoulos
fuente

¿Podría explicarnos por qué la transición de 6a a 6b es válida, por favor?

— Theoden

@Theoden entre eq. y que escribo "eq sostiene para todos " - y por lo tanto para también. Entonces todos los pasos en la ecuación. se pueden tomar con respecto a . Repetí esta observación en el texto para mayor claridad.

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

— Alecos Papadopoulos

@AlecosPapadopoulos, su prueba a continuación parece sugerir que lo que usted dice al principio: "si nuestra variable aleatoria sigue una distribución en la familia exponencial, entonces si tomamos una muestra y la insertamos en la estadística suficiente, obtendremos el verdadero valor esperado de la estadística "es cierto. Quiero decir que siempre puedo hacer eso para (2), reemplazándolo con estadísticas suficientes observadas y obtener el resultado. ¿Que me estoy perdiendo aqui? No lo entiendo del todo.

— user10024395

@ user136266 El verdadero valor esperado de la estadística es , y para ser calculado, uno necesita conocer, por diseño desconocido, el parámetro . Entonces, lo que realmente podemos calcular es que es el valor esperado de la estadística bajo el supuesto de que nuestra estimación puntual ha alcanzado el valor verdadero .

6 a

$6a$

θ

$\theta$

6 b

$6b$

— Alecos Papadopoulos

¿Podría explicar por qué podemos intercambiar el orden de diferenciación e integración en la ecuación? (3) por favor?

— Markus777