Derivación de la transformación de normalización para GLM

$\newcommand{\E}{\mathbb{E}}$ ¿Cómo es la transformación normalizadora $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$ para la familia exponencial ¿derivado?

Más específicamente : intenté seguir el boceto de expansión de Taylor en la página 3, diapositiva 1 aquí, pero tengo varias preguntas. Con $X$ de una familia exponencial, la transformación $h(X)$ y $\kappa _i$ denotando el acumulado $i^{th}$ , las diapositivas sostienen que:

$$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$$ y queda por encontrar simplemente $h(X)$ modo que lo anterior se evalúe a 0.

1. Mi primera pregunta es sobre aritmética: mi expansión Taylor tiene diferentes coeficientes, y no puedo justificar que hayan eliminado muchos de los términos.

   $$\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$$

   Puedo llegar a algo similar al reemplazar los momentos centrales por sus equivalentes acumulativos, pero aún así no cuadra.

2. La segunda pregunta: ¿por qué el análisis comienza con $\bar{X}$ lugar de $X$ , la cantidad que realmente nos importa?

Las diapositivas a las que enlaza son algo confusas, omiten pasos y hacen algunos errores tipográficos, pero en última instancia son correctas. Ayudará a responder la pregunta 2 primero, luego 1, y finalmente derivar la transformación simétrica .$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Pregunta 2. Estamos analizando ya que es la media de una muestra de tamaño de las variables aleatorias iid . Esta es una cantidad importante porque tomar muestras de la misma distribución y tomar la media ocurre todo el tiempo en la ciencia. Queremos saber qué tan cerca está de la verdadera media . El teorema del límite central dice que convergerá a como pero nos gustaría saber la varianza y asimetría de$\bar{X}$$N$$X_1, ..., X_N$$\bar{X}$$\mu$$\mu$$N \to \infty$$\bar{X}$ .

Pregunta 1. La aproximación de su serie Taylor no es incorrecta, pero debemos tener cuidado al hacer un seguimiento de vs. y las potencias de para llegar a la misma conclusión que las diapositivas. Comenzaremos con las definiciones de y los momentos centrales de y la fórmula para :$\bar{X}$$X_i$$N$$\bar{X}$$X_i$$\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

Ahora, los momentos centrales de :$\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

El último paso sigue desde , y . Puede que esta no haya sido la derivación más fácil de , pero es el mismo proceso que debemos hacer para encontrar y , donde separamos un producto de una suma y contamos el número de términos con potencias de diferentes variables. En el caso anterior, había términos que tenían la forma y términos de la forma .$\mathbb{E}[X_i - \mu] = 0$$\mathbb{E}[(X_i - \mu)^2] = \sigma^2$$V(\bar{X})$$\kappa_3(\bar{X})$$\kappa_3(h(\bar{X}))$$N$$(X_i - \mu)^2$$N(N-1)$$(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

A continuación, expandiremos en una serie de Taylor como usted tiene:$h(\bar{X})$

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

Con un poco más de esfuerzo, podría probar que el resto de los términos son . Finalmente, dado que , (que no es lo mismo que$O(N^{-3})$$\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$$\mathbb{E}[(h(\bar{X})-h(\mu))^3]$ ), nuevamente hacemos un cálculo similar:

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

Solo nos interesan los términos que dan como resultado el orden , y con un trabajo adicional puede demostrar que no necesita los términos " "o" "antes de tomar la tercera potencia, ya que solo darán como resultado el orden$O(N^{-2})$$O((\bar{X}-\mu)^3)$$- O(N^{-2})$$O(N^{-3})$ . Entonces, simplificando, obtenemos

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

Dejé algunos términos que obviamente eran en este producto. Tendrá que convencerse de que los términos y son también. Sin embargo,$O(N^{-3})$$\mathbb{E}[(\bar{X}-\mu)^5]$$\mathbb{E}[(\bar{X}-\mu)^6]$$O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

Luego distribuyendo la expectativa en nuestra ecuación para$\kappa_3(h(\bar{X}))$ , tenemos

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

Esto concluye la derivación de . Ahora, por fin, derivaremos la transformación simétrica .$\kappa_3(h(\bar{X}))$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

Para esta transformación, es importante que sea ​​de una distribución familiar exponencial, y en particular una familia exponencial natural (o se haya transformado en esta distribución), de la forma$X_i$$f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

En este caso, los acumulantes de la distribución están dados por . Entonces, , y . Podemos escribir el parámetro en función de simplemente tomando el inverso de , escribiendo$\kappa_k = b^{(k)}(\theta)$$\mu = b'(\theta)$$\sigma^2 = V(\theta) = b''(\theta)$$\kappa_3 = b'''(\theta)$$\theta$$\mu$$b'$$\theta(\mu) = (b')^{-1}(\mu)$ . Luego

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

A continuación, podemos escribir la varianza como una función de , y llamar a esta función :$\mu$$\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

Luego

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

Entonces, en función de , .$\mu$$\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

Ahora, para la transformación simétrica, queremos reducir el sesgo de haciendo para que sea . Por lo tanto, queremos$h(\bar{X})$$h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$$h(\bar{X})$$O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

Sustituyendo nuestras expresiones por y como funciones de , tenemos:$\sigma^2$$\kappa_3$$\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

Entonces , lo que lleva a .$h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$$\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

Una solución a esta ecuación diferencial es:

$h'(\mu)^3\bar{V}(\mu) = 1$ ,

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

Entonces, , para cualquier constante, . Esto nos da la transformación simétrica , donde es la varianza como una función de la media en una familia exponencial natural.$h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$$c$$A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$$V$

$\blacksquare$ 1. ¿ qué no puedo obtener el mismo resultado al aproximarme en términos de momentos no centrales y luego calcular los momentos centrales usando los momentos no centrales aproximados?$\mathbb{E}\bar{X}^k$$\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

Porque cambia la derivación arbitrariamente y elimina el término de residuo que es importante. Si no está familiarizado con la notación O grande y los resultados relevantes, una buena referencia es [Casella & Lehmann].

$$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$$

$$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$$

Pero incluso si no deja caer el residuo argumentando que siempre está haciendo (que no es legal ...), el siguiente paso: dice que$N\rightarrow \infty$

$$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$$ $$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$$

si esto aún no está claro, podemos ver que el álgebra de expandir el integrando funciona como

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

Dejar , ,$A=h'(x_0)(x-x_0)$$B=\frac{1}{2}h''(x_0)(x-x_0)^2$$C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

Su error es omitir el residuo antes de la expansión, que es un error "clásico" en la notación O grande y luego se convirtió en una crítica del uso de la notación O grande.

$\blacksquare$ 2. ¿Por qué el análisis comienza con lugar de$\bar{X}$$X$ , la cantidad que realmente nos importa?

Porque queremos basar nuestro análisis en las estadísticas suficientes del modelo exponencial que estamos introduciendo. Si tiene una muestra de tamaño 1, no hay diferencia si analiza con O$\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$$X_1$ .

Esta es una buena lección en notación O grande, aunque no es relevante para GLM ...

Referencia [Casella y Lehmann] Lehmann, Erich Leo y George Casella. Teoría de la estimación puntual. Springer Science & Business Media, 2006.