Determinante de la matriz de información de Fisher para un modelo sobreparamizado

Considere una variable aleatoria de Bernoulli con parámetro (probabilidad de éxito). La función de probabilidad y la información de Fisher (una matriz ) son: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Ahora considere una versión "sobre-parametrizada" con dos parámetros: la probabilidad de éxito $\theta_1$ y la probabilidad de falla $\theta_0$ . (Tenga en cuenta que $\theta_1+\theta_0=1$ , y esta restricción implica que uno de los parámetros es redundante). En este caso, la función de probabilidad y la matriz de información de Fisher (FIM) son:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Observe que los determinantes de estos dos FIM son idénticos. Además, esta propiedad se extiende al caso más general de modelos categóricos (es decir, más de dos estados). También parece extenderse a modelos log-lineales con varios subconjuntos de parámetros restringidos a cero; en este caso, el parámetro "redundante" adicional corresponde a la función de partición logarítmica, y la equivalencia de los dos determinantes de FIM puede mostrarse en función del complemento de Schur de la FIM más grande. (En realidad, para los modelos log-lineales, la FIM más pequeña es solo el complemento de Schur de la FIM más grande).

¿Alguien puede explicar si esta propiedad se extiende a un conjunto más grande de modelos paramétricos (por ejemplo, a todas las familias exponenciales), lo que permite la opción de derivar los determinantes FIM en función de un conjunto de parámetros "extendido"? Supongo que cualquier modelo estadístico dado con parámetros que se encuentran en una variedad dimensional incrustada en un espacio -dimensional. Ahora, si ampliamos el conjunto de parámetros para incluir una dimensión más (que está totalmente restringida en función de las otras) y calculamos los parámetros basados en FIM , siempre obtendremos el mismo determinante que el basado en el original parámetros (independientes)? Además, ¿cómo se relacionan estos dos FIM? $n$ $n$ $(n+1)$ $(n+1)$ $n$

La razón por la que hago esta pregunta es que la FIM con el parámetro adicional a menudo parece más simple. Mi primer pensamiento es que esto no debería funcionar en general. La FIM implica calcular derivadas parciales de la probabilidad de registro de cada parámetro. Estas derivadas parciales suponen que, mientras el parámetro en cuestión cambia, todos los demás parámetros permanecen constantes, lo que no es cierto una vez que involucramos el parámetro adicional (restringido). En este caso, me parece que las derivadas parciales ya no son válidas porque no podemos asumir que los otros parámetros son constantes; Sin embargo, aún no he encontrado evidencia de que esto sea realmente un problema. (Si las derivadas parciales son problemáticas en casos con parámetros dependientes, son derivadas totales $(n+1) \times (n+1)$ necesario en su lugar? Todavía no he visto un ejemplo de cálculo de la FIM con derivados totales, pero tal vez esa sea la solución ...)

El único ejemplo que pude encontrar en línea que computa el FIM basado en un conjunto de parámetros "extendido" es el siguiente: estas notas contienen un ejemplo para la distribución categórica, calculando las derivadas parciales requeridas como de costumbre (es decir, como si cada parámetro fuera independiente , a pesar de que hay una restricción entre los parámetros).

— Tyler Streeter
fuente

¡Buena pregunta! Creo que la especificación de dos parámetros de la variable aleatoria de Bernoulli es un ejemplo bastante desafortunado, porque sin la restricción, ya no está obligado a ser densidad. ¿Puedes reproducir tu observación para la familia exponencial curva, por ejemplo?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa Supongo que la restricción aplica en el caso de dos parámetros (el que mencionó), por lo que la función de probabilidad seguirá siendo una densidad válida. Además, sí, puedo reproducir esta observación, por ejemplo, para modelos log-lineales con varios subconjuntos de parámetros restringidos a cero; en este caso, el parámetro "redundante" corresponde a la función de partición de registro.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

¿Qué tal ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

Respuestas:

Para normal , la matriz de información es Para curva normalEntonces, su observación de que los determinantes son iguales no es universal, pero esa no es toda la historia. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

En general, si es la matriz de información bajo la reparametrización entonces, no es difícil ver que la matriz de información para los parámetros originales es donde es el jacobiano de la transformación . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Para el ejemplo de Bernoulli y . Entonces, el jacobiano es y por lo tanto $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Para el ejemplo normal curvo,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Creo que ahora puedes relacionar fácilmente los determinantes.

Seguimiento después del comentario

Si lo entendí correctamente, la FIM es válida siempre que extienda los parámetros de manera significativa: la probabilidad bajo una nueva parametrización debería ser una densidad válida. Por lo tanto, llamé al ejemplo de Bernoulli desafortunado.

Creo que el enlace que proporcionó tiene una falla grave en la derivación de la FIM para variables categóricas, ya que tenemos y . La expectativa del hessiano negativo da , pero no para la covarianza de los vectores de puntuación. Si descuida las restricciones, la igualdad de la matriz de información no se cumple. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
fuente

Gracias por mencionar el enfoque de transformación jacobiana y por los ejemplos simples y claros. ¿Puede usted (o cualquier otra persona) comentar sobre el siguiente problema que todavía me preocupa: al extender el conjunto de parámetros en una dimensión, como lo estamos haciendo aquí, introducimos una restricción entre los parámetros de modo que cualquier derivada parcial (como lo requiere la FIM) debería ser inválida porque ahora, cuando variamos un parámetro, los otros ya no son constantes. Entonces, ¿la FIM es válida incluso para el conjunto extendido de parámetros, dado que las derivadas parciales no son válidas debido a la restricción adicional?

— Tyler Streeter

@TylerStreeter He actualizado mi respuesta para abordar su problema.

— Khashaa

Parece que el resultado se cumple para un tipo específico de relación entre los parámetros.

Sin reclamar la generalidad de los resultados a continuación, me quedo con el caso de "uno a dos parámetros". Denote la ecuación implícita que expresa la relación que debe tener entre los dos parámetros. Luego, la probabilidad de registro "extendida correcta", "dos parámetros" (no es lo que calcula el OP-llegaremos allí) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ es equivalente a la probabilidad real , ya que , ( es un multiplicador) y podemos tratar los dos parámetros como independientes, mientras nos diferenciamos.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Usando subíndices para denotar derivadas con respecto a los parámetros (una primera derivada del subíndice, dos derivadas de la segunda derivada), el determinante de la arpillera de la probabilidad de registro extendida correcta será

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

¿Qué está haciendo el OP en su lugar?

Considera la probabilidad incorrecta "ignorando" la relación entre los dos parámetros, y sin tener en cuenta la restricción . Luego procede con la diferenciación y obtiene $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Es evidente que no es en general igual a . $(2)$ $(1)$

Pero si , entonces $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Entonces, si la relación entre el parámetro real y el parámetro redundante es tal que las segundas derivadas parciales de la función implícita que las vincula son todas cero , entonces el enfoque que es fundamentalmente incorrecto, termina "correcto".

Para el caso de Bernoulli, de hecho tenemos

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

APÉNDICE
Para responder a la pregunta de @Khashaa y mostrar la mecánica aquí, consideramos una probabilidad especificada con un parámetro redundante, pero también bajo una restricción que vincula el parámetro redundante con el verdadero. Lo que hacemos con log-verosimilitudes es maximizarlas, así que aquí tenemos un caso de maximización restringida. Suponga una muestra de tamaño : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Este problema tiene un Langrangeano (lo que informalmente llamé "probabilidad extendida correcta" arriba),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Las condiciones de primer orden para un máximo son

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

para lo cual obtenemos la relación

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

usando la restricción bajo la cual lo anterior es válido, obtenemos $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

como deberíamos

Además, dado que la restricción es lineal en todos los parámetros, sus segundas derivadas serán cero. Esto se refleja en el hecho de que en las primeras derivadas del lagrangeano, el multiplicador "está solo" y se eliminará cuando tomemos las segundas derivadas del lagrangeano. Lo que a su vez nos llevará a un hessiano cuyo determinante será igual a la segunda derivada (unidimensional) de la probabilidad de registro de un parámetro original, después de imponer también la restricción (que es lo que hace el OP). Luego, tomar el negativo del valor esperado en ambos casos, no cambia esta equivalencia matemática, y llegamos a la relación "Información de Fisher unidimensional = determinante de la Información de Fisher bidimensional". Ahora $\lambda$ Dado que la restricción es lineal en todos los parámetros, el OP obtiene el mismo resultado (en el segundo nivel derivado) sin introducir la restricción con un multiplicador en la función a maximizar, porque en el segundo nivel derivado, la presencia / efecto de la la restricción desaparece en tal caso.

Todo esto tiene que ver con el cálculo, no con los conceptos estadísticos.

— Alecos Papadopoulos
fuente

Parece que no puedo seguir tu lógica. ¿Podría explicar por qué como Lagrangean se considera como "probabilidad extendida" correcta, "dos parámetros" de registro? Además, el Hessian es completamente misterioso para mí. ¿Estás calculando la matriz de información observada?

L^{e}

$L^e$

— Khashaa 01 de

@Khashaa Se establece la terminología de que el "Hessian" es la matriz de segundas derivadas de una función multivariada.

— Alecos Papadopoulos

Sería útil si los votantes que votaron aquí publicaron una respuesta , porque el ejemplo específico del OP existe y exige una explicación.

— Alecos Papadopoulos

Lo siento, si mi pregunta no estaba clara. Mi pregunta era sobre cómo vinculaste la matriz de Hesse con la de información, ya que no veía ninguna expectativa operando en ella y el resultado parecía una matriz de información observada. Además, ¿puedes explicar por qué es loglikelihood correcto? Supongo que está utilizando algún método basado en principios para evaluar la probabilidad restringida, pero no entiendo cómo funciona.

L^{e}

$L^e$

— Khashaa

@Khashaa Agregué una exposición usando el ejemplo del OP.

— Alecos Papadopoulos