¿Qué es la identificabilidad del modelo?


38

Sé que con un modelo que no es identificable, se puede decir que los datos son generados por múltiples asignaciones diferentes a los parámetros del modelo. Sé que a veces es posible restringir los parámetros para que todos sean identificables, como en el ejemplo de Cassella & Berger, segunda edición, sección 11.2.

Dado un modelo particular, ¿cómo puedo evaluar si es identificable o no?

Respuestas:


46

Para la identificabilidad , estamos hablando de un parámetro θ (que podría ser un vector), que se extiende sobre un espacio de parámetros Θ , y una familia de distribuciones (por simplicidad, piense en PDF) indexados por θ que generalmente escribimos algo como . Por ejemplo, θ podría ser θ = β y f{fθ|θΘ}θθ=βf podría ser

lo que significaría queΘ=(0,). Para que el modelo sea identificable, la transformación que asignaθafθdebe seruno a uno. Dado un modelo en su regazo, la forma más directa de verificar esto es comenzar con la ecuaciónfθ 1 =fθ 2 , (esta igualdad debería ser válida para (casi) todo elapoyo

fθ(x)=1βex/β, x>0, β>0,
Θ=(0,)θfθfθ1=fθ2 en elx ) e intentar usar álgebra (o algún otro argumento) para mostrar que tal ecuación implica que, de hecho, .θ1=θ2

Si tiene éxito con este plan, entonces su modelo es identificable; sigue con tu negocio. Si no lo hace, entonces su modelo no es identificable o necesita encontrar otro argumento. La intuición es la misma, independientemente: en un modelo identificable es imposible que dos parámetros distintos (que podrían ser vectores) den lugar a la misma función de probabilidad.

Esto tiene sentido, porque si, para datos fijos, dos parámetros únicos dan lugar a la misma probabilidad, entonces sería imposible distinguir entre los dos parámetros candidatos basándose solo en los datos. Sería imposible identificar el parámetro verdadero, en ese caso.

Para el ejemplo anterior, la ecuación es 1fθ1=fθ2 para (casi) todosx>0. Si tomamos registros de ambos lados obtenemos -

1β1ex/β1=1β2ex/β2,
x>0 parax>0, lo que implica la función lineal -(1
lnβ1xβ1=lnβ2xβ2
x>0
(1β11β2)x(lnβ1lnβ2)
es (casi) idénticamente cero. La única línea que hace tal cosa es la que tiene pendiente 0 e intersección y cero. Ojalá puedas ver el resto.

Por cierto, si puede observar mirando su modelo que no es identificable (a veces sí puede), entonces es común introducir restricciones adicionales para hacerlo identificable (como usted mencionó). Esto es similar a reconocer que la función no es uno a uno para y en [ - 1 , 1 ] , pero es uno a uno si restringimos y para que se encuentre dentro [ 0 , 1 ] . En modelos más complicados, las ecuaciones son más difíciles pero la idea es la misma.f(y)=y2y[1,1]y[0,1]


2
(+1) Una explicación agradable, integral y realista. Las analogías que dibujas aclaran los conceptos.
cardenal

Ciertamente respondiste la pregunta que hice, pero soy demasiado novato para entender realmente tu respuesta. Si conoce una explicación que sea mejor para un novato, hágamelo saber.
Jack Tanner

1
@ cardinal, gracias. A Jack, de acuerdo, ya veo. Qué tal esto: si hay algo más arriba que aún no está claro, y si me lo señalas, entonces puedo tratar de aclararlo un poco más. O, si lo prefiere, podría escribir otra pregunta que solicite una explicación "laica" o ejemplos de estas ideas. Creo que es justo decir que la identificabilidad es un tema que generalmente surge después del típico período introductorio de estudio, por lo que si desea proporcionar un contexto de por qué se encuentra con esto ahora, podría ayudar a los posibles respondedores.

2
yyoj=μ+α1+α2+...+αk+εyo

23

ΣΣΣ

Σ incluso para modelos ligeramente complicados.

Si está haciendo un problema de máxima probabilidad, entonces sabe que la matriz de covarianza asintótica de sus estimaciones es igual a la inversa de la información de los pescadores evaluada en el MLE. Por lo tanto, verificar la matriz de información del pescador para la singularidad (aproximada) también es una forma razonable de evaluar la identificabilidad. Esto también funciona cuando la información teórica del pescador es difícil de calcular porque a menudo es posible aproximar numéricamente con mucha precisión un estimador consistente de la matriz de información del pescador, por ejemplo, estimando el producto externo esperado de la función de puntuación por el producto externo promedio observado .

Σ


2
(+1) Bien hecho. Ni siquiera había pensado abordar esta pregunta desde esa dirección.

1
Una razón por la cual la idea de calcular una matriz de covarianza basada en datos simulados es especialmente clara, es que uno debe simular los datos de todos modos para hacer una verificación Cook-Gelman-Rubin .
Jack Tanner el
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.