Esta pregunta trata sobre la estimación de máxima verosimilitud restringida (REML) en una versión particular del modelo lineal, a saber:
donde es una matriz ( n × p ) parametrizada por α ∈ R k , como lo es Σ ( α ) . β es un vector desconocido de parámetros molestos; el interés está en estimar α , y tenemos k ≤ p ≪ n . Estimar el modelo por máxima probabilidad no es problema, pero quiero usar REML. Es bien sabido, ver, por ejemplo , LaMotte , que la probabilidad A ' Y , donde A es cualquier matriz semi-ortogonal tal que se puede escribir
cuando es el rango de columna completo .
Mi problema es que, para algunos perfectamente razonables y científicamente interesantes, la matriz X ( α ) no es de rango completo de columna. Todas las derivaciones que he visto de la probabilidad restringida anterior hacen uso de igualdades determinantes que no son aplicables cuando | X ′ X | = 0 , es decir, que asumen rango de columna llena de X . Esto significa que la probabilidad restringida anterior solo es correcta para mi configuración en partes del espacio de parámetros y, por lo tanto, no es lo que quiero optimizar.
Pregunta: ¿Existen probabilidades restringidas más generales, derivadas, en la literatura estadística o en otros lugares, sin el supuesto de que sea un rango de columna completo? Si es así, ¿cómo se ven?
Algunas observaciones
- Derivar la parte exponencial no es problema para ninguna y puede escribirse en términos del inverso de Moore-Penrose como se indicó anteriormente.
- Las columnas de son una base ortonormal (cualquiera) para C ( X ) ⊥
- Para conocido , la probabilidad de A ′ Y puede escribirse fácilmente para cada α , pero, por supuesto, el número de vectores de base, es decir, columnas, en A depende del rango de columnas de X
Si alguien está interesado en esta cuestión cree que la parametrización exacta de ayudaría, hágamelo saber y voy a escribirlas. Sin embargo, en este punto, estoy principalmente interesado en un REML para una X general de las dimensiones correctas.
Una descripción más detallada del modelo sigue aquí. Sea sea una Autoregresión vectorial de primer orden r- dimensional [VAR (1)] donde v t i i d ∼ N ( 0 , Ω ) . Supongamos que el proceso se inicia en algún valor fijo y 0 en el tiempo t = 0 .
Defina . El modelo se puede escribir en la forma de modelo lineal Y = X β + ε utilizando las siguientes definiciones y notación:
donde denota un T - vector dimensional de unos y e 1 , T el primer vector de la base estándar de R T .
Denote . Tenga en cuenta que si A no es rango completo, entonces X ( α ) no es rango completo de columna. Esto incluye, por ejemplo, casos en los que uno de los componentes de y t no depende del pasado.
La idea de estimar los VAR usando REML es bien conocida en, por ejemplo, la literatura de regresiones predictivas (ver, por ejemplo, Phillips y Chen y las referencias en ellas).
Puede valer la pena aclarar que la matriz no es una matriz de diseño en el sentido habitual, simplemente se cae del modelo y, a menos que haya un conocimiento a priori sobre A no hay forma, por lo que puedo decir, de volver a parametrizar para ser de rango completo.
He publicado una pregunta en math.stackexchange que está relacionada con esta en el sentido de que una respuesta a la pregunta de matemática puede ayudar a derivar una probabilidad de que responda esta pregunta.