Regresión bayesiana con singular - ¿Está bien definido el posterior?

Comunidad SE, espero obtener algunas ideas sobre el siguiente problema. Dado un modelo de regresión lineal simple Bajo una función de probabilidad gaussiana con términos de error homoscedastic, la distribución condicional de la variable dependiente toma la forma Asigno un conjugado condicional (no informativo) antes de y fueron . Es un resultado estándar que la distribución marginal posterior de es multivariada t con

Y = X β + ϵ, dónde Y \in R^{T}, X \in R^{T \times norte} .

$Y=X\beta+\epsilon\text{ , where } Y\in\mathbb{R}^T,X\in\mathbb{R}^{T \times N}.$

Y El | β, h \sim norte (X β, h^{- 1} yo) .

$Y|\beta,h \sim N(X\beta,h^{-1}I).$

β

$\beta$

h

$h$

β El | h \sim norte (0 0, C yo), h \sim sol (s^{- 2}, v)

$\beta|h \sim N(0,cI), h\sim G(s^{-2},v)$

c \to \infty, v \to 0

$c\rightarrow\infty, v\rightarrow0$

β

$\beta$

β El | re \sim t_{norte} (\hat{β}, \hat{Σ}, T) .

$\beta|D\sim t_N (\hat{\beta},\hat{\Sigma},T).$ ¿Qué sucede si

(X^{'} X)

$(X'X)$ es singular? En la regresión estándar, optaría por el pseudoinverso generalizado de Moore-Penrose

(X^{'} X)^{+}

$(X'X)^+$ lugar de usar

(X^{'} X)^{- 1}

$(X'X)^{-1}$ . Sin embargo, en este caso la varianza posterior

\hat{Σ} := c (X^{'} X)^{- 1}

$\hat{\Sigma}:=c(X'X)^{-1}$ sería singular y dudo que la

t

$t$ Distribución todavía esté bien definida. ¿Es esto correcto?

E incluso me distrae aún más: supongamos que no estoy realmente interesado en la distribución posterior de $\beta$ sino solo en una combinación lineal $z:=A\beta$ donde $A\in\mathbb{R}^{N-1 \times N}$ , y $|A\hat{\Sigma}A'|\neq 0$ . Podría tomar muestras de esa distribución, aunque su construcción se basa en algo que no está realmente definido (la distribución de $\beta$ ). ¿Hay alguna manera de manejar esto? ¿O hay un error esencial en mi pregunta que hace que mi punto sea obsoleto?

— muffin1974
fuente

En el mejor de los casos, los antecedentes no informativos brindan resultados útiles cuando los datos identifican de manera única los parámetros del modelo. Esta observación es básicamente la razón por la que tenemos regresión de cresta y sus parientes en lugar de depender únicamente de OLS. Pero si los datos no son lo suficientemente informativos, normalmente uno irá por la ruta de regresión regularizada (cresta, etc.) o la ruta completa de Bayes. En la ruta completa de Bayes, solo defina distribuciones previas adecuadas e informativas sobre sus datos y el problema será manejable.

— Sycorax dice Reinstate Monica

Gracias por tus comentarios hasta ahora! Entiendo que la parte posterior de no está definida correctamente. Sin embargo, ¿esto realmente causa problemas para la variable aleatoria que está al menos teóricamente bien definida?

β

$\beta$

z

$z$

— muffin1974

Bien. lo que me confunde es que la parte posterior de parece plausible, aunque el camino hacia una solución no es nada satisfactorio. Actualmente estoy buscando una manera de reescribir la ecuación de regresión, porque soy optimista de que sería posible obtener directamente los parámetros de regresión lugar de perder el tiempo buscando . Sin embargo, aunque esto parece posible en mi caso específico, todavía me queda la pregunta de qué significa si un modelo 'malo' está anidado en uno funcional ...

z

$z$

z

$z$

β

$\beta$

— muffin1974

El principal problema con su pregunta es que tomar límites no se extiende directamente a medidas y distribuciones de probabilidad. Hay muchos tipos diferentes de convergencia asociados con las medidas.

Por lo tanto, considerando el conjugado y dejando que y vayan a y , respectivamente, no tiene un significado matemático propio o único.

β El | h \sim norte (0 0, C yo), h \sim sol (s^{- 2}, ν)

$\beta|h \sim \mathcal{N}(0,cI), h\sim \mathcal{G}(s^{-2},\nu)$

ν

$\nu$

c

$c$

0

$0$

\infty

$\infty$

Ahora, si considera el previo incorrecto no hay distribución posterior asociada con la probabilidad porque el potencial posterior no se integra en condicional en . No hay porque el inverso no existe y no hay una distribución bien definida en .

π (β, h) \propto \frac{1}{h}

$\pi(\beta,h)\propto\frac{1}{h}$

L (β, h El | X, y) = Exp {- h (y - X β)^{T} (y - X β) / / 2} h^{T / / 2}

$L(\beta,h|X,y)=\exp\{-h(y-X\beta)^\text{T}(y-X\beta)/2\}h^{T/2}$

β

$\beta$

h

$h$

\hat{Σ} = (X^{T} X)^{- 1}

$\hat{\Sigma}=(X^\text{T}X)^{-1}$

A β

$A\beta$

— Xi'an
fuente