Regresión de Bayes: ¿cómo se hace en comparación con la regresión estándar?

Tengo algunas preguntas sobre la regresión bayesiana:

Dada una regresión estándar como . Si quiero cambiar esto en una regresión bayesiana, ¿necesito distribuciones previas para y (o no funciona de esta manera)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
En la regresión estándar, se trataría de minimizar los residuos para obtener valores únicos para y . ¿Cómo se hace esto en la regresión de Bayes? $\beta_0$ $\beta_1$

Realmente lucho mucho aquí:

posterior = anterior \times probabilidad

$\text{posterior} = \text{prior} \times \text{likelihood}$

La probabilidad proviene del conjunto de datos actual (por lo que es mi parámetro de regresión, pero no como un valor único sino como una distribución de probabilidad, ¿verdad?). Prior proviene de una investigación previa (digamos). Entonces obtuve esta ecuación:

y = β_{1} X + ε

$y = \beta_1 x + \varepsilon$

con siendo mi probabilidad o posterior (¿o esto es totalmente incorrecto)? $\beta_1$

Simplemente no puedo entender cómo la regresión estándar se transforma en una de Bayes.

regression bayesian

— TinglTanglBob
fuente

Respuestas:

Modelo de regresión lineal simple

y_{yo} = α + β X_{yo} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

se puede escribir en términos de modelo probabilístico detrás de él

μ_{yo} = α + β X_{yo} y_{yo} \sim norte (μ_{yo}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

es decir, la variable dependiente sigue una distribución normal parametrizada por la media , que es una función lineal de parametrizada por y por desviación estándar . Si estima dicho modelo utilizando mínimos cuadrados ordinarios , no tiene que preocuparse por la formulación probabilística, porque está buscando valores óptimos de los parámetros minimizando los errores al cuadrado de los valores ajustados a los valores pronosticados. Por otro lado, puede estimar dicho modelo utilizando la estimación de máxima verosimilitud $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$ , donde estaría buscando valores óptimos de parámetros maximizando la función de probabilidad

\underset{α, β, σ}{una r sol metro una X} \prod_{yo = 1}^{norte} norte (y_{yo}; α + β X_{yo}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

donde es una función de densidad de distribución normal evaluada en puntos , parametrizada por medio de y desviación estándar . $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

En el enfoque bayesiano en lugar de maximizar la función de probabilidad solo, asumiríamos distribuciones previas para los parámetros y usaríamos el teorema de Bayes

posterior \propto probabilidad \times anterior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

La función de probabilidad es la misma que la anterior, pero lo que cambia es que usted asume algunas distribuciones previas para los parámetros estimados y los incluye en la ecuación $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{F (α, β, σ ∣ Y, X)}} \propto \underset{probabilidad}{\underset{⏟}{\prod_{yo = 1}^{norte} norte (y_{yo} ∣ α + β X_{yo}, σ)}} \underset{priors}{\underset{⏟}{F_{α} (α) F_{β} (β) F_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"¿Qué distribuciones?" Es una pregunta diferente, ya que hay un número ilimitado de opciones. Para los parámetros podría, por ejemplo, asumir distribuciones normales parametrizadas por algunos hiperparámetros , o distribución si desea asumir colas más pesadas, o distribución uniforme si no desea hacer muchas suposiciones, pero desea asumir que el los parámetros pueden ser a priori "cualquier cosa en el rango dado", etc. Para necesita suponer alguna distribución previa que esté limitada a ser mayor que cero, ya que la desviación estándar debe ser positiva. Esto puede conducir a la formulación del modelo como se ilustra a continuación por John K. Kruschke. $\alpha,\beta$ $t$ $\sigma$

(fuente: http://www.indiana.edu/~kruschke/BMLR/ )

Mientras que con la máxima probabilidad buscaba un único valor óptimo para cada uno de los parámetros, en el enfoque bayesiano aplicando el teorema de Bayes obtiene la distribución posterior de los parámetros. La estimación final dependerá de la información que proviene de sus datos y de sus priores , pero cuanta más información está contenida en sus datos, menos influyentes son priores .

Tenga en cuenta que cuando se usan priors uniformes, toman forma después de soltar las constantes de normalización. Esto hace que el teorema de Bayes sea proporcional solo a la función de probabilidad, por lo que la distribución posterior alcanzará su máximo en exactamente el mismo punto que la estimación de máxima probabilidad. Lo que sigue, la estimación bajo los uniformes anteriores será la misma que al usar mínimos cuadrados ordinarios ya que minimizar los errores al cuadrado corresponde a maximizar la probabilidad normal . $f(\theta) \propto 1$

Para estimar un modelo en el enfoque bayesiano en algunos casos, puede usar anteriores conjugados , de modo que la distribución posterior esté directamente disponible (vea el ejemplo aquí ). Sin embargo, en la gran mayoría de los casos, la distribución posterior no estará disponible directamente y tendrá que utilizar los métodos de Markov Chain Monte Carlo para estimar el modelo (consulte este ejemplo de uso del algoritmo Metropolis-Hastings para estimar parámetros de regresión lineal). Finalmente, si solo le interesan las estimaciones puntuales de los parámetros, podría utilizar la estimación máxima a posteriori , es decir

\underset{α, β, σ}{una r sol metro una X} F (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

Para obtener una descripción más detallada de la regresión logística, puede consultar el modelo logit bayesiano: ¿explicación intuitiva? hilo.

Para obtener más información, puede consultar los siguientes libros:

Kruschke, J. (2014). Haciendo análisis de datos bayesianos: un tutorial con R, JAGS y Stan. Prensa Académica

Gelman, A., Carlin, JB, Stern, HS y Rubin, DB (2004). Análisis de datos bayesianos. Chapman & Hall / CRC.

— Tim
fuente

+1 Dada la forma en que se plantea la pregunta, quizás enfatice un poco más esta diferencia filosófica: en mínimos cuadrados ordinarios y estimación de máxima verosimilitud, comenzamos con la pregunta "¿Cuáles son los mejores valores para (quizás para más adelante utilizar)?" $\beta_i$ , mientras que en el enfoque bayesiano completo, comenzamos con la pregunta "¿Qué podemos decir sobre los valores desconocidos ?" $\beta_i$ y luego tal vez proceda a utilizar la media máxima a posteriori o posterior si se necesita una estimación puntual.

— JiK

+1. Una cosa más que podría ser útil señalar para aclarar la relación entre los enfoques Bayesian y OLS es que OLS puede entenderse como media posterior bajo un previo plano (al menos hasta donde yo entiendo). Sería genial si pudieras explicarlo un poco en tu respuesta.

— ameba dice Reinstate Monica

@amoeba es un buen punto, lo pensaré. Pero por otro lado, no quiero hacer la respuesta abiertamente larga, por lo que hay un punto en ir a los detalles.

— Tim

@amoeba FYI, agregué un breve comentario al respecto.

— Tim

Dado un conjunto de datos donde , una regresión lineal bayesiana modela el problema de la siguiente manera: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

w \sim norte (0 0, σ_{w}^{2} {yo}_{re})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

es vector , por lo que la distribución anterior es un gaussiano multivariante; y es lamatriz de identidad . $w$ $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

Probabilidad:

Y_{yo} \sim norte (w^{T} X_{yo}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

Suponemos que $Y_i \perp Y_j | w, i \neq j$

$a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

pags (w) \propto Exp {- \frac{si}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

pags (re El | w) \propto Exp {- \frac{una}{2} (y - UNA w)^{T} (y - UNA w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

$y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

pags (w El | re) \propto pags (re El | w) pags (w)

$p(w|D) \propto p(D|w) p(w)$

Después de muchos cálculos descubrimos que

pags (w El | re) \sim norte (w El | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

$\Lambda$

Λ = una {UNA}^{T} UNA + si {yo}_{re}

$\Lambda = a A^T A + b I_d$

μ = una Λ^{- 1} {UNA}^{T} y

$\mu = a \Lambda^{-1} A^T y$

$\mu$ $w_{MAP}$

$\mu$ $\Lambda = aA^TA+bI_d$

μ = ({UNA}^{T} UNA + \frac{si}{una} {yo}_{re})^{- 1} {UNA}^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

$w_{MLE}$

w_{METRO L mi} = ({UNA}^{T} UNA)^{- 1} {UNA}^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

$\mu$ $\lambda = \frac{b}{a}$

Para la distribución posterior predictiva:

pags (y El | X, re) = \int pags (y El | X, re, w) pags (w El | X, re) re w = \int pags (y El | X, w) pags (w El | re) re w

es posible calcular eso

y El | X, re \sim norte (μ^{T} X, \frac{1}{una} + X^{T} Λ^{- 1} X)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

Referencia: Lunn et al. El libro BUGS

Para utilizar una herramienta MCMC como JAGS / Stan, consulte el Análisis de datos bayesianos de Kruschke

— jpneto
fuente

Gracias jpneto Siento que esta es una gran respuesta, pero todavía no la entiendo debido a la falta de conocimientos de matemáticas. Pero definitivamente lo leeré nuevamente después de adquirir algunas habilidades matemáticas

— TinglTanglBob

Esto es muy bueno, pero la suposición de que se conoce la precisión es poco común. ¿No es mucho más común suponer una distribución Gamma inversa para la varianza, es decir, una distribución Gamma para la precisión?

— DeltaIV

w

$w$

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

@DeltaIV: claro, cuando tenemos incertidumbre sobre un parámetro podemos modelarlo con un previo. La suposición de precisión conocida es facilitar la búsqueda de una solución analítica. Por lo general, esas soluciones analíticas no son posibles y debemos usar aproximaciones, como MCMC o alguna técnica variacional.

— jpneto