¿Es la regresión de cresta bayesiana otro nombre de regresión lineal bayesiana?

Busqué sobre la Regresión Bayesian Ridge en Internet, pero la mayor parte del resultado que obtuve es sobre la Regresión Lineal Bayesian. Me pregunto si son las mismas cosas porque la fórmula se parece bastante

La regresión de cresta utiliza la regularización con la norma $L_2$ , mientras que la regresión bayesiana es un modelo de regresión definido en términos probabilísticos, con antecedentes explícitos sobre los parámetros. La elección de priors puede tener el efecto de regularización, por ejemplo, usar priors de Laplace para coeficientes es equivalente a la regularización $L_1$ . No son lo mismo, porque la regresión por crestas es un tipo de modelo de regresión, y el enfoque bayesiano es una forma general de definir y estimar modelos estadísticos que se pueden aplicar a diferentes modelos.

El modelo de regresión de cresta se define como

$$\underset{\beta}{\operatorname{arg\,min}}\; \|y - X\beta\|^2_2 + \lambda \|\beta\|^2_2$$

En el entorno bayesiano, estimamos la distribución posterior utilizando el teorema de Bayes

$$p(\theta|X) \propto p(X|\theta)\,p(\theta)$$

La regresión de cresta significa asumir la probabilidad normal y la normal antes de los parámetros. Después de reducir la constante de normalización, la función de densidad logarítmica de la distribución normal es

$$\begin{align} \log p(x|\mu,\sigma) &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &= \log\Big[\frac{1}{\sigma \sqrt{2\pi} }\Big] + \log\Big[e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\Big] \\ &\propto -\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2 \\ &\propto -\frac{1}{\sigma^2} \|x - \mu\|^2_2 \end{align}$$

Ahora puede ver que maximizar la probabilidad de registro normal, con antecedentes normales, es equivalente a minimizar la pérdida al cuadrado, con penalización por cresta

$$\begin{align} \underset{\beta}{\operatorname{arg\,max}}& \; \log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau) \\ = \underset{\beta}{\operatorname{arg\,min}}&\; -\Big\{\log\mathcal{N}(y|X\beta, \sigma) + \log\mathcal{N}(0, \tau)\Big\} \\ = \underset{\beta}{\operatorname{arg\,min}}&\; \frac{1}{\sigma^2}\|y - X\beta\|^2_2 + \frac{1}{\tau^2} \|\beta\|^2_2 \end{align}$$

Para leer más sobre la regresión y regularización de crestas, vea los hilos: ¿Por qué la estimación de crestas se vuelve mejor que OLS al agregar una constante a la diagonal? y ¿Qué problema resuelven los métodos de contracción? , y ¿ Cuándo debo usar lasso vs ridge? , y ¿Por qué la regresión de cresta se llama "cresta", por qué es necesaria y qué sucede cuando llega al infinito? $\lambda$, y muchos otros que tenemos .