Regresión de cresta - interpretación bayesiana

He oído que la regresión de cresta se puede derivar como la media de una distribución posterior, si la anterior se elige adecuadamente. ¿Es la intuición de que las restricciones establecidas en los coeficientes de regresión por el anterior (por ejemplo, distribuciones normales estándar alrededor de 0) son idénticas / reemplazan la penalización establecida en el tamaño al cuadrado de los coeficientes? ¿El prior tiene que ser gaussiano para que esta equivalencia se mantenga?

No, en el sentido de que otros anteriores se relacionan lógicamente con otras sanciones. En general, usted quiere más masa cerca del efecto cero ($\beta=0$) para reducir el sobreajuste / sobreinterpretación. Ridge es una penalización cuadrática (L2, gaussiana), el lazo es un$|\beta|$(L1, Laplace o doble distribución exponencial) penalización. Muchas otras sanciones (previas) están disponibles. El enfoque bayesiano tiene la ventaja de producir una interpretación sólida (e intervalos creíbles sólidos), mientras que la estimación de máxima probabilidad penalizada (cresta, lazo, etc.) produce$P$-valores e intervalos de confianza que son difíciles de interpretar, porque el enfoque frecuentista está algo confundido por estimadores sesgados (reducidos hacia cero).

Dos puntos:

La distribución posterior en el caso bayesiano es una distribución. La estimación de regresión de cresta es simplemente un vector$\hat{\beta}$y no una distribución Por lo tanto, no son completamente equivalentes.

Es cierto que en el caso de una probabilidad normal multivariada previa y multivariada normal, la posterior es normal multivariada con una media que es la estimación de regresión de cresta para un parámetro de cresta elegido apropiadamente.

La prueba de esto depende de la forma particular del previo y la probabilidad, y no funciona para funciones más generales o anteriores.