Comenzando con la formulación del problema de regresión de cresta como
min∥Xβ−y∥22+λ∥x∥22
puedes escribir el problema como
min∥Aβ−b∥22
dónde
A=[Xλ−−√I]
y
b=[y0].
La matriz tiene rango completo debido a la parte. Por lo tanto, el problema de los mínimos cuadrados como una solución únicaAλ−−√I
β^=(ATA)−1ATb
Escribiendo esto en términos de e , y simplificando muchos ceros, obtenemosXy
β^=(XTX+λI)−1XTy
Nada en esta derivación depende de si tiene más filas o columnas, o incluso de si tiene rango completo. Esta fórmula es, por lo tanto, aplicable al caso indeterminado. XX
Es un hecho algebraico que para ,λ>0
(XTX+λI)−1XT=XT(XXT+λI)−1
Por lo tanto, también tenemos la opción de usar
β^=XT(XXT+λI)−1y .
Para responder a sus preguntas específicas:
Sí, ambas fórmulas funcionan tanto para el caso indeterminado como para el caso sobredeterminado. También trabajo si es menor que el mínimo del número de filas y columnas de . La segunda versión puede ser más eficiente para problemas indeterminados porque es más pequeño que en ese caso. rank(X)XXXTXTX
No conozco ninguna derivación de la versión alternativa de la fórmula que comience con algún otro problema de mínimos cuadrados amortiguados y use las ecuaciones normales. En cualquier caso, puede derivarlo de una manera directa usando un poco de álgebra.
Es posible que esté pensando en el problema de regresión de cresta en el formulario
min∥β∥22
sujeto a
∥Xβ−y∥22≤ϵ.
Sin embargo, esta versión del problema de regresión de crestas simplemente conduce al mismo problema de mínimos cuadrados amortiguadas .min∥Xβ−y∥22+λ∥β∥22