Supongamos que estoy tratando de estimar una gran cantidad de parámetros a partir de algunos datos de alta dimensión, utilizando algún tipo de estimaciones regularizadas. El regularizador introduce cierto sesgo en las estimaciones, pero aún puede ser una buena compensación porque la reducción en la variación debería compensarlo con creces.
El problema surge cuando quiero estimar los intervalos de confianza (p. Ej., Usando la aproximación de Laplace o bootstrapping). Específicamente, el sesgo en mis estimaciones conduce a una mala cobertura en mis intervalos de confianza, lo que dificulta determinar las propiedades frecuentistas de mi estimador.
Encontré algunos documentos que discutían este problema (por ejemplo, "Intervalos de confianza asintóticos en la regresión de cresta basada en la expansión de Edgeworth" ), pero la matemática está mayormente por encima de mi cabeza. En el documento vinculado, las ecuaciones 92-93 parecen proporcionar un factor de corrección para las estimaciones que se regularizaron por regresión de cresta, pero me preguntaba si había buenos procedimientos que funcionarían con una variedad de regularizadores diferentes.
Incluso una corrección de primer orden sería extremadamente útil.