Preguntas etiquetadas con shrinkage

La regresión de cresta estima los parámetros ββ\boldsymbol \beta en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , λy=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \betaβ^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top …

16 regression  ridge-regression  shrinkage 

Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para …

16 regression  optimization  lasso  regularization  shrinkage 

Ya hay una publicación en este sitio que habla sobre el mismo problema: ¿Por qué funciona la contracción? Pero, aunque las respuestas son populares, no creo que la esencia de la pregunta se aborde realmente. Está bastante claro que la introducción de algún sesgo en la estimación conlleva una reducción …

15 regularization  ridge-regression  shrinkage 

Me toma la idea de la contracción de James-Stein (es decir, que una función no lineal de una sola observación de un vector de normales posiblemente independientes puede ser un mejor estimador de las medias de las variables aleatorias, donde 'mejor' se mide por error al cuadrado ) Sin embargo, …

15 estimation  error  shrinkage  application  steins-phenomenon 

¿Hay resultados analíticos o documentos experimentales con respecto a la elección óptima del coeficiente del término de penalización ℓ1ℓ1\ell_1 ? Por óptimo , me refiero a un parámetro que maximiza la probabilidad de seleccionar el mejor modelo, o que minimiza la pérdida esperada. Pregunto porque a menudo no es práctico …

15 model-selection  lasso  shrinkage 

La palabra contracción se usa mucho en ciertos círculos. Pero lo que es la contracción, no parece haber una definición clara. Si tengo una serie temporal (o una colección de observaciones de algún proceso), ¿cuáles son las diferentes formas en que puedo medir algún tipo de contracción empírica en la …

13 estimation  predictive-models  shrinkage 

Zou y col. "Sobre los" grados de libertad "del lazo" (2007) muestran que el número de coeficientes distintos de cero es una estimación imparcial y consistente de los grados de libertad del lazo. Me parece un poco contradictorio. Supongamos que tenemos un modelo de regresión (donde las variables son media …

12 regression  lasso  degrees-of-freedom  shrinkage 

Supongamos que tengo dos estimadores y que son estimadores consistentes del mismo parámetro y tal que con en el sentido psd. Por lo tanto, asintóticamente es más eficiente que . Estos dos estimadores se basan en diferentes funciones de pérdida.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 …

11 regression  ridge-regression  shrinkage  penalized 

Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos usar CV para encontrar el parámetro …

11 lasso  regularization  shrinkage 

Cada afirmación que encuentro del estimador de James-Stein supone que las variables aleatorias que se estiman tienen la misma varianza (y unidad). Pero todos estos ejemplos también mencionan que el estimador JS puede usarse para estimar cantidades sin nada que ver entre sí. El ejemplo de Wikipedia es la velocidad …

11 estimation  shrinkage  steins-phenomenon 

Por un simple ejemplo, suponga que hay dos modelos de regresión lineal Modelo 1 tiene tres predictores, x1a, x2b, yx2c El modelo 2 tiene tres predictores del modelo 1 y dos predictores adicionales x2ayx2b Hay una ecuación de regresión poblacional donde la varianza poblacional explicada es para el Modelo 1 …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Supongamos que tengo datos longitudinales de la forma (Tengo múltiples observaciones, esta es solo la forma de una sola). Estoy interesado en restricciones en . Una sin restricciones es equivalente a tomar Y_j = \ alpha_j + \ sum _ {\ ell = 1} ^ {j - 1} \ phi …

9 feature-selection  lasso  shrinkage 

Supongamos que tengo pares de observaciones dibujadas iid como para i = 1 , 2 , ... , n . Sea Z i = X i + Y i , y denote por Z i j el enésimo valor más grande observado de ZXi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = …

9 distributions  order-statistics  shrinkage 

Estoy confundido sobre el análisis de permutación para la selección de características en un contexto de regresión logística. ¿Podría proporcionar una explicación clara de la prueba de permutación aleatoria y cómo se aplica a la selección de características? Posiblemente con algoritmo exacto y ejemplos. Finalmente, ¿cómo se compara con otros …

9 regression  logistic  feature-selection  permutation-test  shrinkage 

Estoy buscando estimar un GLM jerárquico pero con selección de características para determinar qué covariables son relevantes a nivel de población para incluir. Supongamos que tengo grupos con observaciones y posibles covariables. Es decir, tengo una matriz de diseño de covariables , resultados \ boldsymbol {y} _ {(N \ cdot …

8 machine-learning  bayesian  feature-selection  hierarchical-bayesian  shrinkage