Preguntas etiquetadas con bias-variance-tradeoff

¿Cómo se comparan los diferentes métodos de validación cruzada en términos de varianza y sesgo del modelo? Mi pregunta está en parte motivada por este hilo: número óptimo de pliegues en la validación cruzada de - pliegues : ¿es el CV de dejar uno solo siempre la mejor opción? KKK …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Dejando a un lado las consideraciones de poder de cálculo, ¿hay alguna razón para creer que aumentar el número de pliegues en la validación cruzada conduce a una mejor selección / validación del modelo (es decir, cuanto mayor sea el número de pliegues, mejor)? Llevando el argumento al extremo, ¿la …

47 cross-validation  bias-variance-tradeoff 

Estoy leyendo el capítulo de equilibrio de sesgo-varianza de Los elementos del aprendizaje estadístico y tengo dudas en la fórmula de la página 29. Deje que los datos surjan de un modelo tal que donde es aleatorio número con valor esperado y varianza . Supongamos que el valor esperado de …

20 machine-learning  unbiased-estimator  mse  bias-variance-tradeoff 

Estoy tratando de entender el equilibrio entre sesgo y varianza, la relación entre el sesgo del estimador y el sesgo del modelo, y la relación entre la varianza del estimador y la varianza del modelo. Llegué a estas conclusiones: Tendemos a sobreajustar los datos cuando descuidamos el sesgo del estimador, …

15 regression  variance  bias  bias-variance-tradeoff 

Estoy leyendo sobre la mejor selección de subconjuntos en el libro Elementos de aprendizaje estadístico. Si tengo 3 predictores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , creo 23=823=82^3=8 subconjuntos: Subconjunto sin predictores subconjunto con predictor x1x1x_1 subconjunto con predictorx2x2x_2 subconjunto con predictor x3x3x_3 subconjunto con predictores x1,x2x1,x2x_1,x_2 subconjunto con predictores x1,x3x1,x3x_1,x_3 subconjunto con predictores x2,x3x2,x3x_2,x_3 …

13 regression  feature-selection  lasso  bias-variance-tradeoff 

En 'Los elementos del aprendizaje estadístico', la expresión para la descomposición de la variación de sesgo del modelo lineal se da como donde es la función objetivo real, es la varianza del error aleatorio en el modelo y es el estimador lineal de .f ( x 0 ) σ 2 …

9 regression  linear-model  bias-variance-tradeoff 

Me gustaría clasificar los puntos de datos como que necesitan un modelo más complejo o que no necesitan un modelo más complejo. Mi pensamiento actual es ajustar todos los datos a un modelo lineal simple y observar el tamaño de los residuos para hacer esta clasificación. Luego leí un poco …

9 regression  multiple-regression  residuals  bias-variance-tradeoff