Preguntas etiquetadas con hyperparameter

Un parámetro que no es estrictamente para el modelo estadístico (o proceso de generación de datos), sino un parámetro para el método estadístico. Podría ser un parámetro para: una familia de distribuciones anteriores, suavizado, una penalización en los métodos de regularización o un algoritmo de optimización.

1
Elegir un tamaño de minibatch apropiado para el descenso de gradiente estocástico (SGD)
¿Existe alguna literatura que examine la elección del tamaño del minibatch al realizar el descenso de gradiente estocástico? En mi experiencia, parece ser una opción empírica, que generalmente se encuentra a través de la validación cruzada o el uso de diferentes reglas generales. ¿Es una buena idea aumentar lentamente el …
1
En la regresión lineal, ¿por qué la regularización penaliza también los valores de los parámetros?
Actualmente estoy aprendiendo regresión de cresta y estaba un poco confundido acerca de la penalización de modelos más complejos (o la definición de un modelo más complejo). Por lo que entiendo, la complejidad del modelo no se correlaciona necesariamente con el orden polinómico. Entonces: es un modelo más complejo que:2+3+4x2+5x3+6x42+3+4x2+5x3+6x4 …
1
¿Por qué se filtra información sobre los datos de validación si evalúo el rendimiento del modelo en los datos de validación al ajustar los hiperparámetros?
En el aprendizaje profundo de François Chollet con Python dice: Como resultado, ajustar la configuración del modelo en función de su rendimiento en el conjunto de validación puede resultar rápidamente en un ajuste excesivo para el conjunto de validación, aunque su modelo nunca esté directamente capacitado sobre él. Central a …
1
¿Cuáles son algunas de las desventajas de la optimización de hiperparámetros bayesianos?
Soy bastante nuevo en el aprendizaje automático y las estadísticas, pero me preguntaba por qué la optimización bayesiana no se refiere con mayor frecuencia en línea cuando se aprende el aprendizaje automático para optimizar los hiperparámetros de su algoritmo. Por ejemplo, utilizando un marco como este: https://github.com/fmfn/BayesianOptimization ¿La optimización bayesiana …
1
¿Cómo obtener hiperparámetros óptimos después de la validación cruzada anidada?
En general, si tenemos un gran conjunto de datos, podemos dividirlo en (1) capacitación, (2) validación y (3) prueba. Utilizamos la validación para identificar los mejores hiperparámetros en la validación cruzada (por ejemplo, C en SVM) y luego entrenamos el modelo usando los mejores hiperparámetros con el conjunto de entrenamiento …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.