Preguntas etiquetadas con convex

Estoy trabajando en aprendizaje automático teórico, en aprendizaje de transferencia, para ser específico, para mi doctorado. Por curiosidad, ¿por qué debería tomar un curso sobre optimización convexa? ¿Qué conclusiones de la optimización convexa puedo usar en mi investigación sobre aprendizaje automático teórico?

27 machine-learning  optimization  convex  transfer-learning 

Dada una función de costo convexo, usando SGD para la optimización, tendremos un gradiente (vector) en un cierto punto durante el proceso de optimización. Mi pregunta es, dado el punto en el convexo, ¿el gradiente solo apunta en la dirección en que la función aumenta / disminuye más rápido, o …

25 neural-networks  optimization  gradient-descent  sgd  convex 

Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

Leí esta declaración en un antiguo examen verdadero / falso: Podemos obtener múltiples soluciones óptimas locales si resolvemos un problema de regresión lineal minimizando la suma de los errores al cuadrado utilizando el gradiente de descenso. Solución: falso Mi pregunta es, ¿qué parte de esta pregunta está mal? ¿Por qué …

19 least-squares  gradient-descent  convex 

La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA? ? ) …

12 machine-learning  pca  optimization  convex 

He programado una regresión logística usando el algoritmo IRLS . Me gustaría aplicar una penalización LASSO para seleccionar automáticamente las funciones correctas. En cada iteración, se resuelve lo siguiente: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sea λλ\lambda un número real no negativo. No estoy penalizando la intercepción como se sugiere en The Elements of. …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Mi maestro demostró que la segunda derivada de la entropía cruzada siempre es positiva, por lo que la función de costo de las redes neuronales que usan entropía cruzada es convexa. ¿Es esto cierto? Estoy bastante confundido acerca de esto porque siempre he aprendido que la función de costo de …

9 neural-networks  convex