Preguntas etiquetadas con gradient

Mientras aprendía sobre el Gradient Boosting, no escuché ninguna restricción con respecto a las propiedades de un "clasificador débil" que el método usa para construir y ensamblar modelos. Sin embargo, no podía imaginar una aplicación de un GB que utilizara la regresión lineal y, de hecho, cuando realicé algunas pruebas, …

35 regression  machine-learning  boosting  ensemble  gradient 

Estoy tratando de aumentar el gradiente en un conjunto de datos con una tasa de eventos de aproximadamente 1% usando Enterprise miner, pero no produce ningún resultado. Mi pregunta es, dado que es un enfoque basado en un árbol de decisión, ¿es correcto usar el aumento de gradiente con un …

14 boosting  unbalanced-classes  rare-events  gradient 

El problema es: Derive el gradiente con respecto a la capa de entrada para una sola red neuronal de capa oculta usando sigmoide para entrada -> oculto, softmax para oculto -> salida, con una pérdida de entropía cruzada. Puedo pasar la mayor parte de la derivación usando la regla de …

9 neural-networks  gradient 

¿Qué situaciones sabemos de dónde se puede mostrar que el descenso de gradiente converge (ya sea a un punto crítico o a un mínimo local / global) para funciones no convexas? Para SGD en funciones no convexas, se ha revisado un tipo de prueba aquí, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent  gradient  sgd  non-convex 

Basado en Gradient Boosting Tree vs Random Forest . GBDT y RF utilizando diferentes estrategias para abordar el sesgo y la varianza. Mi pregunta es: ¿puedo volver a muestrear el conjunto de datos (con reemplazo) para entrenar múltiples GBDT y combinar sus predicciones como resultado final? Es equivalente a construir …

8 random-forest  cart  boosting  bagging  gradient 

Hice una red neuronal convolucional y quería comprobar que mis gradientes se calculan correctamente utilizando la comprobación numérica de gradiente. La pregunta es, ¿qué tan cerca está lo suficientemente cerca? Mi función de verificación solo escupe la derivada calculada, la derivada aproximada numéricamente, la diferencia entre los dos y si …

8 neural-networks  conv-neural-network  gradient