Ciencia de los datos optimization

8

Actualmente estoy trabajando en implementar el Descenso de gradiente estocástico SGD, para redes neuronales que usan propagación hacia atrás, y aunque entiendo su propósito, tengo algunas preguntas sobre cómo elegir valores para la tasa de aprendizaje. ¿La tasa de aprendizaje está relacionada con la forma del gradiente de error, ya …

85 machine-learning neural-network deep-learning optimization hyperparameter

4

¿Se debe volver a entrenar un modelo si hay nuevas observaciones disponibles?

Por lo tanto, no he podido encontrar ninguna literatura sobre este tema, pero parece algo que vale la pena pensar: ¿Cuáles son las mejores prácticas en capacitación y optimización de modelos si hay nuevas observaciones disponibles? ¿Hay alguna forma de determinar el período / frecuencia de volver a entrenar un …

28 machine-learning predictive-modeling optimization training

1

¿Hay alguna regla para elegir el tamaño de un mini lote?

Al entrenar redes neuronales, un hiperparámetro es del tamaño de un minibatch. Las opciones comunes son 32, 64 y 128 elementos por mini lote. ¿Existen reglas / pautas sobre el tamaño de un mini lote? ¿Alguna publicación que investigue el efecto en el entrenamiento?

21 neural-network deep-learning convnet optimization

4

¿El descenso del gradiente siempre converge a un óptimo?

Me pregunto si hay algún escenario en el que el descenso de gradiente no converja al mínimo. Soy consciente de que no siempre se garantiza que el descenso de gradiente converja a un óptimo global. También soy consciente de que podría diferir de un óptimo si, por ejemplo, el tamaño …

21 machine-learning neural-network deep-learning optimization gradient-descent

3

Pautas para seleccionar un optimizador para entrenar redes neuronales

He estado usando redes neuronales por un tiempo ahora. Sin embargo, una cosa con la que lucho constantemente es la selección de un optimizador para entrenar la red (usando backprop). Lo que generalmente hago es comenzar con uno (por ejemplo, SGD estándar) y luego probar otros más de manera bastante …

18 neural-network optimization backpropagation

2

mínimos locales vs puntos de silla en el aprendizaje profundo

Escuché a Andrew Ng (en un video que desafortunadamente ya no puedo encontrar) hablar sobre cómo la comprensión de los mínimos locales en problemas de aprendizaje profundo ha cambiado en el sentido de que ahora se consideran menos problemáticos porque en espacios de alta dimensión (encontrados en aprendizaje profundo) es …

18 machine-learning deep-learning optimization convergence

2

¿Por qué no se utilizan algoritmos genéticos para optimizar las redes neuronales?

Según tengo entendido, los algoritmos genéticos son herramientas poderosas para la optimización de objetivos múltiples. Además, la formación de redes neuronales (especialmente las profundas) es difícil y tiene muchos problemas (funciones de costos no convexas: mínimos locales, gradientes de desaparición y explosión, etc.). También considero que capacitar conceptualmente un NN …

13 neural-network optimization genetic-algorithms

4

¿Gradient Descent es central para cada optimizador?

Quiero saber si el descenso de gradiente es el algoritmo principal utilizado en optimizadores como Adam, Adagrad, RMSProp y varios otros optimizadores.

13 machine-learning neural-network deep-learning optimization gradient-descent

1

Cuántas características para muestrear usando bosques aleatorios

La página de Wikipedia que cita "Los elementos del aprendizaje estadístico" dice: Por lo general, para un problema de clasificación con características , ⌊ √pagpagp características p ⌋se utilizan en cada división.⌊ p-√⌋⌊pag⌋\lfloor \sqrt{p}\rfloor Entiendo que esta es una conjetura bastante buena y probablemente fue confirmada por evidencia empírica, pero …

13 statistics random-forest optimization evaluation sampling

2

¿Por qué no usar siempre la técnica de optimización de ADAM?

Parece el optimizador Adaptive Moment Estimation (Adam) casi siempre funciona mejor (alcanza un mínimo global de manera más rápida y confiable) al minimizar la función de costo en el entrenamiento de redes neuronales. ¿Por qué no usar siempre a Adán? ¿Por qué molestarse incluso en usar RMSProp u optimizadores de …

12 neural-network optimization

1

Fisher Scoring v / s Descenso de coordenadas para MLE en R

La función base R glm()utiliza la puntuación de los pescadores para MLE, mientras que glmnetparece utilizar el método de descenso de coordenadas para resolver la misma ecuación. El descenso coordinado es más eficiente en tiempo que Fisher Scoring, ya que Fisher Scoring calcula la matriz derivada de segundo orden, además …

11 machine-learning r algorithms optimization

3

Los mejores idiomas para la informática científica [cerrado]

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la mayoría de los idiomas tienen cierto número de bibliotecas …

10 efficiency statistics tools knowledge-base machine-learning neural-network deep-learning optimization hyperparameter machine-learning time-series categorical-data logistic-regression python visualization bigdata efficiency classification binary svm random-forest logistic-regression data-mining sql experiments bigdata efficiency performance scalability distributed bigdata nlp statistics education knowledge-base definitions machine-learning recommender-system evaluation efficiency algorithms parameter efficiency scalability sql statistics visualization knowledge-base education machine-learning r python r text-mining sentiment-analysis machine-learning machine-learning python neural-network statistics reference-request machine-learning data-mining python classification data-mining bigdata usecase apache-hadoop map-reduce aws education feature-selection machine-learning machine-learning sports data-formats hierarchical-data-format bigdata apache-hadoop bigdata apache-hadoop python visualization knowledge-base classification confusion-matrix accuracy bigdata apache-hadoop bigdata efficiency apache-hadoop distributed machine-translation nlp metadata data-cleaning text-mining python pandas machine-learning python pandas scikit-learn bigdata machine-learning databases clustering data-mining recommender-system

2

¿Cuándo elegir regresión lineal o árbol de decisión o regresión de bosque aleatorio? [cerrado]

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Estoy trabajando en un proyecto y tengo dificultades para decidir qué algoritmo …

10 machine-learning algorithms random-forest linear-regression decision-trees machine-learning predictive-modeling forecast r clustering similarity data-mining dataset statistics text-mining text-mining data-cleaning data-wrangling machine-learning classification algorithms xgboost data-mining dataset dataset regression graphs svm unbalanced-classes cross-validation optimization hyperparameter genetic-algorithms visualization predictive-modeling correlation machine-learning predictive-modeling apache-spark statistics normalization apache-spark map-reduce r correlation confusion-matrix r data-cleaning classification terminology dataset image-classification machine-learning regression apache-spark machine-learning data-mining nlp parsing machine-learning dimensionality-reduction visualization clustering multiclass-classification evaluation unsupervised-learning machine-learning machine-learning data-mining supervised-learning unsupervised-learning machine-learning data-mining classification statistics predictive-modeling data-mining clustering python pandas machine-learning dataset data-cleaning data bigdata software-recommendation

2

¿Por qué la tasa de aprendizaje hace que los pesos de mi red neuronal se disparen?

Estoy usando tensorflow para escribir redes neuronales simples para un poco de investigación y he tenido muchos problemas con los pesos 'nan' durante el entrenamiento. Probé muchas soluciones diferentes, como cambiar el optimizador, cambiar la pérdida, el tamaño de los datos, etc., pero fue en vano. Finalmente, noté que un …

9 machine-learning python tensorflow optimization gradient-descent

2

¿Puede ocurrir un sobreajuste en los algoritmos de optimización avanzada?

Mientras tomaba un curso en línea sobre aprendizaje automático por Andrew Ng en Coursera, me encontré con un tema llamado sobreajuste . Sé que puede ocurrir cuando se usa el descenso de gradiente en una regresión lineal o logística, pero ¿puede ocurrir cuando se usan algoritmos de optimización avanzada como …

8 machine-learning regression optimization gradient-descent overfitting

Preguntas etiquetadas con optimization