Ciencia de los datos

Estoy a punto de graduarme de mi Maestría y aprendí sobre el aprendizaje automático y también realicé proyectos de investigación con él. Me pregunto cuáles son las mejores prácticas de la industria cuando realizo tareas de aprendizaje automático con Big Datasets (como 100s GB o TB). Apreciar si otros científicos …

9 machine-learning  predictive-modeling  bigdata 

¿Hay algún recurso con una lista de técnicas de ingeniería de características? Un mapeo de tipo de datos, modelo y técnica de ingeniería de características sería una mina de oro

9 feature-selection  feature-extraction  feature-engineering  feature-construction  featurization 

Tengo un conjunto de datos para el que estoy tratando de predecir variables objetivo. Col1 Col2 Col3 Col4 Col5 1 2 23 11 1 2 22 12 14 1 22 11 43 38 3 14 22 25 19 3 12 42 11 14 1 22 11 43 38 2 1 …

9 machine-learning  python  data-mining  dataset  pandas 

Al implementar el descenso de gradiente de mini lotes para redes neuronales, ¿es importante tomar elementos aleatorios en cada mini lote? ¿O es suficiente barajar los elementos al comienzo del entrenamiento una vez? (También me interesan las fuentes que definitivamente dicen lo que hacen).

9 machine-learning  neural-network 

Estoy tratando de entender el aprendizaje por refuerzo y los procesos de decisión de Markov (MDP) en el caso de que se utilice una red neuronal como aproximador de funciones. Estoy teniendo dificultades con la relación entre el MDP donde se explora el entorno de manera probabilística, cómo esto se …

9 machine-learning  neural-network  q-learning 

¿Cuál de las siguientes opciones de conjunto de pasos es la correcta al crear un modelo predictivo? Opción 1: Primero elimine los predictores más evidentemente malos, y preprocese el resto si es necesario, luego entrene varios modelos con validación cruzada, elija los mejores, identifique los mejores predictores que cada uno …

9 machine-learning  predictive-modeling 

Suponga que tiene una capa de entrada con n neuronas y la primera capa oculta tiene neuronas, con típicamente . Luego calcula la activación de la -ésima neurona en la capa oculta pormetrometromm &lt; nmetro&lt;nortem < nunajunaja_jjjj unaj= f(∑i = 1 .. nwi , jXyo+sij)unaj=F(∑yo=1 ..nortewyo,jXyo+sij)a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right) …

9 machine-learning  visualization  deep-learning  autoencoder 

Cuando se guarda en el disco usando cPickle: /programming/20662023/save-python-random-forest-model-to-file , mi bosque aleatorio es de 6.57 GB. with open('rforest.cpickle', 'wb') as f: cPickle.dump(rforest, f) Quiero usar el bosque mismo para hacer predicciones a través de una API de Python alojada en Heroku; por supuesto, ese tamaño de archivo es inaceptable. …

9 python  random-forest 

Estoy viendo cómo implementar el abandono en la red neuronal profunda, y encontré algo contradictorio. En la fase de avance, las activaciones de máscara de abandono con un tensor aleatorio de 1s y 0s obligan a net a aprender el promedio de los pesos. Esto ayuda a la red a …

9 neural-network  deep-learning  gradient-descent 

Estoy usando la biblioteca seaborn para generar gráficos de barras en python. Me pregunto qué estadísticas se utilizan para calcular las barras de error, pero no puedo encontrar ninguna referencia a esto en la documentación del diagrama de barras de Seaborn . Sé que los valores de la barra se …

9 python  visualization 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Data Science Stack Exchange. Cerrado hace 6 años . Siempre me ha interesado el aprendizaje automático, pero no puedo entender una cosa sobre …

9 machine-learning 

Estoy aprendiendo Support Vector Machines , y no puedo entender cómo se elige una etiqueta de clase para un punto de datos en un clasificador binario. ¿Se elige por consenso con respecto a la clasificación en cada dimensión del hiperplano de separación?

9 svm  classification  binary 

Los detalles de la API de predicción de Google se encuentran en esta página , pero no puedo encontrar ningún detalle sobre los algoritmos de predicción que se ejecutan detrás de la API. Hasta ahora, he recopilado que le permiten proporcionar sus pasos de preprocesamiento en formato PMML.

9 tools 

Utilicé la técnica smote para sobremuestrear mi conjunto de datos y ahora tengo un conjunto de datos equilibrado. El problema que enfrenté es que las métricas de rendimiento; precisión, recuperación, medida f1, precisión en el conjunto de datos desequilibrados se realizan mejor que con el conjunto de datos equilibrado. ¿Qué …

8 performance 

Estoy tratando de entrenar un modelo en keras y estoy usando ModelCheckpoint para guardar el mejor modelo de acuerdo con una métrica de validación monitoreada (en mi caso, el índice Jaccard ). Si bien puedo ver que el modelo mejora en el tensorboard, cuando trato de cargar los pesos y …

8 keras  convnet