Ciencia de los datos

Mi tarea de "aprendizaje automático" es separar el tráfico benigno de Internet del tráfico malicioso. En el escenario del mundo real, la mayoría (digamos 90% o más) del tráfico de Internet es benigno. Por lo tanto, sentí que debería elegir una configuración de datos similar para entrenar a mis modelos …

48 machine-learning  dataset  unbalanced-classes 

Soy estudiante de doctorado en Geofísica y trabajo con grandes cantidades de datos de imágenes (cientos de GB, decenas de miles de archivos). Yo sé svny gitbastante bien y llegado a valorar la historia del proyecto, combinado con la capacidad de trabajar juntos fácilmente y tienen protección contra daños en …

46 bigdata  databases  binary  version-control 

Yo uso RStudio para la programación de R. Recuerdo los IDE-s sólidos de otras pilas de tecnología, como Visual Studio o Eclipse. Tengo dos preguntas: ¿Qué otros IDE-s que no son RStudio? (Considere proporcionar una breve descripción de ellos) ¿Alguno de ellos tiene ventajas notables sobre RStudio? Me refiero principalmente …

46 r  tools  rstudio  programming 

¿Cuáles son las mejores prácticas comunes para manejar los datos de tiempo para la aplicación de aprendizaje automático? Por ejemplo, si en el conjunto de datos hay una columna con marca de tiempo del evento, como "2014-05-05", ¿cómo puede extraer características útiles de esta columna si las hay? ¡Gracias por …

45 machine-learning  time-series  feature-selection 

Actualmente estoy trabajando como científico de datos en una empresa minorista (mi primer trabajo como DS, por lo que esta pregunta puede ser el resultado de mi falta de experiencia). Tienen una enorme acumulación de proyectos de ciencia de datos realmente importantes que tendrían un gran impacto positivo si se …

44 data-wrangling 

¿Cuántos parámetros tiene un único LSTM apilado? El número de parámetros impone un límite inferior en el número de ejemplos de entrenamiento requeridos y también influye en el tiempo de entrenamiento. Por lo tanto, conocer el número de parámetros es útil para entrenar modelos que usan LSTM.

43 deep-learning  rnn 

He estado leyendo un poco sobre LSTM y su uso para series de tiempo y ha sido interesante pero difícil al mismo tiempo. Una cosa que he tenido dificultades para comprender es el enfoque para agregar características adicionales a lo que ya es una lista de características de series temporales. …

43 machine-learning  neural-network  deep-learning  time-series 

Motivación Trabajo con conjuntos de datos que contienen información de identificación personal (PII) y, a veces, necesito compartir parte de un conjunto de datos con terceros, de manera que no exponga la PII y exponga a mi empleador a responsabilidad. Nuestro enfoque habitual aquí es retener datos por completo o, …

42 data-cleaning  anonymization 

f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, sin embargo, tiene ambas funciones en los documentos . Fuga ReLU Fuente de LeakyReLU : return K.relu(inputs, alpha=self.alpha) Por lo tanto (ver código ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, x) - \alpha \max(0, -x) …

42 neural-network 

Obtuve ValueError al predecir datos de prueba usando un modelo RandomForest. Mi código: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) El error: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). ¿Cómo encuentro los valores incorrectos en el conjunto …

42 python  random-forest  pandas 

Me gustaría usar una red neuronal para la clasificación de imágenes. Comenzaré con CaffeNet pre-entrenado y lo entrenaré para mi aplicación. ¿Cómo debo preparar las imágenes de entrada? En este caso, todas las imágenes son del mismo objeto pero con variaciones (piense: control de calidad). Están en escalas / resoluciones …

41 neural-network  image-classification  preprocessing  convnet 

Parece que la similitud de dos características del coseno es solo su producto escalado por el producto de sus magnitudes. ¿Cuándo la similitud del coseno hace una mejor distancia métrica que el producto de punto? Es decir, ¿la similitud del producto escalar y el coseno tienen diferentes fortalezas o debilidades …

41 classification 

Estoy tratando de entender las diferencias clave entre GBM y XGBOOST. Intenté buscarlo en Google, pero no pude encontrar buenas respuestas que explicaran las diferencias entre los dos algoritmos y por qué xgboost casi siempre funciona mejor que GBM. ¿Qué hace que XGBOOST sea tan rápido?

41 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

A menudo leo que en el caso de los modelos de Deep Learning, la práctica habitual es aplicar mini lotes (generalmente uno pequeño, 32/64) durante varias épocas de entrenamiento. Realmente no puedo entender la razón detrás de esto. A menos que me equivoque, el tamaño del lote es el número …

40 machine-learning  deep-learning 

Estaba leyendo esta publicación del blog titulada: El mundo financiero quiere abrir las cajas negras de AI , donde el autor se refiere repetidamente a los modelos de ML como "cajas negras". Se ha utilizado una terminología similar en varios lugares al referirse a los modelos ML. ¿Por que es …

40 machine-learning  terminology