Ciencia de los datos

Estoy ampliando mi conocimiento del paquete Keras y he estado trabajando con algunos de los modelos disponibles. Tengo un problema de clasificación binaria de PNL que estoy tratando de resolver y he estado aplicando diferentes modelos. Después de trabajar con algunos resultados y leer más y más sobre LSTM, parece …

12 neural-network  nlp  lstm  recurrent-neural-net 

Necesito saber por qué tenemos que lidiar con el desequilibrio de datos. Sé cómo lidiar con él y con diferentes métodos para resolver el problema, que es mediante un muestreo ascendente o descendente o mediante el uso de Smote. Por ejemplo, si tengo una enfermedad rara, el 1 por ciento …

12 classification  dataset  sampling  class-imbalance 

Tengo un gran conjunto de datos multidimensionales que se genera cada día. ¿Cuál sería un buen enfoque para detectar cualquier tipo de 'anomalía' en comparación con los días anteriores? ¿Es este un problema adecuado que podría abordarse con redes neuronales? Cualquier sugerencia es apreciada. información adicional: no hay ejemplos, por …

12 tensorflow  keras  anomaly-detection 

He estado trabajando en un proyecto pequeño y personal que toma las habilidades laborales de un usuario y sugiere la carrera más ideal para ellos en función de esas habilidades. Utilizo una base de datos de listados de trabajo para lograr esto. Por el momento, el código funciona de la …

12 nlp  text-mining  similarity  cosine-distance 

Tengo un modelo convolucional + LSTM en Keras, similar a este (ref. 1), que estoy usando para un concurso de Kaggle. La arquitectura se muestra a continuación. Lo he entrenado en mi conjunto etiquetado de 11000 muestras (dos clases, la prevalencia inicial es ~ 9: 1, así que tomé muestras …

12 keras  cross-validation  overfitting 

En este momento estoy jugando con Restricted Boltzmann Machines y, dado que estoy allí, me gustaría tratar de clasificar los dígitos escritos a mano. El modelo que creé ahora es un modelo generativo bastante elegante, pero no sé cómo ir más allá. En este artículo, el autor dice que después …

12 classification  rbm 

Estoy construyendo un auto con control remoto para divertirme. Estoy usando una Raspberry Pi como computadora de a bordo; y estoy usando varios complementos, como una cámara Raspberry Pi y sensores de distancia, para obtener información sobre los alrededores del automóvil. Estoy usando OpenCV para convertir los cuadros de video …

12 reinforcement-learning  supervised-learning 

¿Cómo elegir K para PCA? K es el número de dimensiones para proyectar hacia abajo. El único requisito es no perder demasiada información. Entiendo que depende de los datos, pero estoy buscando más una descripción general simple sobre qué características considerar al elegir K.

12 pca 

Necesito ayuda sobre cuál debería ser mi próximo paso en un algoritmo que estoy diseñando. Debido a los NDA, no puedo revelar mucho, pero intentaré ser genérico y comprensible. Básicamente, después de varios pasos en los algoritmos, tengo esto: Para cada cliente que tengo y los eventos que realizan durante …

12 classification  clustering  time-series 

He estado usando esta biblioteca para la construcción y análisis básicos de redes neuronales. Sin embargo, no tiene soporte para construir redes neuronales de varias capas, etc. Por lo tanto, me gustaría conocer cualquier biblioteca agradable para hacer redes neuronales avanzadas y aprendizaje profundo en Julia.

12 machine-learning  neural-network  julia 

Supongamos que tengo cinco conjuntos que me gustaría agrupar. Entiendo que la técnica SimHashing descrita aquí: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ podría producir tres grupos ( {A}, {B,C,D}y {E}), por ejemplo, si sus resultados fueran: A -> h01 B -> h02 C -> h02 D -> h02 E -> h03 Del mismo modo, la …

12 clustering  similarity 

Términos como 'ciencia de datos' y 'científico de datos' se usan cada vez más en estos días. Muchas empresas están contratando 'científico de datos'. Pero no creo que sea un trabajo completamente nuevo. Los datos han existido en el pasado y alguien tuvo que lidiar con los datos. Supongo que …

12 bigdata 

Quiero investigar el comportamiento de fijación de precios de las aerolíneas, específicamente cómo las aerolíneas reaccionan a los precios de la competencia. Como diría, mi conocimiento sobre análisis más complejos es bastante limitado. He realizado principalmente todos los métodos básicos para obtener una visión general de los datos. Esto incluye …

12 data-mining  dataset  regression  correlation  visualization 

Cuando los algoritmos de ML, por ejemplo, Vowpal Wabbit o algunas de las máquinas de factorización que ganan concursos de clics ( Kaggle ), mencionan que las características son 'hash', ¿qué significa eso realmente para el modelo? Digamos que hay una variable que representa la ID de un complemento de …

12 machine-learning  predictive-modeling  kaggle 

Para experimentar, nos gustaría usar el Emoji incorporado en muchos Tweets como datos de verdad / entrenamiento básicos para un simple análisis cuantitativo de opiniones. Los tweets generalmente no están estructurados para que la PNL funcione bien. De todos modos, hay 722 Emoji en Unicode 6.0, y probablemente se agregarán …

12 machine-learning  classification  parsing