Ciencia de los datos

Tengo una red neuronal simple (NN) para la clasificación MNIST. Incluye 2 capas ocultas, cada una con 500 neuronas. Por lo tanto, las dimensiones de la NN son: 784-500-500-10. ReLU se usa en todas las neuronas, softmax se usa en la salida y la función de pérdida es la entropía …

8 machine-learning  neural-network  classification  overfitting 

Tengo los siguientes datos para un pequeño proyecto paralelo. Es de un acelerómetro colocado encima de una lavadora / secadora y me gustaría que me avise cuando la máquina haya terminado. x son los datos de entrada (movimiento x / y / z como un valor), y es la etiqueta …

8 machine-learning  time-series  feature-engineering 

Cómo usar Naive Bayes para la clasificación de texto de etiquetas múltiples en R. Intenté usar naiveBayes () de la biblioteca e1071 pero parece que durante el entrenamiento, no acepta variables de clase de etiquetas múltiples. Creé TermDocumentMatrix usando el corpus de documentos de texto e intenté crear el modelo …

8 multilabel-classification  naive-bayes-classifier 

Estoy trabajando en un conjunto de datos con etiquetas binarias altamente desequilibradas, donde el número de etiquetas verdaderas es solo del 7% de todo el conjunto de datos. Pero alguna combinación de características podría producir un número de unidades superior al promedio en un subconjunto. Por ejemplo, tenemos el siguiente …

8 decision-trees  xgboost 

Estoy buscando una buena explicación de cómo funcionan las convoluciones en el aprendizaje profundo cuando se aplican a imágenes multicanal. Por ejemplo, supongamos que tengo una imagen de 100 x 100 píxeles con tres canales, RGB. El tensor de entrada tendría entonces dimensiones de 100 x 100 x 3. Si …

8 deep-learning  convnet 

Encontré paquetes que se utilizan para calcular la "Ganancia de información" para seleccionar los atributos principales en el Árbol de decisiones C4.5 y traté de usarlos para calcular la "Ganancia de información". Pero los resultados del cálculo de cada paquete son diferentes como el código a continuación. > IG.CORElearn <- …

8 r  decision-trees 

Soy un estudiante de aprendizaje automático, y en estos días estaba tratando de aprender a usar la biblioteca TensorFlow. He revisado varios tutoriales y pruebas y errores con Tensorflow, y pensé que la mejor forma de aprenderlo de verdad sería utilizarlo en un pequeño proyecto propio. He decidido que debería …

8 machine-learning  neural-network  tensorflow 

Soy un graduado de B.Sc. Uno de mis cursos fue 'Introducción al aprendizaje automático', y siempre quise hacer un proyecto personal en este tema. Recientemente escuché sobre diferentes entrenamientos de IA para jugar juegos como Mario, Go, etc. ¿Qué conocimiento necesito adquirir para entrenar un programa simple de IA para …

8 machine-learning  algorithms  beginner  reinforcement-learning  training 

En python sklearn, hay múltiples algoritmos (por ejemplo, regresión, bosque aleatorio ... etc.) que tienen el parámetro class_weight para manejar datos no balanceados. Sin embargo, no encuentro dicho parámetro para los algoritmos MLLib. ¿Existe un plan para implementar class_weight para algún algoritmo MLLib? ¿O hay algún enfoque en MLLib para …

8 machine-learning  apache-spark  unbalanced-classes  weighted-data 

Recientemente he aprendido cómo funcionaría una red neuronal vainilla, con un número dado de entradas, nodos ocultos y el mismo número de salidas que las entradas. He estado mirando varias publicaciones relacionadas con la red neuronal recurrente, y entiendo el concepto detrás de ella, pero no entiendo ciertas partes de …

8 machine-learning  python  neural-network  rnn 

Estoy usando el paquete keras para entrenar un LSTM para una serie de tiempo univariante de tipo numérico (flotante). Realizar un pronóstico anticipado de 1 paso es trivial, pero no estoy seguro de cómo realizar un pronóstico anticipado de 10 pasos, digamos. Dos preguntas: 1) Leí sobre NN de secuencia …

8 time-series  keras 

Mientras tomaba un curso en línea sobre aprendizaje automático por Andrew Ng en Coursera, me encontré con un tema llamado sobreajuste . Sé que puede ocurrir cuando se usa el descenso de gradiente en una regresión lineal o logística, pero ¿puede ocurrir cuando se usan algoritmos de optimización avanzada como …

8 machine-learning  regression  optimization  gradient-descent  overfitting 

Me pregunto por qué el entrenamiento de RNN generalmente no usa el 100% de la GPU. Por ejemplo, si ejecuto este punto de referencia RNN en un Maxwell Titan X en Ubuntu 14.04.4 LTS x64, la utilización de la GPU es inferior al 90%: El punto de referencia se lanzó …

8 performance  theano  rnn  gpu 

¿Qué métricas se pueden usar para evaluar los modelos de agrupación de texto? Solía tf-idf+ k-means, tf-idf+ hierarchical clustering, doc2vec+ k-means (metric is cosine similarity), doc2vec+ hierarchical clustering (metric is cosine similarity). ¿Cómo decidir qué modelo es el mejor?

8 machine-learning  clustering  text-mining 

Siento que esta es una pregunta rudimentaria, pero soy muy nuevo en esto y simplemente no he podido descifrarla / encontrar la respuesta. En última instancia, lo que intento hacer aquí es contar valores únicos en una determinada columna y luego determinar cuáles de esos valores únicos tienen más de …

8 python  pandas  indexing