Ciencia de los datos

Tengo 2 conjuntos de datos, uno con instancias positivas de lo que me gustaría detectar y otro con instancias sin etiquetar. ¿Qué métodos puedo usar? Como ejemplo, supongamos que queremos entender detectar correo electrónico no deseado en función de algunas características de correo electrónico estructurado. Tenemos un conjunto de datos …

11 classification  semi-supervised-learning 

Estoy tratando de resolver un conjunto de ecuaciones que tiene 40 variables independientes (x1, ..., x40) y una variable dependiente (y). El número total de ecuaciones (número de filas) es ~ 300, y quiero resolver el conjunto de 40 coeficientes que minimiza el error total de la suma del cuadrado …

11 machine-learning  regression  algorithms  genetic 

A menudo estoy construyendo un modelo (clasificación o regresión) donde tengo algunas variables predictoras que son secuencias y he estado tratando de encontrar recomendaciones técnicas para resumirlas de la mejor manera posible para su inclusión como predictores en el modelo. Como ejemplo concreto, supongamos que se está construyendo un modelo …

11 machine-learning  feature-selection  time-series 

Por lo tanto, tenemos el potencial para una aplicación de aprendizaje automático que se adapte bastante bien al dominio del problema tradicional resuelto por los clasificadores, es decir, tenemos un conjunto de atributos que describen un elemento y un "cubo" en el que terminan. Sin embargo, en lugar de crear …

11 machine-learning  classification 

Pensé que el modelo lineal generalizado (GLM) se consideraría un modelo estadístico, pero un amigo me dijo que algunos documentos lo clasifican como una técnica de aprendizaje automático. ¿Cuál es verdadero (o más preciso)? Cualquier explicación sería apreciada.

11 machine-learning  statistics  glm 

En nuestra empresa, tenemos una base de datos MongoDB que contiene una gran cantidad de datos no estructurados, en los que necesitamos ejecutar algoritmos de reducción de mapas para generar informes y otros análisis. Tenemos dos enfoques para seleccionar para implementar los análisis requeridos: Un enfoque es extraer los datos …

11 scalability  apache-hadoop  map-reduce  mongodb 

Usando una capa múltiple LSTMcon caída, ¿es aconsejable colocar la caída en todas las capas ocultas, así como en las capas densas de salida? En el artículo de Hinton (que proponía Dropout) solo puso Dropout en las capas densas, pero eso fue porque las capas internas ocultas eran convolucionales. Obviamente, …

11 neural-network  lstm  rnn  dropout  stacked-lstm 

Como parte de mi investigación, estoy interesado en realizar la propagación de etiquetas en un gráfico. Estoy especialmente interesado en esos dos métodos: Xiaojin Zhu y Zoubin Ghahramani. Aprendizaje de datos etiquetados y no etiquetados con propagación de etiquetas Informe técnico CMU-CALD-02-107, Carnegie Mellon University, 2002 http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf Dengyong Zhou, Olivier …

11 scikit-learn  graphs 

Estoy convirtiendo un corpus de documentos de texto en vectores de palabras para cada documento. He intentado esto usando un TfidfVectorizer y un HashingVectorizer Entiendo que a HashingVectorizerno toma en cuenta los IDFpuntajes como lo TfidfVectorizerhace. La razón por la que todavía estoy trabajando con a HashingVectorizeres la flexibilidad que …

11 nlp  scikit-learn  text-mining  tfidf 

Estoy un poco confundido por la coexistencia de métricas de pérdida y precisión en redes neuronales. Se supone que ambos representan la "exactitud" de la comparación de y , ¿no es así? Entonces, ¿no es la aplicación de los dos redundantes en las épocas de entrenamiento? Además, ¿por qué no …

11 neural-network  evaluation 

Soy nuevo en TensorFlow y necesito comprender las capacidades y las deficiencias de TensorFlow antes de poder usarlo. Sé que es un marco de aprendizaje profundo, pero aparte de lo que otros algoritmos de aprendizaje automático podemos usar con el flujo de tensor. Por ejemplo, ¿podemos usar SVM o bosques …

11 machine-learning 

Estoy tratando de averiguar cuántos pesos y sesgos se necesitan para CNN. Digamos que tengo una imagen (3, 32, 32) y quiero aplicar un filtro (32, 5, 5). Para cada mapa de características tengo 5x5 pesos, por lo que debería tener 3 x (5x5) x 32 parámetros. Ahora necesito agregar …

11 deep-learning  convnet  backpropagation 

Cuando intento hacer, por ejemplo, una clasificación, mi enfoque actualmente es pruebe varios algoritmos primero y compárelos realizar una selección de características en el mejor algoritmo del 1 anterior ajustar los parámetros usando las características y el algoritmo seleccionados Sin embargo, a menudo no puedo convencerme de que puede haber …

11 feature-selection  parameter-estimation 

Supongamos que tengo una función suave como F( x , y) = x2+ y2F(X,y)=X2+y2f(x, y) = x^2+y^2 . Tengo un conjunto de entrenamiento y, por supuesto, no sé f, aunque puedo evaluar f donde quiera.D ⊊ { ( ( x , y) , f( x , y) ) | ( …

11 predictive-modeling  regression  decision-trees 

Estoy usando el cuaderno Ipython para trabajar con aplicaciones pyspark. Tengo un archivo CSV con muchas columnas categóricas para determinar si el ingreso cae por debajo o por encima del rango de 50k. Me gustaría realizar un algoritmo de clasificación tomando todas las entradas para determinar el rango de ingresos. …

11 python  apache-spark  categorical-data  pyspark