Ciencia de los datos

Tengo un proyecto de clasificación de documentos donde obtengo contenido del sitio y luego asigno una de las numerosas etiquetas al sitio web de acuerdo con el contenido. Descubrí que tf-idf podría ser muy útil para esto. Sin embargo, no estaba seguro de cuándo exactamente usarlo. Asumiendo que un sitio …

8 classification  feature-selection  feature-extraction 

Estoy tratando de encontrar una buena (y rápida) solución al siguiente problema: Tengo dos modelos con los que estoy trabajando, llamémosles jugadores y equipos. Un jugador puede estar en varios equipos y un equipo puede tener varios jugadores). Estoy trabajando en la creación de un elemento de interfaz de usuario …

8 graphs 

Estoy trabajando en un problema de clasificación de texto usando Random Forest como clasificadores, y un enfoque de bolsa de palabras. Estoy usando la implementación básica de Random Forests (el presente en scikit), que crea una condición binaria en una sola variable en cada división. Dado esto, ¿hay alguna diferencia …

8 classification  text-mining  random-forest 

Estoy buscando elegir mi carrera en el área de la ciencia de la decisión o el modelo predictivo y soy consciente de que esto está basado en una especie de opinión, pero me gustaría que algunos expertos me sugieran que puedo usarlo para construir mi carrera en el camino correcto. …

8 education  beginner  career 

Tengo una cadena HTML y quiero saber si una palabra que proporciono es relevante en esa cadena. La relevancia podría medirse según la frecuencia en el texto. Un ejemplo para ilustrar mi problema: this is an awesome bike store bikes can be purchased online. the bikes we own rock. check …

8 machine-learning  data-mining 

Estoy intentando usar el paquete tm para convertir un vector de cadenas de texto en un elemento de corpus. Mi código se parece a esto Corpus(d1$Yes) donde d1$Yeses un factor con 124 niveles, cada uno con una cadena de texto. Por ejemplo, d1$Yes[246] = "So we can get the boat …

8 r  text-mining 

Estas son 4 matrices de peso diferentes que obtuve después de entrenar una máquina de Boltzman restringida (RBM) con ~ 4k unidades visibles y solo 96 unidades ocultas / vectores de peso. Como puede ver, los pesos son extremadamente similares, incluso se reproducen píxeles negros en la cara. Los otros …

8 rbm 

Bueno, este parece ser el lugar más adecuado para esta pregunta. Todos los sitios web recopilan datos del usuario, algunos solo para uso y personalización, pero la mayoría, como las redes sociales, rastrean cada movimiento en la web, algunas aplicaciones gratuitas en su teléfono escanean mensajes de texto, historial de …

8 data-mining 

Hice una pregunta similar sobre la distancia entre "documentos" (artículos de Wikipedia, noticias, etc.). Hice esta pregunta por separado porque las consultas de búsqueda son considerablemente más pequeñas que los documentos y son mucho más ruidosas. Por lo tanto, no sé (y dudo) si las mismas métricas de distancia se …

8 machine-learning  nlp  search 

¿Cuáles son las diferentes clases de problemas de ciencia de datos que se pueden resolver utilizando el modelo de programación mapreduce?

8 apache-hadoop  map-reduce 

Tengo una carga de documentos, que tienen una carga de pares de valores clave en ellos. Es posible que la clave no sea única, por lo que puede haber varias claves del mismo tipo con valores diferentes. Quiero comparar la similitud de las claves entre 2 documentos. Más específicamente, la …

8 algorithms  similarity 

¿Alguien sabe algunos buenos tutoriales sobre técnicas de aprendizaje automático en línea? Es decir, cómo se puede usar en entornos en tiempo real, cuáles son las diferencias clave en comparación con los métodos normales de aprendizaje automático, etc. UPD: Gracias a todos por las respuestas, por "en línea" me refiero …

8 machine-learning  education  beginner 

Revisando la presentación y el material de Summingbird por Twitter, una de las razones que se mencionan para usar los clústeres de Storm y Hadoop juntos en Summingbird es que el procesamiento a través de Storm produce una cascada de errores. Para evitar esta cascada de errores y su acumulación, …

8 bigdata  apache-hadoop 

Tengo un conjunto de datos de series temporales de un sensor que aumenta linealmente, con rangos de valores entre 50 y 150. Implementé un algoritmo de regresión lineal simple para ajustar una línea de regresión en dichos datos, y estoy prediciendo la fecha en que la serie alcanzaría 120 Todo …

8 machine-learning  statistics  time-series 

Estoy desarrollando un sistema que pretende capturar el "contexto" de la actividad del usuario dentro de una aplicación; Es un marco que las aplicaciones web pueden usar para etiquetar la actividad del usuario en función de las solicitudes realizadas al sistema. Se espera que estos datos puedan potenciar las características …

8 feature-selection