Ciencia de los datos

Hay una pregunta similar aquí en CrossValidated, y he leído las respuestas. Mi pregunta es un poco diferente. No quiero simplemente visualizar mis datos, y de hecho lo que quiero visualizar no es fácil de visualizar con ninguno de los paquetes. Tengo dos conjuntos de puntos ( coordenadas ) en …

10 r  visualization  ggplot2 

He estado tratando de entender los diferentes algoritmos de agrupación de k-means que se implementan principalmente en el statspaquete del Rlenguaje. Entiendo el algoritmo de Lloyd y el algoritmo en línea de MacQueen. La forma en que los entiendo es la siguiente: Algoritmo de Lloyd: Inicialmente, se eligen observaciones aleatorias …

10 r  clustering  k-means 

A menudo uso Nose, Tox o Unittest cuando pruebo mi código de Python, especialmente cuando tiene que integrarse con otros módulos u otras piezas de código. Sin embargo, ahora que me he encontrado usando R más que python para el modelado y desarrollo de ML. Me di cuenta de que …

10 r  software-development 

Aprendo mejor a través de la experimentación y el ejemplo. Estoy aprendiendo acerca de las redes neuronales y tengo (lo que creo) es una comprensión bastante buena de la clasificación y la regresión y también el aprendizaje supervisado y no supervisado, pero me he topado con algo que no puedo …

10 machine-learning  neural-network 

Me asignaron esta tarea para analizar los registros del servidor de nuestra aplicación que contiene registros de excepciones, registros de eventos, registros de base de datos, etc. Soy nuevo en el aprendizaje automático, utilizamos Spark con búsqueda elástica y Sparks MLlib (o PredictionIO) .Un ejemplo de lo deseado el resultado …

10 machine-learning  predictive-modeling  apache-spark 

Estoy buscando diseñar un sistema que, dado un párrafo de texto, pueda clasificarlo e identificar el contexto: Está entrenado con párrafos de texto generados por el usuario (como comentarios / preguntas / respuestas) Se etiquetará cada elemento del conjunto de entrenamiento. Entonces, por ejemplo, ("categoría 1", "párrafo de texto") Habrá …

10 neural-network  text-mining  multiclass-classification  word-embeddings 

Ya tengo una implementación para un solo agente que trabaja en un problema de fijación de precios dinámico con el objetivo de maximizar los ingresos. Sin embargo, el problema con el que estoy trabajando implica varios productos diferentes que son reemplazos entre sí, por lo que el precio dinámico de …

10 machine-learning  reinforcement-learning 

Acabo de leer el artículo de Geoff Hinton sobre la transformación de autoencoders Hinton, Krizhevsky y Wang: Transformando codificadores automáticos . En Redes Neuronales Artificiales y Aprendizaje Automático, 2011. y me gustaría jugar con algo como esto. Pero después de leerlo, no pude obtener suficientes detalles del documento sobre cómo …

10 neural-network  deep-learning  autoencoder 

Tengo un marco de datos de pandas (X11) como este: en realidad tengo 99 columnas hasta dx99 dx1 dx2 dx3 dx4 0 25041 40391 5856 0 1 25041 40391 25081 5856 2 25041 40391 42822 0 3 25061 40391 0 0 4 25041 40391 0 5856 5 40391 25002 5856 …

10 python  data-cleaning  pandas  anaconda 

Tener un corpus de más de un millón de documentos. Para un documento dado, desea encontrar documentos similares usando coseno como en el modelo de espacio vectorial re1⋅ d2/ ( | | d1El | El | El | El | re2El | El | )d1⋅d2/(||d1||||d2||)d_1 \cdot d_2 / ( ||d_1|| …

10 text-mining  similarity 

Vi algunos resultados impresionantes de los modelos LSTM que producen textos similares a Shakespeare. Me preguntaba si existe un paquete LSTM para R. Busqué en Google pero solo encontré paquetes para Python y Julia. (tal vez haya algún problema de rendimiento que explique por qué estos programas son más preferidos …

10 r  neural-network  rnn 

Estoy buscando un sitio web o libro donde se dan varios ejemplos prácticos paso a paso, explicando cómo eligen las características relevantes, el procedimiento de selección del modelo, etc.

10 machine-learning  feature-selection 

Tengo un gran conjunto de datos con 9 millones de objetos JSON a ~ 300 bytes cada uno. Son publicaciones de un agregador de enlaces: básicamente enlaces (una URL, título e identificación del autor) y comentarios (texto e identificación del autor) + metadatos. Bien podrían ser registros relacionales en una …

10 data-mining  bigdata  databases  sql  mongodb 

Tengo un corpus de texto con los temas correspondientes. Por ejemplo, "A rapper Tupac was shot in LA"y fue etiquetado como ["celebrity", "murder"]. Entonces, básicamente, cada vector de entidades puede tener muchas etiquetas (no la misma cantidad. El primer vector de entidades puede tener 3 etiquetas, la segunda 1, la …

10 machine-learning  text-mining 

Tengo un gran conjunto de datos que necesito dividir en grupos de acuerdo con parámetros específicos. Quiero que el trabajo se procese de la manera más eficiente posible. Puedo imaginar dos formas de hacerlo Opción 1 : crear un mapa a partir del RDD original y filtrar def customMapper(record): if …

10 apache-spark  pyspark