Ciencia de los datos

Utilizo Python para ejecutar un modelo de bosque aleatorio en mi conjunto de datos desequilibrado (la variable de destino era una clase binaria). Al dividir el conjunto de datos de entrenamiento y prueba, luché si usar muestreo estratificado (como el código que se muestra) o no. Hasta ahora, observé en …

14 machine-learning  python  random-forest  sampling  training 

Parece que se ha convertido en axiomático que un conjunto de estudiantes conduce a los mejores resultados posibles del modelo, y cada vez es más raro, por ejemplo, que modelos individuales ganen competencias como Kaggle. ¿Existe una explicación teórica de por qué los conjuntos son tan efectivos?

14 machine-learning  data-mining  predictive-modeling 

Me gustaría saber cómo hacer coincidir las direcciones postales cuando su formato difiere o cuando uno de ellos está mal escrito. Hasta ahora he encontrado diferentes soluciones, pero creo que son bastante antiguas y poco eficientes. Estoy seguro de que existen algunos métodos mejores, por lo que si tiene referencias …

14 text-mining  data-cleaning 

Según el artículo de Hinton, entiendo que T-SNE hace un buen trabajo al mantener las similitudes locales y un trabajo decente en la preservación de la estructura global (clusterización). Sin embargo, no estoy claro si los puntos que aparecen más cerca en una visualización 2D t-sne pueden asumirse como puntos …

14 visualization  dimensionality-reduction  tsne  manifold 

Estoy trabajando en un problema de clasificación. Tengo un conjunto de datos que contiene el mismo número de variables categóricas y variables continuas. ¿Cómo sabré qué técnica usar? entre un árbol de decisión y una regresión logística? ¿Es correcto suponer que la regresión logística será más adecuada para la variable …

14 classification  logistic-regression  decision-trees 

Estoy buscando hacer clusters de k-means en un conjunto de puntos de 10 dimensiones. El truco: hay 10 ^ 10 puntos . Estoy buscando solo el centro y el tamaño de los grupos más grandes (digamos de 10 a 100 grupos); No me importa en qué grupo termina cada punto. …

14 clustering  k-means 

Tengo un conjunto de datos de usuarios que compran productos de un sitio web. Los atributos que tengo son la identificación del usuario, la región (estado) del usuario, la identificación de las categorías del producto, la identificación de las palabras clave del producto, la identificación de las palabras clave del …

14 machine-learning  data-mining  classification  clustering 

¿Hay alguna biblioteca de aprendizaje automático para Ruby que sea relativamente completa (incluida una amplia variedad de algoritmos para el aprendizaje supervisado y no supervisado), probada de manera sólida y bien documentada? Me encanta el scikit-learn de Python por su increíble documentación, pero un cliente preferiría escribir el código en …

14 machine-learning 

Tengo un conjunto de datos con las siguientes especificaciones: Conjunto de datos de entrenamiento con 193,176 muestras con 2,821 positivos Conjunto de datos de prueba con 82.887 muestras con 673 positivos Hay 10 características. Quiero realizar una clasificación binaria (0 o 1). El problema que enfrento es que los datos …

14 machine-learning  python  classification  logistic-regression 

Tengo un conjunto de datos binarios altamente sesgado: tengo 1000 veces más ejemplos de la clase negativa que la clase positiva. Me gustaría entrenar un conjunto de árboles (como árboles extra aleatorios o un bosque aleatorio) sobre estos datos, pero es difícil crear conjuntos de datos de entrenamiento que contengan …

14 machine-learning  feature-selection  unbalanced-classes 

Estoy tratando de entender cómo todos los componentes de "big data" juegan juntos en un caso de uso del mundo real, por ejemplo, hadoop, monogodb / nosql, storm, kafka, ... Sé que esta es una gama bastante amplia de herramientas utilizadas para diferentes tipos, pero me gustaría conocer más acerca …

14 machine-learning  bigdata  efficiency  scalability  distributed 

Para las redes neuronales tenemos el teorema de aproximación universal que establece que las redes neuronales pueden aproximarse a cualquier función continua en un subconjunto compacto de .RnRnorteR^n ¿Hay un resultado similar para los árboles impulsados ​​por gradiente? Parece razonable ya que puede seguir agregando más ramas, pero no puedo …

14 decision-trees 

Estoy entrenando una red neuronal convolucional para clasificar imágenes en condiciones de niebla (3 clases). Sin embargo, para cada una de aproximadamente 150,000 imágenes también tengo cuatro variables meteorológicas disponibles que podrían ayudar a predecir las clases de las imágenes. Me preguntaba cómo podría agregar las variables meteorológicas (por ejemplo, …

14 machine-learning  neural-network  deep-learning  tensorflow  cnn 

Si miro una de las muchas fuentes para las clases de Imagenet en Internet, no puedo encontrar una sola clase relacionada con los seres humanos (y no, el hombre de la cosecha no es alguien que cosecha, pero es lo que yo conocía como papá de piernas largas, una especie …

14 machine-learning  deep-learning  dataset  convnet  image-classification 

Tengo dos preguntas relacionadas con los árboles de decisión: Si tenemos un atributo continuo, ¿cómo elegimos el valor de división? Ejemplo: Edad = (20,29,50,40 ....) Imaginemos que tenemos una variable continua que tienen valores de R . ¿Cómo puedo escribir un algoritmo que encuentre el punto de división v , …

14 classification  data  decision-trees