Ciencia de los datos

Estoy tratando de aprender el raspado web usando Python por mí mismo como parte de un esfuerzo por aprender el análisis de datos. Estoy tratando de raspar la página web de imdb cuya url es la siguiente: http://www.imdb.com/search/title?sort=num_votes,desc&start=1&title_type=feature&year=1950,2012 Estoy usando el módulo BeautifulSoup. El siguiente es el código que estoy …

10 data-mining  python  scraping 

Estoy tratando de construir un conjunto de datos en varios archivos de registro de uno de nuestros productos. Los diferentes archivos de registro tienen su propio diseño y contenido; Los agrupé con éxito, solo quedaba un paso ... De hecho, los "mensajes" de registro son la mejor información. No tengo …

10 text-mining  clustering 

Descripción general del problema. Tengo un gráfico donde algunos vértices están etiquetados con un tipo con 3 o 4 valores posibles. Para los otros vértices, el tipo es desconocido. Mi objetivo es usar el gráfico para predecir el tipo de vértices que no están etiquetados. Marco posible Sospecho que esto …

10 classification  r  graphs 

Estoy tratando de configurar una infraestructura de big data usando Hadoop, Hive, Elastic Search (entre otros), y me gustaría ejecutar algunos algoritmos en ciertos conjuntos de datos. Me gustaría que los algoritmos en sí sean escalables, por lo que esto excluye el uso de herramientas como Weka, R o incluso …

10 data-mining  bigdata  algorithms  outlier 

Estoy buscando paquetes (ya sea en python, R o un paquete independiente) para realizar el aprendizaje en línea para predecir datos de existencias. Encontré y leí sobre Vowpal Wabbit ( https://github.com/JohnLangford/vowpal_wabbit/wiki ), lo cual parece ser bastante prometedor, pero me pregunto si hay otros paquetes disponibles. Gracias por adelantado.

10 machine-learning  online-learning 

Tengo miles de listas de cadenas, y cada lista tiene alrededor de 10 cadenas. La mayoría de las cadenas en una lista dada son muy similares, aunque algunas cadenas (rara vez) no están completamente relacionadas con las demás y algunas cadenas contienen palabras irrelevantes. Pueden considerarse variaciones ruidosas de una …

10 nlp  similarity  information-retrieval 

He estado desarrollando un programa de ajedrez que utiliza el algoritmo de poda alfa-beta y una función de evaluación que evalúa las posiciones utilizando las siguientes características, a saber, material, seguridad real, movilidad, estructura de peones y piezas atrapadas, etc. Mi función de evaluación es derivado de la F( p …

10 machine-learning  algorithms  reinforcement-learning 

Advertencia: soy un principiante completo cuando se trata de aprendizaje automático, pero estoy ansioso por aprender. Tengo un gran conjunto de datos y estoy tratando de encontrar un patrón en él. Es posible que exista / no una correlación entre los datos, ya sea con variables conocidas o con variables …

10 machine-learning  data-mining  tools  beginner 

He estado analizando un conjunto de datos de ~ 400k registros y 9 variables. La variable dependiente es binaria. He ajustado una regresión logística, un árbol de regresión, un bosque aleatorio y un árbol impulsado por gradiente. Todos ellos dan virtualmente idénticos números de bondad de ajuste cuando los valido …

10 data-mining  classification  binary 

¿Existe una tabla general conocida de técnicas estadísticas que explique cómo se escalan con el tamaño y la dimensión de la muestra? Por ejemplo, un amigo mío me dijo el otro día que el tiempo de cálculo de simplemente clasificar rápidamente datos unidimensionales de tamaño n es n * log …

10 bigdata  statistics  efficiency  scalability 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Data Science Stack Exchange. Cerrado hace 5 años . Quiero convertirme en un científico de datos . Estudié estadística aplicada (ciencia actuarial), así …

10 machine-learning  statistics  career 

Me gustaría utilizar datos no atómicos, como una característica para una predicción. Supongamos que tengo una tabla con estas características: - Column 1: Categorical - House - Column 2: Numerical - 23.22 - Column 3: A Vector - [ 12, 22, 32 ] - Column 4: A Tree - [ …

10 machine-learning 

Me gustaría utilizar ANN para automatizar el comercio de divisas, preferiblemente USD / EUR o USD / GBP. Sé que esto es difícil y puede que no sea sencillo. Ya leí algunos documentos y realicé algunos experimentos, pero sin mucha suerte. Me gustaría recibir consejos de EXPERTOS para que esto …

10 neural-network 

Estoy trabajando en un sistema de detección de fraude. En este campo, aparecen nuevos fraudes regularmente, por lo que se deben agregar nuevas características al modelo de manera continua. Me pregunto cuál es la mejor manera de manejarlo (desde la perspectiva del proceso de desarrollo). Simplemente agregar una nueva característica …

10 machine-learning  bigdata 

Estoy trabajando en un proyecto y necesito recursos para ponerme al día. El conjunto de datos es de alrededor de 35000 observaciones en aproximadamente 30 variables. Aproximadamente la mitad de las variables son categóricas y algunas tienen muchos valores posibles diferentes, es decir, si divide las variables categóricas en variables …

10 r  logistic-regression