Ciencia de los datos

Tengo una gran cantidad de muestras que representan flujos de bits codificados Manchester como señales de audio. La frecuencia a la que están codificados es el componente de frecuencia principal cuando es alta, y hay una cantidad constante de ruido blanco en el fondo. He decodificado manualmente estas secuencias, pero …

9 machine-learning  data-mining  scalability  algorithms  feature-selection 

Tengo un gran conjunto de datos de una base de datos relacional para la que necesito crear un modelo de clasificación. Normalmente para esta situación, usaría Programación Lógica Inductiva (ILP), pero debido a circunstancias especiales no puedo hacer eso. La otra forma de abordar esto sería tratar de agregar los …

9 data-mining  classification  relational-dbms 

Un sistema de recomendaciones mantiene un registro de las recomendaciones que se han hecho a un usuario en particular y si ese usuario acepta la recomendación. Es como user_id item_id result 1 4 1 1 7 -1 5 19 1 5 80 1 donde 1 significa que el usuario aceptó …

9 recommender-system 

Soy nuevo en esta comunidad y espero que mi pregunta encaje bien aquí. Como parte de mi curso universitario de análisis de datos, he optado por hacer el proyecto de reconocimiento de la actividad humana utilizando conjuntos de datos de teléfonos inteligentes. En lo que a mí respecta, este tema …

9 bigdata  machine-learning  databases  clustering  data-mining 

Soy un doctorado en matemáticas. estudiante que está interesado en ir a la industria como Data Scientist después de graduarse. Daré brevemente algunos antecedentes sobre mi educación antes de plantear mi pregunta, para que se entienda mejor: Cursos de matemáticas: Esto ha sido principalmente en matemática pura: topología, análisis funcional, …

9 machine-learning  deep-learning  data-cleaning  data-analysis  reference-request 

Estoy desarrollando un modelo de predicción utilizando Java Weka api. Puedo predecir la clase para la nueva instancia usando el siguiente código: double predictClass = classifer.classifyInstance(instance) Sin embargo, necesito la probabilidad de clase en lugar del valor de la clase. Gracias de antemano por su apoyo.

9 classification  java  weka 

En el artículo Super-resolución de imagen única fotorrealista utilizando una red generativa adversaria de Christian Ledig et al., La distancia entre imágenes (utilizada en la función de pérdida) se calcula a partir de mapas de características extraídos de la red VGG19. Los dos utilizados en el artículo son (un poco …

9 deep-learning  cnn  gan 

Dado que el método interpolar y llenar hace el mismo trabajo de llenar valores n. ¿Cuál es la diferencia básica entre los dos? ¿Cuál es el significado de tener estos dos métodos diferentes? ¿Alguien puede explicarme en términos simples? Ya visité la documentación oficial y quería saber la diferencia.

9 python  bigdata  pandas  jupyter 

Supongamos que tengo un conjunto de señales en el dominio del tiempo sin absolutamente ninguna etiqueta . Quiero agruparlos en 2 o 3 clases. Los codificadores automáticos son redes sin supervisión que aprenden a comprimir las entradas. Entonces dado una entradax(i)x(i)x^{(i)}pesas W1W1W_1 y W2W2W_2sesgos b1b1b_1 y b2b2b_2y salida x^(i)x^(i)\hat{x}^{(i)}, podemos …

9 neural-network  clustering  time-series  unsupervised-learning  autoencoder 

Tengo un conjunto de datos con 19 columnas y aproximadamente 250k filas. He trabajado con conjuntos de datos más grandes, pero esta vez, Pandas decidió jugar con mis nervios. Traté de dividir el conjunto de datos original en 3 subtramas de datos basados ​​en algunas reglas simples. Sin embargo, lleva …

9 python  pandas  performance 

Tengo datos de entrenamiento que están etiquetados con valores binarios. También he recopilado la confianza de cada una de estas etiquetas, es decir, 0,8 de confianza significaría que el 80% de los etiquetadores humanos están de acuerdo con esa etiqueta. ¿Es posible utilizar estos datos de confianza para mejorar la …

9 machine-learning  classification  regression  scikit-learn  svm 

Los expertos en mi campo son capaces de predecir la probabilidad de un evento (pico binario en amarillo) 30 minutos antes de que ocurra . La frecuencia aquí es de 1 segundo, esta vista representa unas pocas horas de datos, he marcado en un círculo en negro donde debería estar …

9 machine-learning  python  predictive-modeling  time-series  scikit-learn 

Estaba leyendo el material relacionado con XGBoost. Parece que este método no requiere ninguna escala variable ya que se basa en árboles y este puede capturar patrones complejos de no linealidad, interacciones. Y puede manejar variables numéricas y categóricas y también parece que las variables redundantes no afectan demasiado este …

9 xgboost  feature-engineering 

Siento que esta pregunta está relacionada con la teoría detrás de la validación cruzada. Presento mi hallazgo empírico aquí y escribí una pregunta relacionada con la teoría de la validación cruzada allí . Tengo dos modelos M1 y M2, utilizo el mismo conjunto de datos para entrenarlos y realizar la …

9 cross-validation 

Tengo un DataFrame con IDF de ciertas palabras calculadas. Por ejemplo (10,[0,1,2,3,4,5],[0.413734499590671,0.4244680552337798,0.4761400657781007, 1.4004620708967006,0.37876590175292424,0.48374466516332]) .... and so on Ahora proporcione una consulta Q, puedo calcular el TF-IDF de esta consulta. ¿Cómo calculo la similitud de coseno de la consulta con todos los documentos en el marco de datos (hay cerca de …

9 machine-learning  nlp  apache-spark  cosine-distance