Ciencia de los datos

Supongamos que tenemos un conjunto de elementos E y una similitud ( no lejos ) la función SIM (ei, ej) entre dos elementos de la IE, EJ ∈ E . ¿Cómo podríamos (eficientemente) agrupar los elementos de E , usando sim ? k- significa, por ejemplo, requiere una k dada …

17 clustering  algorithms  similarity 

La división de validación en la función de ajuste del modelo secuencial de Keras se documenta de la siguiente manera en https://keras.io/models/sequential/ : validation_split: flota entre 0 y 1. Fracción de los datos de entrenamiento que se utilizarán como datos de validación. El modelo separará esta fracción de los datos …

17 keras  data  cross-validation 

Considere una red neuronal: Para un conjunto de datos dado, lo dividimos en entrenamiento, validación y conjunto de pruebas. Supongamos que lo hacemos en la clásica relación 60:20:20, luego evitamos el sobreajuste al validar la red verificándola en el conjunto de validación. Entonces, ¿cuál es la necesidad de probarlo en …

17 machine-learning  neural-network  cross-validation 

Estoy tratando de calcular la cantidad de memoria que necesita una GPU para entrenar mi modelo en base a estas notas de Andrej Karphaty: http://cs231n.github.io/convolutional-networks/#computational-considerations Mi red tiene 532,752 activaciones y 19,072,984 parámetros (pesos y sesgos). Todos estos son valores flotantes de 32 bits, por lo que cada uno ocupa …

17 deep-learning  tensorflow 

Me pregunto si hay alguna heurística en el número de características versus el número de observaciones. Obviamente, si un número de características es igual al número de observaciones, el modelo se sobreajustará. Mediante el uso de métodos dispersos (LASSO, red elástica) podemos eliminar varias características para reducir el modelo. Mi …

17 feature-selection  model-selection 

Tengo algunas dificultades para derivar la propagación hacia atrás con ReLU, e hice algo de trabajo, pero no estoy seguro de si estoy en el camino correcto. Función de costo: 12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2, dondeyyyes el valor real, y Y es un valor predicho. También suponga quex> 0 siempre.y^y^\hat yxxx 1 capa …

17 neural-network  backpropagation 

Estoy trabajando en el reconocimiento de voz con Tensorflow y planeo entrenar LSTM NN con un conjunto de datos de ondas masivas. Debido a las ganancias de rendimiento, planeo usar tfrecords. Hay varios ejemplos en Internet (Inception for ej.) Donde los archivos de registro se dividen en fragmentos. Mi pregunta …

17 python  tensorflow 

Tengo características dispersas que son predictivas, también tengo algunas características densas que también son predictivas. Necesito combinar estas características para mejorar el rendimiento general del clasificador. Ahora, cuando trato de combinar estos elementos, las características densas tienden a dominar más que las características dispersas, por lo tanto, solo proporcionan un …

17 machine-learning  classification  predictive-modeling  scikit-learn  supervised-learning 

Estoy haciendo un proyecto sobre el problema de identificación del autor. Había aplicado la normalización tf-idf para entrenar datos y luego entrené un svm en esos datos. Ahora, al usar el clasificador, también debería normalizar los datos de prueba. Creo que el objetivo básico de la normalización es hacer que …

17 machine-learning  neural-network  deep-learning 

¿Existe un paquete completo de código abierto (preferiblemente en python o R) que pueda usarse para la detección de anomalías en series de tiempo? Hay un paquete SVM de una clase en scikit-learn, pero no es para datos de series temporales. Estoy buscando paquetes más sofisticados que, por ejemplo, utilicen …

17 python  time-series  anomaly-detection 

¿Alguien puede publicar un ejemplo directo de Keras usando una devolución de llamada para guardar un modelo después de cada época? Puedo encontrar ejemplos de ahorro de pesas, pero quiero poder guardar un modelo completamente funcional después de cada época de entrenamiento.

17 python  keras 

¿Cómo puedo obtener el número de valores faltantes en cada fila en el marco de datos de Pandas? Me gustaría dividir el marco de datos en diferentes marcos de datos que tengan el mismo número de valores faltantes en cada fila. ¿Cualquier sugerencia?

17 python  pandas 

Tengo un conjunto de datos con 3 clases con los siguientes elementos: Clase 1: 900 elementos Clase 2: 15000 elementos. Clase 3: 800 elementos Necesito predecir la clase 1 y la clase 3, que indican desviaciones importantes de la norma. La clase 2 es el caso "normal" predeterminado que no …

17 neural-network  pytorch 

Estoy construyendo un flujo de trabajo para crear modelos de aprendizaje automático (en mi caso, usando Python pandasy sklearnpaquetes) a partir de datos extraídos de una base de datos muy grande (aquí, Vertica a través de SQL y pyodbc), y un paso crítico en ese proceso implica que faltan valores …

16 machine-learning  python  pandas  scikit-learn 

Soy consciente de que Keras sirve como una interfaz de alto nivel para TensorFlow. Pero me parece que los keras pueden hacer muchas funcionalidades por sí mismos (entrada de datos, creación de modelos, capacitación, evaluación). Además, parte de la funcionalidad de TensorFlow se puede portar directamente a keras (por ejemplo, …

16 keras  tensorflow