Estadísticas y Big Data machine-learning

3

¿Cuál es la forma más eficiente de entrenar datos usando menos memoria?

Estos son mis datos de entrenamiento: 200,000 Ejemplos x 10,000 Características. Entonces mi matriz de datos de entrenamiento es - 200,000 x 10,000. Logré guardar esto en un archivo plano sin tener problemas de memoria guardando cada conjunto de datos uno por uno (un ejemplo tras otro) a medida que …

10 machine-learning dataset algorithms python

2

Regularización norma y estudio empírico norma

Hay muchos métodos para llevar a cabo la regularización - , y regularización basada norma, por ejemplo. Según Friedman Hastie & Tibsharani , el mejor regularizador depende del problema: a saber, la naturaleza de la verdadera función objetivo, la base particular utilizada, la relación señal / ruido y el tamaño …

10 r regression machine-learning regularization

3

Cómo comparar la precisión de dos modelos diferentes usando significación estadística

Estoy trabajando en la predicción de series de tiempo. Tengo dos conjuntos de datos y . Tengo tres modelos de predicción: . Todos esos modelos se entrenan utilizando muestras en el conjunto de datos , y su rendimiento se mide utilizando las muestras en el conjunto de datos . Digamos …

10 time-series machine-learning statistical-significance classification model-evaluation

3

Con respecto al uso del modelo bigram (N-gram) para construir un vector de características para documentos de texto

Un enfoque tradicional de construcción de características para la minería de texto es el enfoque de bolsa de palabras, y puede mejorarse usando tf-idf para configurar el vector de características que caracteriza un documento de texto dado. En la actualidad, estoy tratando de usar el modelo de lenguaje bi-gram o …

10 machine-learning data-mining text-mining natural-language language-models

1

Más allá de los granos de Fisher

Durante un tiempo, parecía que Fisher Kernels podría volverse popular, ya que parecían ser una forma de construir núcleos a partir de modelos probabilísticos. Sin embargo, rara vez los he visto utilizados en la práctica, y tengo la buena autoridad de que tienden a no funcionar muy bien. Se basan …

10 machine-learning probability kernel-trick generative-models

1

Manejo de conjuntos de datos de series temporales muy grandes

Tengo acceso a un conjunto de datos muy grande. Los datos provienen de grabaciones MEG de personas que escuchan extractos musicales, de uno de los cuatro géneros. Los datos son los siguientes: 6 sujetos 3 repeticiones experimentales (épocas) 120 ensayos por época 8 segundos de datos por prueba a 500Hz …

10 machine-learning feature-selection large-data feature-construction

3

¿Enfoques al aprender de grandes conjuntos de datos?

Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos decrecientes: el rendimiento predictivo del …

10 machine-learning large-data model-evaluation train

1

¿Son los MFCC el método óptimo para representar música en un sistema de recuperación?

Una técnica de procesamiento de señales, la frecuencia de Mel Cepstrum , se usa a menudo para extraer información de una pieza musical para usarla en una tarea de aprendizaje automático. Este método proporciona un espectro de potencia a corto plazo, y los coeficientes se utilizan como entrada. Al diseñar …

10 machine-learning classification signal-processing mfcc

8

¿Qué algoritmo podría usarse para predecir el uso de consumibles dados los datos de compras pasadas?

Pensando en un problema supuestamente simple pero interesante, me gustaría escribir un código para pronosticar los consumibles que necesitaré en el futuro cercano dado el historial completo de mis compras anteriores. Estoy seguro de que este tipo de problema tiene una definición más genérica y bien estudiada (alguien sugirió que …

10 time-series machine-learning forecasting

6

Compare R-cuadrado de dos modelos diferentes de Random Forest

Estoy usando el paquete randomForest en R para desarrollar un modelo de bosque aleatorio para tratar de explicar un resultado continuo en un conjunto de datos "amplio" con más predictores que muestras. Específicamente, estoy ajustando un modelo de RF que permite que el procedimiento seleccione de un conjunto de ~ …

10 r machine-learning hypothesis-testing model-selection random-forest

2

¿Justificación del uso de AUC?

Especialmente en el lado orientado a la informática de la literatura de aprendizaje automático, el AUC (área bajo la curva característica del operador receptor) es un criterio popular para evaluar clasificadores. ¿Cuáles son las justificaciones para usar las AUC? Por ejemplo, ¿hay una función de pérdida particular para la cual …

10 machine-learning roc

1

Importancia de los coeficientes de regresión (GAM) cuando la probabilidad del modelo no es significativamente mayor que nula

Estoy ejecutando una regresión basada en GAM usando el paquete R gamlss y suponiendo una distribución beta de los datos inflada a cero. Tengo sólo una única variable explicativa en mi modelo, por lo que es básicamente: mymodel = gamlss(response ~ input, family=BEZI). El algoritmo me da el coeficiente para …

10 nonlinear-regression gamlss machine-learning svm

2

Los mejores métodos de selección de características para la regresión no paramétrica

Una pregunta para novatos aquí. Actualmente estoy realizando una regresión no paramétrica usando el paquete np en R. Tengo 7 características y usando un enfoque de fuerza bruta identifiqué las mejores 3. ¡Pero pronto tendré muchas más de 7 características! Mi pregunta es cuáles son los mejores métodos actuales para …

10 r machine-learning nonparametric feature-selection

1

¿Ejemplos documentados / reproducibles de aplicaciones exitosas del mundo real de métodos econométricos?

Esta pregunta puede sonar muy amplia, pero esto es lo que estoy buscando. Sé que hay muchos libros excelentes sobre métodos econométricos y muchos artículos expositivos excelentes sobre técnicas econométricas. Incluso hay excelentes ejemplos reproducibles de econometría, como se describe en esta pregunta CrossValidated . De hecho, los ejemplos en …

10 r machine-learning forecasting data-mining econometrics

4

Construyendo interfaces MATLAB y R para C5.0 de Ross Quinlan

Estoy pensando en la creación de interfaces de MATLAB y R a Ross Quinlan 's C5.0 (para aquellos que no están familiarizados con ella, C5.0 es un paquete algoritmo de árbol de decisión y el software; una extensión de C4.5 ), y yo estoy tratando de tener una idea de …

10 r machine-learning matlab

Preguntas etiquetadas con machine-learning