Estadísticas y Big Data

Recientemente me encontré con un artículo que propone usar un clasificador k-NN en un conjunto de datos específico. Los autores utilizaron todas las muestras de datos disponibles para realizar la validación cruzada de k veces para diferentes valores de k e informar los resultados de la validación cruzada de la …

31 cross-validation  references  model-selection  model-evaluation 

Tengo un CNN de cuatro capas para predecir la respuesta al cáncer utilizando datos de resonancia magnética. Uso activaciones ReLU para introducir no linealidades. La precisión y la pérdida del tren aumentan y disminuyen monotónicamente, respectivamente. Pero, la precisión de mi prueba comienza a fluctuar salvajemente. He intentado cambiar la …

31 machine-learning  python  deep-learning 

Soy muy nuevo en las estadísticas bayesianas, y esta puede ser una pregunta tonta. Sin embargo: Considere un intervalo creíble con un previo que especifique una distribución uniforme. Por ejemplo, de 0 a 1, donde 0 a 1 representa el rango completo de valores posibles de un efecto. En este …

31 bayesian  confidence-interval  estimation  prior  credible-interval 

Estaba tratando de aprender el aprendizaje automático usando el material de Coursera . En esta conferencia, Andrew Ng usa un algoritmo de descenso de gradiente para encontrar los coeficientes del modelo de regresión lineal que minimizará la función de error (función de costo). Para la regresión lineal, ¿necesitamos un descenso …

31 regression  machine-learning  linear-model  gradient-descent 

He visto el otro hilo aquí, pero no creo que la respuesta haya satisfecho la pregunta real. Lo que he leído continuamente es que Naive Bayes es un clasificador lineal (por ejemplo, aquí ) (de modo que dibuja un límite de decisión lineal) utilizando la demostración de probabilidades de registro. …

31 classification  naive-bayes 

En las notas de MIT OpenCourseWare para 18.05 Introducción a la probabilidad y las estadísticas, primavera de 2014 (actualmente disponible aquí ), dice: El método del percentil bootstrap es atractivo debido a su simplicidad. Sin embargo, depende de la distribución de arranque de función de que una muestra particular sea …

31 confidence-interval  bootstrap 

Sobre si existe un término de error en la regresión logística (y su distribución supuesta), he leído en varios lugares que: no existe término de error el término de error tiene una distribución binomial (de acuerdo con la distribución de la variable de respuesta) el término de error tiene una …

31 logistic  binomial  bernoulli-distribution  logistic-distribution 

Me gustaría determinar la importancia relativa de los conjuntos de variables para un randomForestmodelo de clasificación en R. La importancefunción proporciona la MeanDecreaseGinimétrica para cada predictor individual: ¿es tan simple como sumar esto en cada predictor de un conjunto? Por ejemplo: # Assumes df has variables a1, a2, b1, b2, …

31 r  machine-learning  classification  random-forest 

Mirando las definiciones de Wikipedia de: Error Cuadrático Medio (MSE) Suma residual de cuadrados (RSS) Me parece que MSE=1NRSS=1N∑(fi−yi)2MSE=1NRSS=1N∑(fi−yi)2\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2 donde es el número de muestras y es nuestra estimación de .NNNfifif_iyiyiy_i Sin embargo, ninguno de los artículos de Wikipedia menciona esta relación. …

31 residuals  mse 

A menudo se afirma que bootstrapping puede proporcionar una estimación del sesgo en un estimador. Si es la estimación para alguna estadística, y son las réplicas de bootstrap (con i \ in \ {1, \ cdots, N \} ), entonces la estimación de bootstrap de sesgo es \ begin {ecation} …

31 bootstrap  bias 

Estoy usando la herramienta libsvm ( http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ) para la clasificación de vectores de soporte. Sin embargo, estoy confundido sobre el formato de los datos de entrada. Desde el archivo Léame: El formato del archivo de datos de entrenamiento y prueba es: <label> <index1>:<value1> <index2>:<value2> ... . . . Cada …

31 machine-learning  svm  python  libsvm  c++ 

Digamos que tengo 1000 componentes y he estado recopilando datos sobre cuántas veces registran una falla y cada vez que registran una falla, también estoy realizando un seguimiento de cuánto tiempo le tomó a mi equipo solucionar el problema. En resumen, he estado registrando el tiempo de reparación (en segundos) …

31 distributions  data-visualization  survival  reliability  distribution-identification 

¿Es posible calcular los valores de AIC o BIC para los modelos de regresión de lazo y otros modelos regularizados donde los parámetros solo ingresan parcialmente la ecuación? ¿Cómo se determinan los grados de libertad? Estoy usando R para ajustar los modelos de regresión de lazo con la glmnet()función del …

31 r  model-selection  lasso  aic  bic 

Esto parece una pregunta similar y no obtuvo muchas respuestas. Omitiendo pruebas como la D de Cook, y solo mirando los residuos como grupo, estoy interesado en cómo otros usan los residuos al evaluar la bondad de ajuste. Yo uso los residuos en bruto: en un gráfico QQ, para evaluar …

31 goodness-of-fit  residuals 

Estoy tratando de graficar el número de acciones de los usuarios (en este caso, "me gusta") a lo largo del tiempo. Así que tengo "Número de acciones" como mi eje y, mi eje x es el tiempo (semanas) y cada línea representa un usuario. Mi problema es que quiero ver …

31 r  data-visualization