Estadísticas y Big Data

He estado haciendo una competencia de aprendizaje automático en la que usan RMSLE (error logarítmico medio cuadrático medio) para evaluar el rendimiento que predice el precio de venta de una categoría de equipo. El problema es que no estoy seguro de cómo interpretar el éxito de mi resultado final. Por …

29 regression  machine-learning  interpretation  measurement-error  theory 

Basado en la precisión de clasificación estimada, quiero probar si un clasificador es estadísticamente mejor en un conjunto base que otro clasificador. Para cada clasificador, selecciono una muestra de entrenamiento y prueba al azar del conjunto base, entreno el modelo y pruebo el modelo. Hago esto diez veces para cada …

29 machine-learning  classification  t-test 

Estoy tratando de aprender varios métodos de validación cruzada, principalmente con la intención de aplicar a técnicas de análisis supervisado multivariado. Dos que he encontrado son las técnicas de validación cruzada K-fold y Monte Carlo. He leído que K-fold es una variación de Monte Carlo, pero no estoy seguro de …

29 cross-validation  monte-carlo 

Para los estimadores de densidad de kernel univariados (KDE), uso la regla de Silverman para calcular :hhh 0.9min(sd,IQR/1.34)×n−0.20.9min(sd,IQR/1.34)×n−0.2\begin{equation} 0.9 \min(sd, IQR/1.34)\times n^{-0.2} \end{equation} ¿Cuáles son las reglas estándar para KDE multivariante (suponiendo un núcleo normal)?

29 smoothing  kernel-smoothing 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Estoy usando caret para ejecutar un bosque aleatorio validado cruzado sobre un conjunto de datos. La …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Estoy estudiando PCA del curso Coursera de Andrew Ng y otros materiales. En el curso de Stanford NLP, la primera asignación de cs224n , y en el video de la conferencia de Andrew Ng , hacen una descomposición de valores singulares en lugar de la descomposición de vectores propios de …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Estoy haciendo el curso Stanford de Machine Learning en Coursera. En el capítulo sobre Regresión logística, la función de costo es esta: Entonces, se deriva aquí: Intenté obtener la derivada de la función de costo, pero obtuve algo completamente diferente. ¿Cómo se obtiene la derivada? ¿Cuáles son los pasos intermedios?

29 regression  logistic  gradient-descent  derivative 

Tengo a continuación un ejemplo que extraje de la documentación de sklearn.metrics.classification_report de sklearn. Lo que no entiendo es por qué hay valores de puntaje f1, precisión y recuperación para cada clase donde creo que la clase es la etiqueta del predictor. Pensé que el puntaje f1 te dice la …

29 machine-learning  python  scikit-learn  precision-recall 

Tengo una pregunta sobre el proceso de validación cruzada. Estoy en medio de un curso de Machine Learning en Cursera. Uno de los temas es sobre la validación cruzada. Me resultó un poco difícil de seguir. Sé por qué necesitamos CV porque queremos que nuestros modelos funcionen bien en datos …

29 machine-learning  cross-validation 

Estoy usando el paquete robustbase para ejecutar una estimación de glm. Sin embargo, cuando lo hago, aparece el siguiente error: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 ¿Qué significa / indica esto? ¿Y cómo puedo depurarlo? PD. Si necesita algo …

29 r  generalized-linear-model  robust 

Tengo dos clasificadores A: ingenua red bayesiana B: árbol (conectado individualmente) red bayesiana En términos de precisión y otras medidas, A funciona comparativamente peor que B. Sin embargo, cuando uso los paquetes R ROCR y AUC para realizar el análisis ROC, resulta que el AUC para A es más alto …

29 machine-learning  classification  roc  auc  bayesian-network 

Estoy tratando de encontrar una métrica para medir la falta de uniformidad de una distribución para un experimento que estoy ejecutando. Tengo una variable aleatoria que debería distribuirse uniformemente en la mayoría de los casos, y me gustaría poder identificar (y posiblemente medir el grado de) ejemplos de conjuntos de …

28 distributions  variance  random-variable  uniform 

Statistics.com publicó un problema de la semana: la tasa de fraude de seguros residenciales es del 10% (una de cada diez reclamaciones es fraudulenta). Un consultor ha propuesto un sistema de aprendizaje automático para revisar las reclamaciones y clasificarlas como fraude o no fraude. El sistema es 90% efectivo para …

28 probability  bayesian  puzzle 

¿Cuál es la diferencia entre extrapolación e interpolación, y cuál es la forma más precisa de usar estos términos? Por ejemplo, he visto una declaración en un documento usando interpolación como: "El procedimiento interpola la forma de la función estimada entre los puntos bin" Una oración que usa extrapolación e …

28 terminology  interpolation  extrapolation 

Aprendí que, cuando se trata de datos utilizando un enfoque basado en modelos, el primer paso es modelar el procedimiento de datos como un modelo estadístico. Luego, el siguiente paso es desarrollar un algoritmo de inferencia / aprendizaje eficiente / rápido basado en este modelo estadístico. ¿Entonces quiero preguntar qué …

28 machine-learning  svm  modeling