Estadísticas y Big Data

Tengo un marco de datos que contiene dos series de tiempo: las fechas y los números de versión de las versiones de Emacs y Firefox. Usando un comando ggplot2 es fácil hacer un gráfico que use loess (de una manera que parece un poco divertida, lo que no me importa) …

17 prediction  ggplot2 

Actualmente estoy en el proceso de hacer una presentación de póster y me gustaría recibir algunos consejos (o referencias a consejos) sobre algunos de los aspectos del gráfico. Para ver ejemplos de carteles de los que estoy hablando, vea el material complementario para los artículos de la ASA Data Expo …

17 data-visualization  presentation 

He usado LDA en un corpus de documentos y encontré algunos temas. La salida de mi código es dos matrices que contienen probabilidades; probabilidades de un tema de documento y las otras probabilidades de tema de palabras. Pero en realidad no sé cómo usar estos resultados para predecir el tema …

17 text-mining  topic-models 

Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de …

17 cart  boosting  xgboost  bagging 

Estoy tratando de entender cómo puedo obtener la importancia de una variable categórica que se ha desglosado en variables ficticias. Estoy usando scikit-learn que no maneja variables categóricas para usted como R o h2o. Si divido una variable categórica en variables ficticias, obtengo características de entidad separadas por clase en …

17 categorical-data  random-forest  interpretation  importance 

No entiendo cuál es exactamente la diferencia entre la predicción "dentro de la muestra" y "fuera de la muestra". Un pronóstico dentro de la muestra utiliza un subconjunto de los datos disponibles para pronosticar valores fuera del período de estimación. En cambio, un pronóstico fuera de muestra utiliza todos los …

17 forecasting 

Estoy tratando de entender el resultado de la función de prueba de Kolmogorov-Smirnov (dos muestras, dos caras). Aquí hay una prueba simple. x <- c(1,2,2,3,3,3,3,4,5,6) y <- c(2,3,4,5,5,6,6,6,6,7) z <- c(12,13,14,15,15,16,16,16,16,17) ks.test(x,y) # Two-sample Kolmogorov-Smirnov test # #data: x and y #D = 0.5, p-value = 0.1641 #alternative hypothesis: two-sided …

17 r  kolmogorov-smirnov  ties 

La pregunta Estoy luchando por comprender cómo se mantiene la predicción dentro del intervalo [ 0 , 1 ][0 0,1][0,1] cuando se realiza una clasificación binaria con Gradient Boosting. Supongamos que estamos trabajando en un problema de clasificación binaria, y nuestra función objetivo es la pérdida de registro, , donde …

17 logistic  classification  boosting 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Hasta ahora, he eliminado las variables colineales como parte del proceso de preparación de datos al …

17 python  multicollinearity  scikit-learn 

Supongamos que tengo una variable como Xcon distribución desconocida. En Mathematica, al usar la SmoothKernelDensityfunción podemos tener una función de densidad estimada. Esta función de densidad estimada se puede usar junto con la PDFfunción para calcular la función de densidad de probabilidad de un valor como Xen la forma de …

17 r  pdf  cdf 

Los bosques aleatorios (RF) son un método competitivo de modelado / extracción de datos. Un modelo de RF tiene una salida: la variable de salida / predicción. El enfoque ingenuo para modelar múltiples salidas con RF sería construir un RF para cada variable de salida. Entonces tenemos N modelos independientes, …

17 machine-learning  cart  random-forest  multilabel 

¿Alguien sabe de un buen artículo de revisión para la literatura estadística sobre regresión no lineal? Estoy principalmente interesado en resultados de consistencia y asintóticos. De particular interés es el modelo yyo t= m ( xyo t, θ ) + ϵyo t,yyot=metro(Xyot,θ)+ϵyot,y_{it} = m(x_{it},\theta) + \epsilon_{it}, para datos del panel. …

17 regression  references  nonlinear-regression 

¿Cuál es la diferencia entre las máquinas de vectores de soporte y el análisis discriminante lineal?

17 classification 

Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Mi pregunta puede ser tonta. Así que me disculparé de antemano. Estaba tratando de usar el modelo GLOVE pre-entrenado por el grupo Stanford NLP ( enlace ). Sin embargo, noté que mis resultados de similitud mostraron algunos números negativos. Eso inmediatamente me llevó a mirar el archivo de datos de …

17 machine-learning  word2vec  cosine-similarity