Estadísticas y Big Data

Scikit learn parece utilizar la predicción probabilística en lugar del voto mayoritario para la técnica de agregación del modelo sin una explicación de por qué (1.9.2.1. Bosques aleatorios). ¿Hay una explicación clara de por qué? Además, ¿hay un buen artículo o artículo de revisión para las diversas técnicas de agregación …

10 random-forest  python  scikit-learn  aggregation  bagging 

Tanto bayesglm()(en el paquete arm R) como varias funciones en el paquete MCMCpack están destinadas a hacer una estimación bayesiana de modelos lineales generalizados, pero no estoy seguro de que realmente estén calculando lo mismo. Las funciones MCMCpack utilizan la cadena de Markov Monte Carlo para obtener una muestra (dependiente) …

10 bayesian  generalized-linear-model 

He leído que el estimador 2SLS sigue siendo consistente incluso con la variable endógena binaria ( http://www.stata.com/statalist/archive/2004-07/msg00699.html ). En la primera etapa, se ejecutará un modelo de tratamiento probit en lugar de un modelo lineal. ¿Hay alguna prueba formal que demuestre que 2SLS sigue siendo consistente incluso cuando la primera …

10 probit  instrumental-variables  endogeneity 

He estado leyendo un poco sobre algoritmos de refuerzo para tareas de clasificación y Adaboost en particular. Entiendo que el propósito de Adaboost es llevar a varios "estudiantes débiles" y, a través de un conjunto de iteraciones sobre los datos de entrenamiento, empujar a los clasificadores para aprender a predecir …

10 machine-learning  classification  algorithms  boosting 

Estoy jugando con el conjunto de datos de cáncer de mama y creé un diagrama de dispersión de todos los atributos para tener una idea de cuáles tienen el mayor efecto en la predicción de la clase malignant(azul) de benign(rojo). Entiendo que la fila representa el eje xy la columna …

10 r  data-visualization  interpretation  scatterplot 

Actualmente estoy usando Scikit learn con el siguiente código: clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') y luego ajusta y predice un conjunto de datos con 7 etiquetas diferentes. Tengo una salida extraña. No importa qué técnica de validación cruzada use, la etiqueta predicha en el conjunto de validación …

10 svm  scikit-learn  libsvm  multi-class  optunity 

Uno de los problemas importantes que enfrentan los pronosticadores es si las series dadas se pueden pronosticar o no. Me topé con un artículo titulado "La entropía como un indicador prioritario de previsibilidad " de Peter Catt que utiliza la entropía aproximada (ApEn) como una medida relativa para determinar que …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Supongamos que tengo un NNN -vector YYY de variables dependientes, y un NNN -vector XXX de variable independiente. Cuando YYY se traza contra 1X1X\frac{1}{X} , veo que hay una relación lineal (tendencia al alza) entre los dos. Ahora, esto también significa que hay una tendencia a la baja lineal entreYYYyXXX. …

10 regression  data-transformation  linear-model 

Muchos libros de texto de estadísticas proporcionan una ilustración intuitiva de cuáles son los vectores propios de una matriz de covarianza: Los vectores u y z forman los vectores propios (bueno, los propios). Esto tiene sentido. Pero lo único que me confunde es que extraemos vectores propios de la matriz …

10 correlation  pca  covariance-matrix  eigenvalues 

Estoy atrapado en cómo resolver este problema. Entonces, tenemos dos secuencias de variables aleatorias, e para . Ahora, e son distribuciones exponenciales independientes con parámetros y . Sin embargo, en vez de observar y , observamos en lugar y .XiXiX_iYiYiY_ii=1,...,ni=1,...,ni=1,...,nXXXYYYλλ\lambdaμμ\muXXXYYYZZZWWW Z=min(Xi,Yi)Z=min(Xi,Yi)Z=\min(X_i,Y_i) y W=1W=1W=1 si Zi=XiZi=XiZ_i=X_i y 0 si Zi=YiZi=YiZ_i=Y_i . …

10 self-study  maximum-likelihood  exponential  minimum 

Antes de hacer esta pregunta, busqué en nuestro sitio y encontré muchas preguntas similares (como aquí , aquí y aquí ). Pero creo que esas preguntas relacionadas no fueron bien respondidas o discutidas, por lo que me gustaría plantear esta pregunta nuevamente. Siento que debería haber una gran cantidad de …

10 mixed-model  residuals  heteroscedasticity  diagnostic 

Estoy utilizando un análisis semántico latente para representar un corpus de documentos en un espacio dimensional inferior. Quiero agrupar estos documentos en dos grupos usando k-means. Hace varios años, hice esto usando el gensim de Python y escribiendo mi propio algoritmo k-means. Determiné los centroides del grupo utilizando la distancia …

10 k-means  svd  lsa  cosine-distance  cosine-similarity 

Tengo el siguiente modelo m_plotequipado con lme4::lmerefectos aleatorios cruzados para los participantes ( lfdn) y los elementos ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 …

10 mixed-model  lme4-nlme  intraclass-correlation 

Soy consciente de algunos buenos ejemplos de pares de variables aleatorias correlacionadas que son marginalmente normales pero no conjuntamente normales. Vea esta respuesta de Dilip Sarwate , y esta del cardenal . También conozco un ejemplo de dos variables aleatorias normales cuya suma no es normal. Ver esta respuesta de …

10 correlation  normal-distribution  multivariate-analysis  bivariate 

Hace poco escuché una historia en la que alguien dijo que si querían matar a alguien (y salirse con la suya) lo harían con su automóvil. Citaron varias estadísticas sobre el número de muertes relacionadas con automóviles (incluidos los automóviles que circulan contra peatones) junto con estadísticas adicionales sobre el …

10 statistical-significance