Estadísticas y Big Data

Como se indicó en esta pregunta, el rango máximo de la matriz de covarianza es n−1n−1n-1 donde nnn es el tamaño de la muestra y, por lo tanto, si la dimensión de la matriz de covarianza es igual al tamaño de la muestra, sería singular. No puedo entender por qué …

17 covariance-matrix  linear-algebra 

Una vez que he construido un modelo de bosque aleatorio (regresión) en R, la llamada rf$importanceme proporciona dos medidas para cada variable predictiva, %IncMSEy IncNodePurity. ¿La interpretación de que las variables predictoras con %IncMSEvalores más pequeños es más importante que las variables predictoras con %IncMSEvalores más grandes ? ¿Qué tal …

17 r  feature-selection  random-forest 

En el ajuste estándar de máxima verosimilitud (iid muestra Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n} de alguna distribución con densidad fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} )) y en el caso de un modelo correctamente especificado, la información de Fisher viene dada por I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] donde se toma la expectativa con respecto a la densidad …

17 maximum-likelihood  fisher-information 

Escuché que bajo la hipótesis nula, la distribución del valor p debería ser uniforme. Sin embargo, las simulaciones de la prueba binomial en MATLAB devuelven distribuciones muy diferentes de las uniformes con una media mayor que 0.5 (0.518 en este caso): coin = [0 1]; success_vec = nan(20000,1); for i …

17 matlab  p-value  binomial  simulation  uniform 

Encontré esta implementación de Python del algoritmo Jenks Natural Breaks y pude hacer que se ejecute en mi máquina con Windows 7. Es bastante rápido y encuentra los descansos en poco tiempo, considerando el tamaño de mis geodatos. Antes de usar este algoritmo de agrupamiento para mis datos, estaba usando …

17 python  clustering  optimization 

Siempre me han dicho que un CDF es único, sin embargo, un PDF / PMF no es único, ¿por qué es eso? ¿Puedes dar un ejemplo donde un PDF / PMF no es único?

17 probability  distributions  pdf  cdf 

He estado utilizando la validación cruzada repetida de k veces y he estado informando la media (de la métrica de evaluación, por ejemplo, sensibilidad, especificidad) calculada como la gran media en los pliegues de diferentes corridas de la validación cruzada. Sin embargo, no estoy seguro de cómo debo informar la …

17 cross-validation 

La respuesta a la pregunta ¿ Relación entre los coeficientes de correlación phi, Matthews y Pearson? muestra que los tres métodos de coeficientes son todos equivalentes. No soy de estadísticas, por lo que debería ser una pregunta fácil. El artículo de Matthews (www.sciencedirect.com/science/article/pii/0005279575901099) describe lo siguiente: "A correlation of: C …

17 correlation  interpretation  pearson-r 

Estoy usando FactoMineRpara reducir mi conjunto de datos de mediciones a las variables latentes. El mapa de la variable anterior es claro para mí de interpretar, pero estoy confundido cuando se trata de las asociaciones entre las variables y el componente 1. Mirando el mapa variables, ddpy covestá muy cerca …

17 correlation  pca  factor-analysis  association-measure  biplot 

Hola chicos, encontré uno o dos artículos que usan regresión de cresta (para datos de baloncesto). Siempre me dijeron que estandarizara mis variables si ejecutaba una regresión de cresta, pero simplemente me dijeron que hiciera esto porque la cresta era una variante de escala (la regresión de cresta no era …

17 regression  standardization 

Parece que KNN es un algoritmo de aprendizaje discriminativo, pero parece que no puedo encontrar ninguna fuente en línea que lo confirme. ¿Es KNN un algoritmo de aprendizaje discriminativo?

17 machine-learning  classification  k-nearest-neighbour 

Tengo la siguiente imagen que me han dicho es una ilustración de cómo la distribución de probabilidad posterior es una combinación de las distribuciones anteriores y de probabilidad. Me han dicho que hay algo mal con la imagen, a saber, que la distribución posterior no puede tener la forma que …

17 distributions  posterior 

No puedo entender el uso de contrastes polinómicos en el ajuste de regresión. En particular, me refiero a una codificación utilizada por Rpara expresar una variable de intervalo (variable ordinal con niveles igualmente espaciados), descrita en esta página . En el ejemplo de esa página , si entendí correctamente, R …

17 r  regression  contrasts 

Datos básicos : Tengo ~ 1,000 personas marcadas con evaluaciones: '1,' [bueno] '2,' [medio] o '3' [malo]: estos son los valores que estoy tratando de predecir para las personas en el futuro . Además de eso, tengo información demográfica: género (categórico: M / F), edad (numérico: 17-80) y raza (categórico: …

17 r  regression  logistic  missing-data  ordered-logit 

Cuando hablamos de datos longitudinales, podemos referirnos a los datos recopilados a lo largo del tiempo de la misma materia / unidad de estudio repetidamente, por lo tanto, hay correlaciones para las observaciones dentro de la misma materia, es decir, similitud dentro de la materia. Cuando hablamos de datos de …

17 time-series  terminology  panel-data