Estadísticas y Big Data

Supongo que me siento frustrado cada vez que escucho a alguien decir que la no normalidad de los residuos y / o la heterocedasticidad viola los supuestos de OLS. Para estimar los parámetros en un modelo OLS, ninguno de estos supuestos es necesario según el teorema de Gauss-Markov. Veo cómo …

52 regression  assumptions  normality-assumption  robust  teaching 

Una buena práctica común en Machine Learning es hacer la normalización de características o la estandarización de datos de las variables predictoras, eso es todo, centrar los datos restando la media y normalizarlos dividiendo por la varianza (o la desviación estándar también). Para la autocontención y, a mi entender, hacemos …

52 machine-learning  normalization  standardization  multidimensional-scaling 

He estado leyendo el artículo de Geoff Cumming 2008 Replication and Intervals: los valores predicen el futuro solo vagamente, pero los intervalos de confianza funcionan mucho mejor pppppp p p[~ 200 citas en Google Scholar] , y estoy confundido por una de sus afirmaciones centrales. Este es uno de la …

52 hypothesis-testing  p-value  power  replicability 

He estado leyendo el libro de Tukey "Análisis de datos exploratorios". Escrito en 1977, el libro enfatiza los métodos de papel / lápiz. ¿Existe un sucesor más "moderno" que tenga en cuenta que ahora podemos trazar instantáneamente grandes conjuntos de datos?

52 data-visualization  references  descriptive-statistics  eda 

Para el problema del lazo minβ(Y−Xβ)T(Y−Xβ)minβ(Y−Xβ)T(Y−Xβ)\min_\beta (Y-X\beta)^T(Y-X\beta) tal que ∥β∥1≤t‖β‖1≤t\|\beta\|_1 \leq t . A menudo veo el resultado de umbral suave βlassoj=sgn(βLSj)(|βLSj|−γ)+βjlasso=sgn(βjLS)(|βjLS|−γ)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+ para el caso X ortonormal XXX. Se afirma que la solución puede "mostrarse fácilmente" como tal, pero nunca he visto una solución que funcione. ¿Alguien ha …

52 lasso 

Si ejecuto un randomForestmodelo, puedo hacer predicciones basadas en el modelo. ¿Hay alguna manera de obtener un intervalo de predicción de cada una de las predicciones de modo que sepa cuán "seguro" es el modelo de su respuesta? Si esto es posible, ¿se basa simplemente en la variabilidad de la …

52 r  confidence-interval  random-forest 

Muchos autores de artículos que leí afirman que las SVM son una técnica superior para enfrentar su problema de regresión / clasificación, conscientes de que no podrían obtener resultados similares a través de las NN. A menudo, la comparación establece que SVM, en lugar de NN, Tener una fuerte teoría …

52 machine-learning  svm  neural-networks 

La página de Wikipedia en ANOVA enumera tres supuestos , a saber: Independencia de casos: esta es una suposición del modelo que simplifica el análisis estadístico. Normalidad: las distribuciones de los residuos son normales. Igualdad (u "homogeneidad") de variaciones, llamada homocedasticidad ... El punto de interés aquí es la segunda …

52 anova  residuals  assumptions  normality-assumption 

Supongamos que tengo tres poblaciones con cuatro características mutuamente excluyentes. Tomo muestras aleatorias de cada población y construyo una tabla cruzada o tabla de frecuencias para las características que estoy midiendo. ¿Estoy en lo cierto al decir que: Si quisiera probar si existe alguna relación entre las poblaciones y las …

52 chi-squared  proportion  contingency-tables  z-test 

Parece que a mucha gente (incluido yo) le gusta hacer análisis de datos exploratorios en Excel. Algunas limitaciones, como la cantidad de filas permitidas en una hoja de cálculo, son difíciles, pero en la mayoría de los casos no hacen que sea imposible usar Excel para jugar con los datos. …

52 software  computational-statistics  excel 

Una distribución gaussiana estandarizada en se puede definir dando explícitamente su densidad: RR\mathbb{R}12π−−√e−x2/212πe−x2/2 \frac{1}{\sqrt{2\pi}}e^{-x^2/2} o su función característica. Como se recuerda en esta pregunta, también es la única distribución para la cual la media y la varianza de la muestra son independientes. ¿Cuáles son otras caracterizaciones alternativas sorprendentes de las …

52 probability  normal-distribution  mathematical-statistics  characteristic-function 

Tengo una matriz (simétrica) Mque representa la distancia entre cada par de nodos. Por ejemplo, ABCDEFGHIJKL A 0 20 20 20 40 60 60 60100120120120 B 20 0 20 20 60 80 80 80120140140140 C 20 20 0 20 60 80 80 80120140140140 D 20 20 20 0 60 80 …

52 clustering 

Tengo un conjunto de datos en forma de (características, salida binaria 0 o 1), pero 1 ocurre muy raramente, por lo que al predecir siempre 0, obtengo una precisión entre 70% y 90% (dependiendo de los datos particulares que mire) ) Los métodos de ML me dan la misma precisión, …

52 machine-learning  classification  binary-data  unbalanced-classes 

Estoy construyendo modelos de regresión. Como paso de preprocesamiento, escalo los valores de mis características para que tengan una media 0 y una desviación estándar 1. ¿Es necesario normalizar también los valores objetivo?

52 regression  machine-learning 

Muchos estudios en ciencias sociales usan escalas Likert. ¿Cuándo es apropiado usar los datos de Likert como ordinales y cuándo es apropiado usarlos como datos de intervalo?

52 ordinal-data  likert  scales  measurement