Estadísticas y Big Data

¿Alguien puede recomendar una buena exposición de la teoría detrás de la regresión de mínimos cuadrados parciales (disponible en línea) para alguien que entiende SVD y PCA? He visto muchas fuentes en línea y no he encontrado nada que tuviera la combinación correcta de rigor y accesibilidad. He examinado los …

33 regression  references  regularization  svd  partial-least-squares 

Para el problema de regresión, he visto a personas usar el "coeficiente de determinación" (también conocido como R al cuadrado) para realizar la selección del modelo, por ejemplo, encontrar el coeficiente de penalización apropiado para la regularización. Sin embargo, también es común usar "error cuadrático medio" o "error cuadrático medio …

33 regression  r-squared 

Recientemente aprendí sobre el uso de técnicas de arranque para calcular errores estándar e intervalos de confianza para estimadores. Lo que aprendí fue que si los datos son IID, puede tratar los datos de la muestra como la población, y hacer un muestreo con reemplazo y esto le permitirá obtener …

33 time-series  bootstrap 

Durante mucho tiempo no entendí por qué la "suma" de dos variables aleatorias es su convolución , mientras que una función de densidad de mezcla suma de f(x)f(x)f(x) y g(x)g(x)g(x) es pf(x)+(1−p)g(x)pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x); la suma aritmética y no su convolución. La frase exacta "la suma de dos variables aleatorias" aparece en …

33 pdf  terminology  cdf  mixture  convolution 

En muchos métodos estadísticos diferentes hay un "supuesto de normalidad". ¿Qué es "normalidad" y cómo sé si hay normalidad?

33 distributions  normality-assumption 

Estoy tratando de entender el coeficiente de variación . Cuando trato de aplicarlo a las siguientes dos muestras de datos, no puedo entender cómo interpretar los resultados. Digamos que la muestra 1 es y la muestra 2 es . Aquí muestra 2 muestra 1 como puedes ver.10 , 15 , …

33 descriptive-statistics  coefficient-of-variation 

Recibí una pregunta extraña cuando estaba experimentando algunas optimizaciones convexas. La pregunta es: Supongamos que genero aleatoriamente (digamos distribución normal estándar) una matriz simétrica (por ejemplo, genero una matriz triangular superior y lleno la mitad inferior para asegurarme de que sea simétrica), ¿cuál es la probabilidad de que sea un …

32 probability  matrix  random-generation  eigenvalues  random-matrix 

Varios documentos metodológicos (por ejemplo, Egger et al 1997a, 1997b) discuten el sesgo de publicación revelado por los metanálisis, utilizando gráficos en embudo como el que se muestra a continuación. El artículo de 1997b continúa diciendo que "si el sesgo de publicación está presente, se espera que, de los estudios …

32 meta-analysis  publication-bias 

En los cursos básicos de estadística de pregrado, a los estudiantes se les enseña (¿usualmente?) Pruebas de hipótesis para la media de una población. ¿Por qué se centra en la media y no en la mediana? Supongo que es más fácil probar la media debido al teorema del límite central, …

32 hypothesis-testing  mean  inference  median 

Wikipedia dice: En la teoría de la probabilidad, el teorema del límite central (CLT) establece que, en la mayoría de las situaciones , cuando se agregan variables aleatorias independientes, su suma correctamente normalizada tiende hacia una distribución normal (informalmente una "curva de campana") incluso si las variables originales no son …

32 probability  mathematical-statistics  normal-distribution  central-limit-theorem 

Leí en https://en.wikipedia.org/wiki/Generative_adversarial_networks : [Redes adversas generativas] fueron introducidas por Ian Goodfellow et al en 2014. pero Jurgen Schmidhuber afirma haber realizado un trabajo similar anteriormente en esa dirección (por ejemplo, hubo un debate en NIPS 2016 durante el tutorial de redes generativas adversarias: https://channel9.msdn.com/Events/Neural-Information-Processing-Systems- Conferencia / Neural-Information-Processing-Systems-Conference-NIPS-2016 / Generative-Adversarial-Networks …

32 neural-networks  history  gan 

Estoy ayudando a mis hijos, actualmente en la escuela secundaria, a comprender estadísticas, y estoy considerando comenzar con algunos ejemplos simples sin dejar de lado algunos atisbos de teoría. Mi objetivo sería darles el enfoque más intuitivo pero instrumentalmente constructivo para aprender estadísticas desde cero, a fin de estimular su …

32 probability  hypothesis-testing  bayesian  frequentist  teaching 

Estoy leyendo sobre entropía y me cuesta mucho conceptualizar lo que significa en el caso continuo. La página wiki dice lo siguiente: La distribución de probabilidad de los eventos, junto con la cantidad de información de cada evento, forma una variable aleatoria cuyo valor esperado es la cantidad promedio de …

32 entropy 

Tengo un conjunto de datos Hay muchos valores faltantes. Para algunas columnas, el valor faltante se reemplazó con -999, pero en otras columnas, el valor faltante se marcó como 'NA'. ¿Por qué usaríamos -999 para reemplazar el valor faltante?

32 missing-data 

En mi opinión, las variables altamente correlacionadas no causarán problemas de multicolinealidad en el modelo de bosque aleatorio (corríjame si me equivoco). Sin embargo, por otro lado, si tengo demasiadas variables que contienen información similar, ¿el modelo pesará demasiado en este conjunto en lugar de los demás? Por ejemplo, hay …

32 random-forest  multicollinearity  ensemble