Estadísticas y Big Data

Recientemente, he estado estudiando autoencoders. Si entendí correctamente, un autoencoder es una red neuronal donde la capa de entrada es idéntica a la capa de salida. Entonces, la red neuronal intenta predecir la salida utilizando la entrada como estándar dorado. ¿Cuál es la utilidad de este modelo? ¿Cuáles son los …

17 neural-networks  autoencoders 

Realmente no entiendo la heterocedasticidad. Me gustaría saber si mi modelo es apropiado o no de acuerdo con este argumento.

17 r  regression  residuals  heteroscedasticity  independence 

¡Estoy realmente sorprendido por el hecho de que Poisson GLM acepta números no enteros! Mira: Datos (contenido de data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 R script: t <- read.table("data.txt") names(t) <- …

17 r  generalized-linear-model  poisson-distribution  poisson-regression 

Me preguntaba si hay una relación entre y una prueba F.R2R2R^2 Por lo general, y mide la fuerza del relación lineal en la regresión.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Una prueba F solo prueba una hipótesis. ¿Existe una relación entre …

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Considere el modelo lineal simple: yy=X′ββ+ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon donde ϵi∼i.i.d.N(0,σ2)ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) y X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} ,p≥2p≥2p\geq2 yXXX contiene una columna de constantes. Mi pregunta es, dado E(X′X)E(X′X)\mathrm{E}(X'X) , ββ\beta y σσ\sigma , ¿hay una fórmula para un límite superior no trivial en E(R2)E(R2)\mathrm{E}(R^2) *? (suponiendo que el modelo fue estimado por OLS). * Supuse, …

17 linear-model  expected-value 

Me siento un poco incómodo con la forma en que me he ocupado mentalmente de la paradoja de Borel y otras "paradojas" relacionadas con la probabilidad condicional. Para aquellos que están leyendo esto que no están familiarizados con él, vea este enlace . Mi respuesta mental hasta este momento ha …

17 probability  conditional-probability  conditional-expectation 

Tengo un conjunto de datos con 16 variables, y después de la agrupación por kmeans, deseo trazar los dos grupos. ¿Qué parcelas sugiere para representar visualmente los dos grupos?

17 data-visualization  clustering  k-means 

tl; dr: para la regresión OLS, ¿un R cuadrado más alto también implica un valor P más alto? Específicamente para una sola variable explicativa (Y = a + bX + e) ​​pero también estaría interesado en saber para n múltiples variables explicativas (Y = a + b1X + ... bnX …

17 regression  modeling  p-value  r-squared 

Leí que el algoritmo k-means solo converge a un mínimo local y no a un mínimo global. ¿Por qué es esto? Puedo pensar lógicamente cómo la inicialización podría afectar la agrupación final y existe la posibilidad de una agrupación subóptima, pero no encontré nada que lo demostrara matemáticamente. Además, ¿por …

17 clustering  k-means  convergence  gradient-descent  minimum 

¿Cómo ajusto los parámetros de una distribución t, es decir, los parámetros correspondientes a la 'media' y 'desviación estándar' de una distribución normal? Supongo que se llaman 'media' y 'escala / grados de libertad' para una distribución t? El siguiente código a menudo produce errores de "error de optimización". library(MASS) …

17 r  distributions  maximum-likelihood  fitting  robust 

Después de instalar un modelo cox, es posible hacer predicciones y recuperar el riesgo relativo de nuevos datos. Lo que no entiendo es cómo se calcula el riesgo relativo para un individuo y a qué se relaciona (es decir, el promedio de la población). ¿Alguna recomendación sobre recursos para ayudar …

17 predictive-models  relative-risk  cox-model 

Ejecuté una regresión con 4 variables, y todas son muy significativas estadísticamente, con valores T y (digo porque parece irrelevante incluir los decimales) que son muy altos y claramente significativos. Pero entonces el es solo .2284. ¿Estoy malinterpretando los valores t aquí para que signifiquen algo que no son? Mi …

17 regression  hypothesis-testing  econometrics 

Estoy tratando de entender el vínculo entre la función generadora de momento y la función característica. La función de generación de momento se define como: MX(t)=E(exp(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n!MX(t)=E(exp⁡(tX))=1+tE(X)1+t2E(X2)2!+⋯+tnE(Xn)n! M_X(t) = E(\exp(tX)) = 1 + \frac{t E(X)}{1} + \frac{t^2 E(X^2)}{2!} + \dots + \frac{t^n E(X^n)}{n!} Using the series expansion of exp(tX)=∑∞0(t)n⋅Xnn!exp⁡(tX)=∑0∞(t)n⋅Xnn!\exp(tX) = \sum_0^{\infty} …

17 probability  moments  mgf  method-of-moments  characteristic-function 

Supongamos que tenemos la respuesta ordinal y:{Bad, Neutral, Good}→{1,2,3}y:{Bad, Neutral, Good}→{1,2,3}y:\{\text{Bad, Neutral, Good}\} \rightarrow \{1,2,3\} y un conjunto de variables que creemos que explicará . Luego hacemos una regresión logística ordenada de (matriz de diseño) en (respuesta).X:=[x1,x2,x3]X:=[x1,x2,x3]X:=[x_1,x_2,x_3]yyyXXXyyy Suponga que el coeficiente estimado de , , en la regresión logística ordenada …

17 logit  odds-ratio  ordered-logit 

He estado investigando el funcionamiento interno del error estándar recientemente, y me encontré incapaz de entender cómo funciona. Entiendo que el error estándar es que es la desviación estándar de la distribución de medias muestrales. Mis preguntas son: • ¿Cómo sabemos que el error estándar es la desviación estándar de …

17 standard-error