Estadísticas y Big Data

Estoy tratando de entender la diferencia entre prueba de la hipótesis nula (es decir, prueba de que la probabilidad de un "objetivo" es la misma en 2 poblaciones diferentes, similar a la prueba de prop. en R) Una prueba A / B utilizando una fórmula bayesiana como la que se …

8 hypothesis-testing  bayesian  proportion  ab-test 

Si entiendo correctamente, un análisis discriminante lineal (LDA) asume datos distribuidos normales, características independientes y covarianzas idénticas para cada clase para el criterio de optimización. Dado que la media y la varianza se estiman a partir de los datos de entrenamiento, ¿no es ya una violación? Encontré una cita en …

8 dimensionality-reduction  normality-assumption  discriminant-analysis 

Estoy usando la regresión logística para predecir la probabilidad de que ocurra un evento. En última instancia, estas probabilidades se colocan en un entorno de producción, donde nos enfocamos lo más posible en alcanzar nuestras predicciones de "Sí". Por lo tanto, es útil para nosotros tener una idea de qué …

8 r  logistic  classification  loss-functions  scoring-rules 

Supongamos que queremos probar la hipótesis de que la proporción de marcianos de ojos azules ha disminuido a lo largo del siglo XX. Desafortunadamente, la población marciana fluctúa mucho, por lo que cada década hay una gran diferencia en la población total [actualización: considere que la población marciana es constante …

8 hypothesis-testing 

Estoy tratando de calcular la expectativa para arbitraria (para la expectativa es infinita) si está distribuido de forma lognormalmente, es decir, .E[ecX]E[ecX]E[e^{cX}]c&lt;0c&lt;0c<0c&gt;0c&gt;0c>0XXXlog(X)∼N(μ,σ)log⁡(X)∼N(μ,σ)\log(X) \sim N(\mu, \sigma) Mi idea era escribir la expectativa como una integral, pero no vi cómo proceder: E[ecX]=12σπ−−−√∫∞01xexp(cx−(logx−μ)22σ2)dxE[ecX]=12σπ∫0∞1xexp⁡(cx−(log⁡x−μ)22σ2)dxE[e^{cX}] = \frac{1}{\sqrt{2\sigma\pi}}\int_0^\infty \frac{1}{x}\exp\left(cx - \frac{(\log x - \mu)^2}{2\sigma^2}\right)dx También probé …

8 self-study  distributions  expected-value  lognormal  moments 

Estoy buscando el valor asintótico ( ) de (el logaritmo del determinante de) la covarianza del % de observaciones con la distancia euclediana más pequeña al origen en una muestra de tamaño extraída de, digamos , un estándar bivariado gaussiano.n→∞n→∞n\rightarrow \inftyαα\alphannn El hipervolumen de una elipse es proporcional al determinante …

8 r  mathematical-statistics  simulation 

Esta pregunta surge de la siguiente pregunta. /math/360275/e1-1x2-under-a-normal-distribution Básicamente, ¿cuál es la bajo una Gaussian . Intenté reescribir \ frac {1} {1 + x ^ 2} como una mezcla escalar de gaussianos ( \ propto \ int \ mathcal {N} (x | 0, \ tau ^ {- 1}) Ga (\ …

8 normal-distribution  expected-value  bounds 

El proceso de generación de datos es:y= sin ( x + I( d= 0 ) ) + sin ( x + 4 ∗ I( d= 1 ) ) + I( d= 0 )z2+ 3 I( d= 1 )z2+ N ( 0 , 1 )y=sin(x+I(d=0))+sin(x+4∗I(d=1))+I(d=0)z2+3I(d=1)z2+N(0,1)y = \text{sin}\Big(x+I(d=0)\Big) + \text{sin}\Big(x+4*I(d=1)\Big) + I(d=0)z^2 …

8 r  regression  generalized-linear-model  nonparametric  splines 

Entiendo que PCA se usa para la reducción de dimensionalidad para poder trazar conjuntos de datos en 2D o 3D. Pero también he visto personas que aplican PCA como un paso de preprocesamiento en escenarios de clasificación donde aplican PCA para reducir el número de características, luego usan algunos Componentes …

8 machine-learning  pca  data-mining  dimensionality-reduction 

Digamos que quiero saber qué tamaño de muestra necesito para un experimento en el que estoy tratando de determinar si la diferencia en dos proporciones de éxito es estadísticamente significativa o no. Aquí está mi proceso actual: Mire los datos históricos para establecer predicciones de referencia. Digamos que en el …

8 r  hypothesis-testing  statistical-significance  proportion 

Sé que el PDF es la primera derivada del CDF para una variable aleatoria continua, y la diferencia para una variable aleatoria discreta. Sin embargo, me gustaría saber por qué esto es así, ¿por qué hay dos casos diferentes para discreto y continuo?

8 mathematical-statistics  pdf  discrete-data  continuous-data  cdf 

El espíritu de esta pregunta proviene del "Monte Carlo ordinario", también conocido como "el buen Monte Carlo a la antigua". Supongamos que tengo una variable aleatoria , conXXX μ : = E[ X]σ2: = Va r [ X]μ: =mi[X]σ2: =Vunar[X]\mu := E[X]\\ \sigma^2:=Var[X] Ambos son valores desconocidos, porque la función …

8 probability  monte-carlo  computational-statistics 

Estoy haciendo un análisis de supervivencia en R con el survivalpaquete. Creo que estoy trabajando con datos truncados a la izquierda, pero no estoy completamente seguro de cómo manejarlos. Tengo una cohorte de pacientes diagnosticados entre 1990 y 2012. Todos los pacientes tienen un tiempo de diagnóstico bien definido (tiempo …

8 r  survival  cox-model  truncation 

He leído esta declaración muchas veces, pero nunca he encontrado una prueba. Me gustaría intentar producir uno yo mismo, pero ni siquiera estoy seguro de qué notación usar. Puede alguien ayudarme con esto?

8 mathematical-statistics  random-forest  unbiased-estimator  proof 

Quiero combinar datos de diferentes fuentes. Digamos que quiero estimar una propiedad química (por ejemplo, un coeficiente de partición ): Tengo algunos datos empíricos, que varían debido al error de medición en torno a la media. Y, en segundo lugar, tengo un modelo que predice una estimación a partir de …

8 r  bayesian  meta-analysis  jags