Estadísticas y Big Data

Si todo lo que está haciendo es volver a tomar muestras de la distribución empírica, ¿por qué no solo estudiar la distribución empírica? Por ejemplo, en lugar de estudiar la variabilidad mediante muestreo repetido, ¿por qué no cuantificar la variabilidad a partir de la distribución empírica?

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

Sean Y 1 , Y 2 , Y 3Y1,Y2,Y3Y_1,Y_2,Y_3 e Y 4Y4Y_4 cuatro variables aleatorias tales que E ( Y 1 ) = θ 1 - θ 3 ; E ( Y 2 ) = θ 1 + θ 2 - θ 3 ; E ( Y 3 ) = …

13 self-study  estimation  inference 

Estoy usando un script Es para registros centrales. Tengo un marco de datos que muestra las diferentes composiciones elementales en las columnas en una profundidad determinada (en la primera columna). Quiero realizar un PCA con él y estoy confundido sobre el método de estandarización que tengo que elegir. ¿Alguno de …

13 r  pca  normalization  compositional-data 

¿Qué es el aprendizaje profundo bayesiano y cómo se relaciona con las estadísticas bayesianas tradicionales y el aprendizaje profundo tradicional? ¿Cuáles son los principales conceptos y matemáticas involucrados? ¿Podría decir que son solo estadísticas bayesianas no paramétricas? ¿Cuáles son sus trabajos fundamentales, así como sus principales desarrollos y aplicaciones actuales? …

13 bayesian  deep-learning 

¿Hay una distribución o puedo trabajar desde otra distribución para crear una distribución como esa en la imagen a continuación (disculpas por los malos dibujos)? donde doy un número (0.2, 0.5 y 0.9 en los ejemplos) para saber dónde debería estar el pico y una desviación estándar (sigma) que hace …

13 distributions  normal-distribution 

Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un …

13 machine-learning  classification  roc  auc  model-evaluation 

Últimamente, he tenido que leer varios artículos en economía (un campo con el que no estoy muy familiarizado). Una cosa que he notado es que incluso cuando la variable de respuesta es binaria, los modelos de regresión lineal ajustados usando OLS son ubicuos. Mi pregunta es por lo tanto: ¿Por …

13 regression  logistic  econometrics 

Estamos tratando con la distribución lognormal en un curso de finanzas y mi libro de texto simplemente dice que esto es cierto, lo cual me parece un poco frustrante ya que mi experiencia en matemáticas no es muy fuerte, pero quiero la intuición. ¿Alguien puede mostrarme por qué este es …

13 distributions  expected-value  lognormal 

Douglas Bates afirma que los siguientes modelos son equivalentes "si la matriz de varianza-covarianza para los efectos aleatorios con valores vectoriales tiene una forma especial, llamada simetría compuesta" ( diapositiva 91 en esta presentación ): m1 <- lmer(y ~ factor + (0 + factor|group), data) m2 <- lmer(y ~ factor …

13 r  anova  mixed-model  repeated-measures  lme4-nlme 

Estaba leyendo esta pregunta sobre la regresión a gran escala ( enlace ) donde Whuber señaló un punto interesante de la siguiente manera: "Casi cualquier prueba estadística que ejecute será tan poderosa que es casi seguro identificar un efecto" significativo ". Debe centrarse mucho más en la importancia estadística, como …

13 regression  statistical-significance 

Estoy confundido entre los dos términos "función generadora de probabilidad" y "función generadora de momento". ¿Cómo difieren esos términos?

13 probability  distributions  terminology  intuition  mgf 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Esta línea devuelve las primeras 4 filas en el marco combinedde datos parafeature_a combined.iloc[0:4]["feature_a"] Como se …

13 python  pandas 

Quería saber cuánto del aprendizaje automático requiere optimización. Por lo que he escuchado, las estadísticas son un tema matemático importante para las personas que trabajan con el aprendizaje automático. Del mismo modo, ¿qué importancia tiene para alguien que trabaja con el aprendizaje automático aprender sobre la optimización convexa o no …

13 machine-learning  optimization 

Actualmente, mi empleador está realizando una encuesta en toda la compañía sobre las actitudes hacia la oficina, es decir, Sentimiento. En el pasado, abrieron la encuesta en todas las áreas del negocio (supongamos que hay 10 departamentos muy diferentes) y todos los empleados dentro de ellos (supongamos 1000 empleados en …

13 survey  survey-sampling 

Me siento realmente tonto incluso haciendo una pregunta tan básica, pero aquí va: Si tengo una variable aleatoria XXX que puede tomar valores 000 y 111 , con P(X=1)=pP(X=1)=pP(X=1) = p y P(X=0)=1−pP(X=0)=1−pP(X=0) = 1-p , entonces si saco nnn muestras de ella, obtendré Una distribución binomial. La media de …

13 variance  binomial