Estadísticas y Big Data

Había estado usando el término "Caso Heywood" de manera informal para referirme a situaciones en las que una estimación actualizada en línea de la "respuesta finita" iterativa de la varianza se volvió negativa debido a problemas de precisión numérica. (Estoy usando una variante del método de Welford para agregar datos …

15 variance  factor-analysis  definition  online 

Mis estadísticas han sido autodidactas, pero una gran cantidad de material que leo apunta a un conjunto de datos que tiene una media de 0 y una desviación estándar de 1. Si ese es el caso, entonces: ¿Por qué la media 0 y la SD 1 son buenas propiedades? ¿Por …

15 probability 

Tengo un conjunto de datos que esperaría seguir una distribución de Poisson, pero se dispersa en exceso aproximadamente 3 veces. Actualmente, estoy modelando esta sobredispersión usando algo como el siguiente código en R. ## assuming a median value of 1500 med = 1500 rawdist = rpois(1000000,med) oDdist = rawDist + …

15 distributions  modeling  poisson-distribution  overdispersion 

Como seguimiento a Mi red neuronal ni siquiera puede aprender la distancia euclidiana , simplifiqué aún más y traté de entrenar una única ReLU (con peso aleatorio) en una sola ReLU. Esta es la red más simple que existe y, sin embargo, la mitad del tiempo no logra converger. Si …

15 machine-learning  neural-networks  optimization  keras 

Estoy usando una regresión logística binomial para identificar si la exposición has_xo has_yimpacto tiene la probabilidad de que un usuario haga clic en algo. Mi modelo es el siguiente: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Este es el resultado de mi modelo: Call: …

15 regression  logistic  standard-error  logit 

Esta es una pregunta de discusión sobre la intersección de las estadísticas y otras ciencias. A menudo me enfrento al mismo problema: los investigadores en mi campo tienden a decir que no hay ningún efecto cuando el valor p no es inferior al nivel de significancia. Al principio, a menudo …

15 hypothesis-testing 

http://www.deeplearningbook.org/contents/ml.html La página 116 explica el error de bayes de la siguiente manera El modelo ideal es un oráculo que simplemente conoce la verdadera distribución de probabilidad que genera los datos. Incluso un modelo de este tipo aún incurrirá en algún error en muchos problemas, porque aún puede haber algo …

15 machine-learning  deep-learning  terminology 

Prácticamente cualquier base de datos que queremos hacer predicciones utilizando algoritmos de aprendizaje automático encontrará valores faltantes para algunas de las características. Existen varios enfoques para abordar este problema, para excluir líneas que tienen valores faltantes hasta que se llenen con los valores medios de las características. Me gustaría utilizar …

15 machine-learning  scikit-learn  data-imputation 

Recientemente leí este artículo sobre la entropía de una distribución de probabilidad discreta. Describe una buena manera de pensar en la entropía como los bits de número esperados (al menos cuando se usa en su definición de entropía) necesarios para codificar un mensaje cuando su codificación es óptima, dada la …

15 entropy  information-theory 

Estoy tratando de entender la curva de recuperación de precisión, entiendo qué son la precisión y la recuperación, pero lo que no entiendo es el valor de "línea de base". Estaba leyendo este enlace https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ y no entiendo la parte de la línea de base como se muestra en "Una …

15 r  machine-learning  classification  precision-recall 

¿Cómo randomForestcalcula el paquete las probabilidades de clase cuando lo uso predict(model, data, type = "prob")? Estaba usando rangerpara entrenar bosques al azar usando el probability = Targumento para predecir probabilidades. rangerdice en la documentación que: Cultivar un bosque de probabilidad como en Malley et al. (2012) Simulé algunos datos, …

15 r  random-forest  prediction 

Estoy analizando un conjunto de datos utilizando un modelo de efectos mixtos con un efecto fijo (condición) y dos efectos aleatorios (participante debido al diseño del sujeto y al par). El modelo se ha generado con el lme4paquete: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). A continuación, realicé una prueba de razón de probabilidad de este …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Se supone que debo enseñar el teorema de Frish Waugh en econometría, que no he estudiado. He entendido las matemáticas detrás de esto y espero que la idea también "el coeficiente que obtienes para un coeficiente particular de un modelo lineal múltiple sea igual al coeficiente del modelo de regresión …

15 regression  econometrics  least-squares  projection  decomposition 

Estoy haciendo análisis de datos exploratorios (EDA) en un conjunto de datos. Luego seleccionaré algunas características para predecir una variable dependiente. La pregunta es: ¿Debo hacer el EDA solo en mi conjunto de datos de entrenamiento? ¿O debería unirme a los conjuntos de datos de entrenamiento y prueba y luego …

15 dataset  feature-selection  feature-construction  eda 

Estoy planeando usar validación cruzada estratificada repetida (10 veces) en aproximadamente 10,000 casos usando el algoritmo de aprendizaje automático. Cada vez que la repetición se realizará con diferentes semillas al azar. En este proceso, creo 10 instancias de estimaciones de probabilidad para cada caso. 1 instancia de estimación de probabilidad …

15 roc