Estadísticas y Big Data

¿Alguien puede decirme cómo interpretar los gráficos de 'residuales vs ajustados', 'q-q normal', 'ubicación de escala' y 'residuales vs apalancamiento'? Estoy ajustando un GLM binomial, guardándolo y luego trazándolo.

30 r  logistic  data-visualization  generalized-linear-model  qq-plot 

Tengo dos muestras que quiero probar (usando python) si se extraen de la misma distribución. Para hacer eso, uso la función estadística ks_2samp de scipy.stats. Devuelve 2 valores y encuentro dificultades para interpretarlos. ¡Ayuda por favor!

30 python 

En matemáticas, hay ramas como álgebra, análisis, topología, etc. En el aprendizaje automático hay aprendizaje supervisado, no supervisado y de refuerzo. Dentro de cada una de estas ramas, hay ramas más finas que dividen aún más los métodos. Tengo problemas para trazar un paralelo con las estadísticas. ¿Cuáles serían las …

30 self-study  classification 

En la tradicional paradoja del cumpleaños, la pregunta es "cuáles son las posibilidades de que dos o más personas en un grupo de personas compartan un cumpleaños". Estoy atrapado en un problema que es una extensión de esto.nnn En lugar de saber la probabilidad de que dos personas compartan un …

29 probability  combinatorics  birthday-paradox 

Si dos variables aleatorias e Y no están correlacionadas, ¿podemos saber también que X 2 e Y no están correlacionadas? Mi hipótesis es si.XXXYYYX2X2X^2YYY no correlacionado significa E [ X Y ] = E [ X ] E [ Y ] , oX, YX,YX, Ymi[ XY] = E[ X] E[ …

29 random-variable  independence 

¿Cuál es el punto del análisis de series de tiempo? Existen muchos otros métodos estadísticos, como la regresión y el aprendizaje automático, que tienen casos de uso obvios: la regresión puede proporcionar información sobre la relación entre dos variables, mientras que el aprendizaje automático es excelente para la predicción. Pero …

29 time-series  arima 

Tuve un curso en línea, donde aprendí, que las clases desequilibradas en los datos de entrenamiento podrían ocasionar problemas, porque los algoritmos de clasificación siguen la regla de la mayoría, ya que da buenos resultados si el desequilibrio es demasiado. En una tarea, uno tenía que equilibrar los datos submuestreando …

29 machine-learning  classification  unbalanced-classes 

Si los hessianos son tan buenos para la optimización (ver, por ejemplo, el método de Newton ), ¿por qué detenerse allí? ¿Vamos a usar las derivadas tercera, cuarta, quinta y sexta? Por qué no?

29 optimization  gradient-descent  hessian 

Explicaré mi problema con un ejemplo. Suponga que desea predecir el ingreso de un individuo dados algunos atributos: {Edad, Sexo, País, Región, Ciudad}. Tienes un conjunto de datos de entrenamiento como este train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Suponga que tengo dos grupos de datos, etiquetados A y B (cada uno con, por ejemplo, 200 muestras y 1 función), y quiero saber si son diferentes. Yo podría: a) realice una prueba estadística (p. ej., prueba t) para ver si son estadísticamente diferentes. b) utilizar aprendizaje automático supervisado (por …

29 machine-learning  hypothesis-testing  t-test  unsupervised-learning  supervised-learning 

La idea del análisis de datos adaptativo es que modifique su plan para analizar los datos a medida que aprenda más sobre ellos. En el caso del análisis exploratorio de datos (EDA), generalmente es una buena idea (a menudo busca patrones imprevistos en los datos), pero para un estudio confirmatorio, …

29 hypothesis-testing  overfitting  eda  out-of-sample  differential-privacy 

Supongamos que tenemos una variable aleatoria . Si fuera el parámetro verdadero, la función de probabilidad debería maximizarse y la derivada igual a cero. Este es el principio básico detrás del estimador de máxima verosimilitud.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Según tengo entendido, la información de Fisher se define como I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Un metanálisis incluye un grupo de estudios, todos los cuales informaron un valor de P mayor que 0.05. ¿Es posible que el metanálisis general informe un valor de P menor que 0.05? ¿Bajo que circunstancias? (Estoy bastante seguro de que la respuesta es sí, pero me gustaría una referencia o …

29 statistical-significance  meta-analysis  combining-p-values 

¿Por qué se usan los nodos de sesgo en las redes neuronales? ¿Cuántos deberías usar? ¿En qué capas debe usarlas: todas las capas ocultas y la capa de salida?

29 machine-learning  neural-networks  bias-node 

Creo que este es un tema fascinante y no lo entiendo completamente. ¿Qué ley de la física hace que tantos fenómenos naturales tengan una distribución normal? Parecería más intuitivo que tendrían una distribución uniforme. Es muy difícil para mí entender esto y siento que me falta algo de información. ¿Alguien …

29 distributions  normal-distribution  normality-assumption  uniform