Estadísticas y Big Data

¿Cómo interpretar la desviación nula y residual en GLM en R? Como, decimos que AIC más pequeño es mejor. ¿Hay alguna interpretación similar y rápida para las desviaciones también? Desviación nula: 1146.1 en 1077 grados de libertad Desviación residual: 4589.4 en 1099 grados de libertad AIC: 11089

47 generalized-linear-model  deviance 

Tengo 2 series temporales (ambas suaves) que me gustaría hacer una correlación cruzada para ver qué tan correlacionadas están. Tengo la intención de utilizar el coeficiente de correlación de Pearson. ¿Es esto apropiado? Mi segunda pregunta es que puedo elegir probar las 2 series de tiempo tan bien como quiera. …

47 time-series  correlation  pearson-r  smoothing 

De StatSoft, Inc. (2013), Electronic Statistics Textbook , "Naive Bayes Classifier" : Para demostrar el concepto de Clasificación Naïve Bayes, considere el ejemplo que se muestra en la ilustración de arriba. Como se indicó, los objetos se pueden clasificar como VERDES o ROJOS. Mi tarea es clasificar los casos nuevos …

47 machine-learning  naive-bayes 

Imagine que tiene que informar sobre el número de candidatos que anualmente toman un examen determinado. Parece bastante difícil inferir el% de éxito observado, por ejemplo, en una población más amplia debido a la especificidad de la población objetivo. Por lo tanto, puede considerar que estos datos representan a toda …

47 hypothesis-testing  population  sampling 

Estoy seguro de que tengo esto completamente envuelto alrededor de mi cabeza, pero no puedo entenderlo. La prueba t compara dos distribuciones normales usando la distribución Z. Es por eso que hay una suposición de normalidad en los DATOS. ANOVA es equivalente a la regresión lineal con variables ficticias, y …

47 distributions  regression  normality-assumption  t-test  anova 

Esta pregunta me ha intrigado durante mucho tiempo. Entiendo el uso de 'log' para maximizar la probabilidad, por lo que no estoy preguntando sobre 'log'. Mi pregunta es, dado que maximizar la probabilidad de registro es equivalente a minimizar la "probabilidad de registro negativa" (NLL), ¿por qué inventamos esta NLL? …

47 maximum-likelihood  likelihood 

En los últimos años, las redes neuronales convolucionales (CNN) se han convertido en el estado del arte para el reconocimiento de objetos en la visión por computadora. Por lo general, una CNN consta de varias capas convolucionales, seguidas de dos capas completamente conectadas. Una intuición detrás de esto es que …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

He visto "residuales" definidos de manera diversa como "pronosticados menos valores reales" o "reales menos valores pronosticados". Con fines ilustrativos, para mostrar que ambas fórmulas se usan ampliamente, compare las siguientes búsquedas web: residual "predicho menos real" residual "real menos predicho" En la práctica, casi nunca hace la diferencia, ya …

46 residuals  terminology  error 

Estaba leyendo este artículo sobre el factor Bayes para un problema completamente no relacionado cuando me topé con este pasaje. La prueba de hipótesis con factores de Bayes es más sólida que la prueba de hipótesis frecuentista, ya que la forma bayesiana evita el sesgo de selección del modelo, evalúa …

46 hypothesis-testing  frequentist 

En el artículo "Discusión: ¿Deberían los ecologistas convertirse en bayesianos?" Brian Dennis ofrece una visión sorprendentemente equilibrada y positiva de las estadísticas bayesianas cuando su objetivo parece ser advertir a la gente al respecto. Sin embargo, en un párrafo, sin ninguna cita o justificación, dice: Ya ves, a los bayesianos …

46 bayesian  residuals  frequentist  likelihood-principle 

Tengo curiosidad sobre la naturaleza de Σ−1Σ−1\Sigma^{-1} . ¿Alguien puede decir algo intuitivo sobre "¿Qué dice Σ−1Σ−1\Sigma^{-1} sobre los datos?" Editar: Gracias por las respuestas Después de tomar algunos cursos excelentes, me gustaría agregar algunos puntos: Es una medida de la información, es decir, xTΣ−1xxTΣ−1xx^T\Sigma^{-1}x es la cantidad de información …

46 bayesian  maximum-likelihood  covariance  matrix 

Completé mi análisis de datos y obtuve "resultados estadísticamente significativos" que son consistentes con mi hipótesis. Sin embargo, un estudiante de estadística me dijo que esta es una conclusión prematura. ¿Por qué? ¿Se necesita incluir algo más en mi informe?

46 hypothesis-testing  statistical-significance  spss  p-value 

¿Alguien puede explicar por qué necesitamos una gran cantidad de árboles en un bosque aleatorio cuando la cantidad de predictores es grande? ¿Cómo podemos determinar la cantidad óptima de árboles?

46 machine-learning  random-forest 

En este documento titulado "ELEGIR ENTRE MODELOS LINEALES GENERALIZADOS APLICADOS A DATOS MÉDICOS" los autores escriben: En un modelo lineal generalizado, la media se transforma, mediante la función de enlace, en lugar de transformar la respuesta misma. Los dos métodos de transformación pueden conducir a resultados bastante diferentes; por ejemplo, …

46 generalized-linear-model  model-selection  lognormal 

Supongamos que . Entonces, la distribución condicional de dado que es multivariada normalmente distribuida con media:X∼N2(μ,Σ)X∼N2(μ,Σ)\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})X1X1X_1X2=x2X2=x2X_2 = x_2 E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2)E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2) E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2) y varianza:Var[P(X1|X2=x2)]=σ11−σ212σ22Var[P(X1|X2=x2)]=σ11−σ122σ22{\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}} Tiene sentido que la varianza disminuya ya que tenemos más información. Pero, …

46 normal-distribution  multivariate-analysis  intuition