Estadísticas y Big Data

Estamos estudiando el aprendizaje automático a través del aprendizaje automático: una perspectiva probabilística (Kevin Murphy). Si bien el texto explica la base teórica de cada algoritmo, rara vez dice en qué caso qué algoritmo es mejor, y cuando lo hace, no dice cómo saber en qué caso estoy. Por ejemplo, …

16 machine-learning  eda 

La regresión de cresta estima los parámetros ββ\boldsymbol \beta en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , λy=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \betaβ^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top …

16 regression  ridge-regression  shrinkage 

Estoy estudiando redes neuronales convolucionales (CNN) debido a sus aplicaciones en visión por computadora. Ya estoy familiarizado con las redes neuronales estándar de alimentación hacia adelante, por lo que espero que algunas personas aquí puedan ayudarme a dar un paso adicional para comprender las CNN. Esto es lo que pienso …

16 neural-networks  deep-learning  conv-neural-network  convolution 

Hoy enseñé una clase introductoria de estadística y un estudiante se me ocurrió una pregunta, que reformulo aquí como: "¿Por qué la desviación estándar se define como sqrt de varianza y no como el sqrt de la suma de cuadrados sobre N?" Definimos varianza poblacional: σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} Y desviación estándar: σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} …

16 variance  standard-deviation  intuition  teaching 

Esta pregunta es un seguimiento técnico de esta pregunta . Tengo problemas para entender y replicar el modelo presentado en Raftery (1988): Inferencia para el parámetro binomial : un enfoque jerárquico de BayesNNN en WinBUGS / OpenBUGS / JAGS. Sin embargo, no se trata solo de código, por lo que …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

El utilizado por la opción "ward.D" (equivalente a la única opción Ward "ward" en las versiones R <= 3.0.3) no implementa el criterio de agrupación de Ward (1963), mientras que la opción "ward.D2" implementa ese criterio ( Murtagh y Legendre 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Aparentemente, ward.D no implementa el criterio …

16 r  clustering  ward 

Según tengo entendido, una red neuronal artificial perceptrón / de una sola capa con una función de activación sigmoidea logística es el mismo modelo que la regresión logística. Ambos modelos están dados por la ecuación: F( x ) = 11 - e- βXF(X)=11-mi-βXF(x) = \frac{1}{1-e^{-\beta X}} El algoritmo de aprendizaje …

16 logistic  communication 

Tendré que presentar un proyecto a los no estadísticos en una próxima conferencia y me gustaría incluir una cita que he leído en un punto que hace la comparación entre las estadísticas y una máquina que procesa mineral. La razón es que quiero enfatizar una cierta conexión entre las capacidades …

16 references  quotation 

En los últimos meses, he leído intensamente sobre la regresión cuantil en preparación para mi tesis de maestría este verano. Específicamente, he leído la mayor parte del libro de 2005 de Roger Koenker sobre el tema. Ahora quiero expandir este conocimiento existente a técnicas de regresión cuantil que permitan variables …

16 regression  references  econometrics  instrumental-variables  quantile-regression 

Soy nuevo en la página y bastante nuevo en estadísticas y R. Estoy trabajando en un proyecto para la universidad con el objetivo de encontrar la correlación entre la lluvia y el nivel de flujo de agua en los ríos. Una vez que se prueba la correlación, quiero pronosticarla / …

16 r  time-series  forecasting  cross-correlation  lags 

Tengo antecedentes moderados en el pronóstico de series de tiempo. He mirado varios libros de pronósticos y no veo las siguientes preguntas abordadas en ninguno de ellos. Tengo dos preguntas: ¿Cómo determinaría objetivamente (mediante una prueba estadística) si una serie de tiempo dada tiene: Estacionalidad estocástica o estacionalidad determinista Tendencia …

16 time-series  forecasting  arima  stochastic-processes 

Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las instancias …

16 r  machine-learning  roc  precision-recall  auc 

Estoy intentando aprender cómo usar los campos aleatorios de Markov para segmentar regiones en una imagen. No entiendo algunos de los parámetros en el MRF o por qué la maximización de expectativas que realizo a veces no puede converger en una solución. A partir del teorema de Bayes, tengo p(x|y)=p(y|x)p(x)/p(y)p(x|y)=p(y|x)p(x)/p(y)p(x|y) …

16 expectation-maximization  image-processing  classification 

Estoy usando la glmerfunción del lme4paquete en R, y estoy usando el bobyqaoptimizador (es decir, el predeterminado en mi caso). Recibo una advertencia y tengo curiosidad por saber qué significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust …

16 r  optimization  lme4-nlme  convergence  glmm 

Deje denotar la mediana y deje que denote la media de una muestra aleatoria de tamaño de una distribución que es N (\ mu, \ sigma ^ 2) . ¿Cómo puedo calcular E (Y | \ bar {X} = \ bar {x}) ?YYYX¯X¯\bar{X}n=2k+1n=2k+1n=2k+1N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)E(Y|X¯=x¯)E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) Intuitivamente, debido al supuesto de normalidad, tiene …

16 self-study  normal-distribution  mathematical-statistics  expected-value  conditional-expectation