Estadísticas y Big Data

El libro de Simon Wood sobre GAM y su mgcv de paquete R asociado son muy detallados e informativos cuando se trata de la teoría GAM y el ajuste del modelo a datos reales y simulados. Para los suavizados 1D, realmente no hay mucho de qué preocuparse, excepto para decidir …

9 r  mgcv 

En las notas de la semana 3 de la clase Coursera Machine Learning de Andrew Ng , se agrega un término a la función de costos para implementar la regularización: J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Las notas de la conferencia dicen: También podríamos regularizar todos nuestros parámetros theta …

9 regularization 

Soy consciente de que es una práctica común estandarizar las características para la regresión de cresta y lazo; sin embargo, ¿sería más práctico normalizar las características en una escala (0,1) como alternativa a la estandarización de la puntuación z para estos métodos de regresión?

9 normalization  lasso  standardization  ridge-regression 

Digamos que tenemos una muestra de dos poblaciones: Ay B. Supongamos que estas poblaciones están formadas por individuos y elegimos describirlos en términos de características. Algunas de estas características son categóricas (por ejemplo, ¿conducen al trabajo?) Y otras son numéricas (por ejemplo, su altura). Llamemos a estas características: . Recopilamos …

9 anova  random-forest  cart  group-differences 

Creí que los diagramas de caja a continuación podrían interpretarse como "la mayoría de los hombres son más rápidos que la mayoría de las mujeres" (en este conjunto de datos), principalmente porque el tiempo promedio de los hombres fue menor que el tiempo promedio de las mujeres. Pero el curso …

9 quantiles  histogram  boxplot  eda 

Siempre he escuchado "ortogonal" en el área de la geometría (también tenga en cuenta que no soy un hablante nativo de inglés). No entiendo lo siguiente para los cuadrados latinos (una cita de un libro de texto): Cada tratamiento (ABCD) aparece una vez en cada fila. Por lo tanto, los …

9 experiment-design  combinatorics  latin-square 

Esta pregunta surgió en clase: si usamos valores p para evaluar hipótesis en un experimento, ¿qué parte del Principio de Probabilidad no estamos obedeciendo: Suficiencia o Condicionalidad ? Mi intuición sería decir Suficiencia , ya que calcular un valor p se basa en resultados no observados de un experimento, y …

9 likelihood  philosophical  likelihood-principle 

En R, estoy haciendo análisis de datos de supervivencia de pacientes con cáncer. He estado leyendo cosas muy útiles sobre el análisis de supervivencia en CrossValidated y otros lugares y creo que entendí cómo interpretar los resultados de la regresión de Cox. Sin embargo, un resultado todavía me molesta ... …

9 r  survival  cox-model  kaplan-meier 

Me preguntaba, ¿cómo son útiles los espacios hilbert y el análisis funcional para el aprendizaje automático? Pensé que el aprendizaje automático era una mezcla de estadísticas, informática y optimización. ¿Cómo se relaciona el análisis funcional con eso?

9 machine-learning  mathematical-statistics  computational-statistics 

¿Dónde puedo encontrar una prueba del teorema de Pitman-Koopman-Darmois? He buscado en Google desde hace bastante tiempo. Curiosamente, muchas notas mencionan este teorema pero ninguna de ellas presenta la prueba.

9 mathematical-statistics  references  inference  sufficient-statistics 

Quiero estimar la divergencia KL entre dos distribuciones continuas f y g. Sin embargo, no puedo escribir la densidad para f o g. Puedo tomar muestras de f y g a través de algún método (por ejemplo, markov chain monte carlo). La divergencia KL de f a g se define …

9 kullback-leibler 

Suponga que tuvo un año extraterrestre con una longitud desconocida N. Si tiene una muestra aleatoria de dichos extraterrestres y algunos de ellos comparten cumpleaños, ¿puede usar estos datos para estimar la duración del año? Por ejemplo, en una muestra de 100, podría tener dos trillizos (es decir, dos cumpleaños …

9 estimation  inference  birthday-paradox 

Tengo un conjunto de datos con tres variables, donde todas las variables son cuantitativas. Vamos a llamarlo , y . Estoy ajustando un modelo de regresión en una perspectiva bayesiana a través de MCMC conx 1 x 2yyyX1x1x_1X2x2x_2rjags Hice un análisis exploratorio y el diagrama de dispersión de sugiere que …

9 bayesian  feature-selection  model-selection  model  credible-interval 

Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con softmaxfunción en la última …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Estoy tratando de encontrar la distribución de probabilidad de una suma de un número aleatorio de variables que no están distribuidas de manera idéntica. Aquí hay un ejemplo: John trabaja en un centro de atención al cliente. Recibe llamadas con problemas y trata de resolverlos. Los que no puede resolver, …

9 probability  distributions  random-variable