Preguntas etiquetadas con optimization

Así que estoy tratando de enseñarme a mí mismo las redes neuronales (para aplicaciones de regresión, no para clasificar imágenes de gatos). Mis primeros experimentos fueron entrenar una red para implementar un filtro FIR y una Transformada Discreta de Fourier (entrenamiento en señales "antes" y "después"), ya que ambas son …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Supongamos que estamos haciendo un ejemplo de juguete en gradiente decente, minimizando una función cuadrática , usando un tamaño de paso fijo . ( )α = 0.03 A = [ 10 , 2 ; 2 , 3 ]XTA xxTAxx^TAxα = 0.03α=0,03\alpha=0.03A = [ 10 , 2 ; 2 , 3 …

9 r  machine-learning  optimization  gradient-descent 

Estoy entrenando una red neuronal convolucional simple para la regresión, donde la tarea es predecir la ubicación (x, y) de un cuadro en una imagen, por ejemplo: La salida de la red tiene dos nodos, uno para xy otro para y. El resto de la red es una red neuronal …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Supongamos que queremos calcular algunas expectativas: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Supongamos que queremos aproximar esto usando la simulación de Monte Carlo. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)miYmiXEl |Y[F(X,Y)]≈1RS∑r=1R∑s=1SF(Xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Pero supongamos que es costoso para extraer muestras de ambas distribuciones, por lo que sólo podemos darnos el lujo de dibujar un número fijo . KKK ¿Cómo debemos …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Estaba pensando en resolver Lasso a través de métodos de subgrado de vainilla. Pero he leído personas que sugieren usar el descenso de gradiente proximal. ¿Alguien puede resaltar por qué se usa GD proximal en lugar de los métodos de subgradiente de vainilla para Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

En mi libro de texto econométrico (Econometría introductoria) que cubre OLS, el autor escribe: "SSR debe caer cuando se agrega otra variable explicativa". Por que es

9 regression  optimization  econometrics  intuition  sums-of-squares 

Estoy buscando un paquete que me ayude a resolver algunos problemas de optimización cuadrática y veo que hay al menos media docena de paquetes diferentes. De acuerdo con esta página: QP (programación cuadrática, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Algunos de estos …

9 r  optimization 

Por defecto, cuando usamos una glmfunción en R, usa el método de mínimos cuadrados reponderados iterativamente (IWLS) para encontrar la estimación de máxima verosimilitud de los parámetros. Ahora tengo dos preguntas. ¿Las estimaciones de IWLS garantizan el máximo global de la función de probabilidad? Basado en la última diapositiva de …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

¿Cómo puedo estimar los intervalos de confianza del 95% usando la creación de perfiles para los parámetros estimados maximizando una función de log-verosimilitud usando optim en R? Sé que puedo estimar asintóticamente la matriz de covarianza invirtiendo el hessian , pero me preocupa que mis datos no cumplan con los …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Esta es una pregunta bastante general (es decir, no necesariamente específica para las estadísticas), pero he notado una tendencia en el aprendizaje automático y la literatura estadística donde los autores prefieren seguir el siguiente enfoque: Enfoque 1 : Obtenga una solución a un problema práctico formulando una función de costo …

9 optimization  function 

Estoy buscando una referencia sólida (o referencias) sobre técnicas de optimización numérica destinadas a los estadísticos, es decir, aplicaría estos métodos a algunos problemas de inferencia estándar (por ejemplo, MAP / MLE en modelos comunes). Cosas como el descenso de gradiente (recto y estocástico), EM y sus derivaciones / generalizaciones, …

9 estimation  references  optimization 

Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Soy bastante nuevo en el aprendizaje automático y las estadísticas, pero me preguntaba por qué la optimización bayesiana no se refiere con mayor frecuencia en línea cuando se aprende el aprendizaje automático para optimizar los hiperparámetros de su algoritmo. Por ejemplo, utilizando un marco como este: https://github.com/fmfn/BayesianOptimization ¿La optimización bayesiana …

9 machine-learning  optimization  hyperparameter  bayesian-optimization 

Considere una respuesta y y matriz de datos X . Supongamos que estoy creando un modelo del formulario: y ~ g (X, )θθ\theta (g () podría ser cualquier función de X y )θθ\theta Ahora, para estimar utilizando el método de máxima verosimilitud (ML), podría seguir adelante con ML condicional (suponiendo …

9 estimation  maximum-likelihood  optimization 

Estoy tratando de establecer una distribución previa para un metanálisis bayesiano. Tengo la siguiente información sobre una variable aleatoria: Dos observaciones: 3.0, 3.6 Un científico que estudia la variable me ha dicho que , y que valores tan altos como 6 tienen una probabilidad distinta de cero.P(X&lt;2)=P(X&gt;8)=0P(X&lt;2)=P(X&gt;8)=0P(X<2)=P(X>8)=0 He utilizado el …

8 r  distributions  probability  bayesian  optimization