Preguntas etiquetadas con optimization

Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f …

11 cross-validation  error  regularization  validation  optimization 

Este es un tema difícil para mí en Google, ya que tener las palabras optimización y estocástico en una búsqueda casi por defecto es automáticamente la búsqueda de optimización estocástica. Pero lo que realmente quiero saber es qué métodos existen para la optimización de los modelos de computadora cuando la …

11 optimization  stochastic-processes 

Estoy buscando un método de agrupamiento óptimo (discretización) de una variable continua con respecto a una variable binaria de respuesta (objetivo) dada y con un número máximo de intervalos como parámetro. ejemplo: tengo un conjunto de observaciones de personas con variables de "altura" (numeral continuo) y "has_back_pains" (binario). Quiero discretizar …

11 r  dataset  optimization  discrete-data  binning 

Mi peluquera Stacey siempre pone una cara feliz, pero a menudo está estresada por manejar su tiempo. Hoy Stacey estaba retrasada para mi cita y se disculpó mucho. Mientras me cortaba el pelo, me preguntaba: ¿cuánto tiempo deberían durar sus citas estándar? (si la preferencia del cliente por números redondos …

11 normal-distribution  optimization  queueing  decision-theory 

Estoy tratando de implementar el algoritmo Nelder-Mead para optimizar una función. La página de Wikipedia sobre Nelder-Mead es sorprendentemente clara sobre todo el algoritmo, excepto por su criterio de detención. Ahí dice tristemente: Verifique la convergencia [se necesita aclaración] . Probé y probé un par de criterios yo mismo: Deténgase …

11 optimization  algorithms 

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Me he encontrado con estas diapositivas (diapositiva 16 y 17) en uno de los cursos en línea. El instructor intentaba explicar cómo la Estimación posterior máxima (MAP) es en realidad la solución , donde es el parámetro verdaderoL(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} ¿Alguien puede explicar cómo sigue esto? Editar: se …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de Lagrange, lo que hace que el problema se …

10 optimization  lasso  regularization  lagrange-multipliers 

Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se escala …

10 optimization  lasso  regularization  time-complexity 

Estoy siguiendo el tutorial de Tensorflow mnist ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). El tutorial utiliza tf.train.Optimizer.minimize(específicamente tf.train.GradientDescentOptimizer). No veo ningún argumento que se pase a ningún lado para definir gradientes. ¿El flujo del tensor utiliza la diferenciación numérica por defecto? ¿Hay alguna manera de pasar gradientes como puedes scipy.optimize.minimize?

10 python  optimization  tensorflow 

El sistema de calificación Elo utiliza un algoritmo de minimización de descenso de gradiente de la función de pérdida de entropía cruzada entre la probabilidad esperada y observada de un resultado en comparaciones pareadas. Podemos escribir las funciones de pérdida general como mi= - ∑n , ipagyoL o g( qyo)E=−∑n,ipiLog(qi) …

10 regression  optimization  rating 

Básicamente quiero convertir las medidas de similitud en pesos que se usan como predictores. Las similitudes estarán en [0,1], y restringiré los pesos para que también estén en [0,1]. Me gustaría una función paramterica que haga este mapeo que probablemente optimizaré usando el descenso de gradiente. Los requisitos son que …

10 optimization  curve-fitting 

Estoy tratando de ajustar un modelo de tiempo discreto en R, pero no estoy seguro de cómo hacerlo. He leído que puede organizar la variable dependiente en diferentes filas, una para cada observación de tiempo, y usar la glmfunción con un enlace logit o cloglog. En este sentido, tengo tres …

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Estoy tratando de entender la optimización de descenso de gradiente en algoritmos ML (aprendizaje automático). Tengo entendido que hay una función donde el costo es el objetivo de minimizar el error y - y . En un escenario donde los pesos w 1 , w 2 se están optimizando para …

9 optimization  gradient-descent