Preguntas etiquetadas con hyperparameter

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Actualmente estoy revisando la búsqueda aleatoria de Bengio y Bergsta para la optimización de hiperparámetros [1], donde los autores afirman que la búsqueda aleatoria es más eficiente que la búsqueda de cuadrícula para lograr un rendimiento aproximadamente igual. Mi pregunta es: ¿la gente aquí está de acuerdo con esa afirmación? …

41 machine-learning  hyperparameter  optimization 

Estoy buscando un documento que pueda ayudar a dar una guía sobre cómo elegir los hiperparámetros de una arquitectura profunda, como codificadores automáticos apilados o redes de confianza profunda. Hay muchos hiperparámetros y estoy muy confundido sobre cómo elegirlos. Además, el uso de la validación cruzada no es una opción, …

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe cambiarse del valor …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

¿Alguien puede explicar cuál es la interpretación natural de los hiperparámetros LDA? ALPHAy BETAson parámetros de distribuciones de Dirichlet para (por documento) tema y (por tema) distribuciones de palabras respectivamente. Sin embargo, ¿alguien puede explicar lo que significa elegir valores más grandes de estos hiperparámetros frente a valores más pequeños? …

21 interpretation  prior  topic-models  hyperparameter 

Sé que realizar el ajuste de hiperparámetros fuera de la validación cruzada puede conducir a estimaciones sesgadas de validez externa, porque el conjunto de datos que usa para medir el rendimiento es el mismo que usó para ajustar las características. Lo que me pregunto es qué tan grave es este …

20 cross-validation  validation  hyperparameter 

Entonces, en una distribución normal, tenemos dos parámetros: media y varianza . En el libro Pattern Recognition and Machine Learning , de repente aparece un hiperparámetro en los términos de regularización de la función de error.μμ\muσ2σ2\sigma^2λλ\lambda ¿Qué son los hiperparámetros? ¿Por qué son nombrados como tales? ¿Y cómo son intuitivamente …

19 terminology  definition  parameterization  hyperparameter 

Tengo un conjunto de datos de 140000 ejemplos y 30 características para las que estoy entrenando a varios clasificadores para una clasificación binaria (SVM, Regresión logística, Bosque aleatorio, etc.) En muchos casos, el ajuste de hiperparámetros en todo el conjunto de datos mediante Grid o Búsqueda aleatoria es demasiado costoso …

19 machine-learning  cross-validation  hyperparameter 

Existe una importante investigación contemporánea sobre la optimización bayesiana (1) para ajustar los hiperparámetros ML. La motivación principal aquí es que se requiere un número mínimo de puntos de datos para tomar decisiones informadas sobre qué puntos vale la pena intentar (las llamadas a funciones objetivas son caras, por lo …

18 hyperparameter  bayesian-optimization  optunity 

En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

He leído las siguientes publicaciones para la validación cruzada anidada y todavía no estoy 100% seguro de lo que debo hacer con la selección del modelo con validación cruzada anidada: Validación cruzada anidada para la selección del modelo Selección de modelo y validación cruzada: la forma correcta Para explicar mi …

17 cross-validation  scikit-learn  hyperparameter 

Entonces, sabemos que la búsqueda aleatoria funciona mejor que la búsqueda de cuadrícula, pero un enfoque más reciente es la optimización bayesiana (usando procesos gaussianos). Busqué una comparación entre los dos y no encontré nada. Sé que en el cs231n de Stanford solo mencionan la búsqueda aleatoria, pero es posible …

14 bayesian  hyperparameter 

Mi objetivo es clasificar las señales del sensor. El concepto de mi solución hasta ahora es: i) Características de ingeniería de la señal sin procesar ii) Seleccionar características relevantes con ReliefF y un enfoque de agrupamiento iii) Aplicar NN, Bosque aleatorio y SVM Sin embargo, estoy atrapado en un dilema. …

14 feature-selection  hyperparameter  optimization 

Las clases pronosticadas a partir de la regresión logística (binaria) se determinan utilizando un umbral en las probabilidades de pertenencia a la clase generadas por el modelo. Según tengo entendido, normalmente se usa 0.5 por defecto. Pero variar el umbral cambiará las clasificaciones predichas. ¿Esto significa que el umbral es …

13 machine-learning  logistic  scikit-learn  hyperparameter 

KKij=k(xi,xj)=b-1exp(-1Iniciar sesión( y | X, θ ) = - 12yTK- 1yy - 12Iniciar sesión( det ( K) ) - n2Iniciar sesión( 2 π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKKM=lIa,blKyo j= k ( xyo, xj) = b- 1Exp( - 12( xyo- xj)TMETRO( xyo- xj) ) + a- 1δyo jKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}METRO= l IM=lIM=lIa , ba,ba,blll La derivada parcial …

13 regression  optimization  gaussian-process  hyperparameter