Preguntas etiquetadas con ensemble

Los bosques aleatorios funcionan creando un conjunto de árboles de decisión donde cada árbol se crea utilizando una muestra de arranque de los datos de entrenamiento originales (muestra de variables de entrada y observaciones). ¿Se puede aplicar un proceso similar para la regresión lineal? Cree k modelos de regresión lineal …

14 regression  predictive-models  ensemble 

Me gustaría crear un bosque aleatorio usando el siguiente proceso: Construya un árbol en muestras aleatorias de los datos y características usando la ganancia de información para determinar divisiones Termine un nodo de hoja si excede una profundidad predefinida O cualquier división daría como resultado un recuento de hojas menor …

14 classification  random-forest  lasso  ensemble 

Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no lo sé).

13 boosting  ensemble  bagging 

Entiendo teóricamente (más o menos) cómo funcionarían, pero no estoy seguro de cómo hacerlo utilizando un método de conjunto (como votación, mezclas ponderadas, etc.). ¿Cuáles son buenos recursos para implementar métodos de conjunto? ¿Hay algún recurso en particular con respecto a la implementación en Python? EDITAR: Para aclarar algunos basados …

13 machine-learning  python  ensemble 

Quiero construir un modelo de regresión que sea un promedio de múltiples modelos OLS, cada uno basado en un subconjunto de datos completos. La idea detrás de esto se basa en este documento . Creo k pliegues y construyo k modelos OLS, cada uno con datos sin uno de los …

13 regression  least-squares  ensemble 

Necesito automatizar el pronóstico de series temporales, y no sé de antemano las características de esas series (estacionalidad, tendencia, ruido, etc.). Mi objetivo no es obtener el mejor modelo posible para cada serie, sino evitar modelos bastante malos. En otras palabras, obtener pequeños errores cada vez no es un problema, …

13 time-series  forecasting  arima  ensemble  exponential-smoothing 

He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente producen estimaciones de probabilidad. …

12 machine-learning  classification  boosting  ensemble  xgboost 

Recientemente, me interesé en el apilamiento de modelos como una forma de aprendizaje conjunto. En particular, he experimentado un poco con algunos conjuntos de datos de juguetes para problemas de regresión. Básicamente, he implementado regresores individuales de "nivel 0", almacenado las predicciones de salida de cada regresor como una nueva …

10 machine-learning  ensemble  stacking 

Los métodos de conjunto basados ​​en árboles como el Bosque aleatorio y las derivadas posteriores (por ejemplo, bosque condicional), todos pretenden ser útiles en los llamados problemas " n pequeña , p grande ", para identificar la importancia variable relativa. De hecho, este parece ser el caso, pero mi pregunta …

10 random-forest  small-sample  ensemble 

Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

Estoy leyendo Aprendizaje automático práctico con Scikit-Learn y TensorFlow: conceptos, herramientas y técnicas para construir sistemas inteligentes . Entonces no soy capaz de descubrir la diferencia entre la votación dura y la votación suave en contexto con los métodos basados ​​en conjuntos. Cito descripciones de ellos del libro. Las dos …

9 machine-learning  ensemble 

En todos los documentos forestales aleatorios (de regresión) que he leído, cuando llega el momento de reunir las predicciones de todos los árboles, tomamos el valor promedio como la predicción. Mi pregunta es ¿por qué hacemos eso? ¿Existe una justificación estadística para tomar el promedio? EDITAR: Para aclarar la pregunta, …

8 regression  random-forest  ensemble 

Mi problema es este: tengo un conjunto de predictores que cada uno produce una distribución en un conjunto de clases. Lo que me gustaría hacer es tener primero una información previa no informativa sobre cómo se ve esta distribución de etiquetas y luego actualizarla antes con la predicción de cada …

8 bayesian  ensemble  dirichlet-distribution 

¿Podemos generalizar todos los métodos de conjunto usando la votación? ¿Los métodos de impulso también usan la votación para llevar a los alumnos débiles al modelo final? Mi comprensión de la técnica: Impulso: agrega continuamente un alumno débil para aumentar los puntos de datos que no se clasificaron correctamente. Técnica …

8 machine-learning  boosting  ensemble  gbm  voting-system 

Digamos que tengo tres conjuntos de datos de tamaño cada uno:nortenn y1y1y_1 = altura de personas de EE. UU. solamente y2y2y_2 = alturas de hombres de todo el mundo y3y3y_3 = alturas de mujeres de todo el mundo Y construyo un modelo lineal para cada uno con factores , :Xyoxix_ii …

8 regression  multiple-regression  ensemble  aggregation