Preguntas etiquetadas con decision-trees

¿Alguien puede explicar prácticamente la razón detrás de la impureza de Gini frente a la ganancia de información (basada en la entropía)? ¿Qué métrica es mejor usar en diferentes escenarios al usar árboles de decisión?

66 machine-learning  decision-trees 

Estoy haciendo algunos problemas en una aplicación de árbol de decisión / bosque aleatorio. Estoy tratando de ajustar un problema que tiene números y cadenas (como el nombre del país) como características. Ahora, la biblioteca, scikit-learn toma solo números como parámetros, pero quiero inyectar las cadenas y llevar una gran …

64 machine-learning  python  scikit-learn  random-forest  decision-trees 

No tenía claros algunos conceptos: XGBoost convierte a los alumnos débiles en alumnos fuertes. ¿Cuál es la ventaja de hacer esto? ¿Combinando muchos estudiantes débiles en lugar de usar un solo árbol? Random Forest usa varias muestras del árbol para crear un árbol. ¿Cuál es la ventaja de este método …

25 machine-learning  data-mining  random-forest  decision-trees  xgboost 

Recientemente se le preguntó a un amigo mío si los algoritmos del árbol de decisión son algoritmos lineales o no lineales en una entrevista. Traté de buscar respuestas a esta pregunta pero no pude encontrar ninguna explicación satisfactoria. ¿Alguien puede responder y explicar la solución a esta pregunta? Además, ¿cuáles …

21 machine-learning  classification  decision-trees  algorithms  pac-learning 

Creo un corr()df a partir de un df original. El corr()DF salió 70 X 70 y es imposible de visualizar el mapa de calor ... sns.heatmap(df). Si trato de mostrar corr = df.corr(), la tabla no se ajusta a la pantalla y puedo ver todas las correlaciones. ¿Es una forma …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

La siguiente función de predicción también proporciona valores -ve, por lo que no puede haber probabilidades. param <- list(max.depth = 5, eta = 0.01, objective="binary:logistic",subsample=0.9) bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000) pred_s <- predict(bst, x_mat_s2) Busqué en Google e intenté pred_s <- predict(bst, x_mat_s2,type="response") pero …

16 machine-learning  r  predictive-modeling  decision-trees 

¿En qué casos es mejor usar un árbol de decisión y otros casos un KNN? ¿Por qué usar uno de ellos en ciertos casos? ¿Y el otro en diferentes casos? (Al observar su funcionalidad, no el algoritmo) ¿Alguien tiene algunas explicaciones o referencias sobre esto?

15 machine-learning  data-mining  decision-trees 

Estoy trabajando en un problema de clasificación. Tengo un conjunto de datos que contiene el mismo número de variables categóricas y variables continuas. ¿Cómo sabré qué técnica usar? entre un árbol de decisión y una regresión logística? ¿Es correcto suponer que la regresión logística será más adecuada para la variable …

14 classification  logistic-regression  decision-trees 

Para las redes neuronales tenemos el teorema de aproximación universal que establece que las redes neuronales pueden aproximarse a cualquier función continua en un subconjunto compacto de .RnRnorteR^n ¿Hay un resultado similar para los árboles impulsados ​​por gradiente? Parece razonable ya que puede seguir agregando más ramas, pero no puedo …

14 decision-trees 

Tengo dos preguntas relacionadas con los árboles de decisión: Si tenemos un atributo continuo, ¿cómo elegimos el valor de división? Ejemplo: Edad = (20,29,50,40 ....) Imaginemos que tenemos una variable continua que tienen valores de R . ¿Cómo puedo escribir un algoritmo que encuentre el punto de división v , …

14 classification  data  decision-trees 

Problema 1: Estoy confundido por la descripción de LightGBM con respecto a la forma en que se expande el árbol. Ellos declaran: La mayoría de los algoritmos de aprendizaje del árbol de decisión crecen en árbol por nivel (profundidad), como en la siguiente imagen: Preguntas 1 : ¿Qué "mayoría" de …

14 decision-trees  xgboost 

Si entreno a mi modelo con el siguiente código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) termina en aproximadamente 1 minuto. Si entreno mi modelo usando el método …

13 machine-learning  python  decision-trees  xgboost  efficiency 

Tengo un conjunto de datos que tiene un atributo de clase binaria. Hay 623 instancias con clase +1 (cáncer positivo) y 101,671 instancias con clase -1 (cáncer negativo). He probado varios algoritmos (Naive Bayes, Random Forest, AODE, C4.5) y todos ellos tienen relaciones inaceptables de falsos negativos. Random Forest tiene …

11 classification  random-forest  decision-trees  unbalanced-classes 

Supongamos que tengo una función suave como F( x , y) = x2+ y2F(X,y)=X2+y2f(x, y) = x^2+y^2 . Tengo un conjunto de entrenamiento y, por supuesto, no sé f, aunque puedo evaluar f donde quiera.D ⊊ { ( ( x , y) , f( x , y) ) | ( …

11 predictive-modeling  regression  decision-trees 

Estoy trabajando con un conjunto de datos con una gran cantidad de características categóricas (> 80%) que predicen una variable objetivo continua (es decir, Regresión). He estado leyendo bastante sobre formas de manejar características categóricas. Y aprendí que la codificación única que he estado usando en el pasado es una …

11 machine-learning  decision-trees  categorical-data