¿Cómo predecir probabilidades en xgboost?

La siguiente función de predicción también proporciona valores -ve, por lo que no puede haber probabilidades.

param <- list(max.depth = 5, eta = 0.01,  objective="binary:logistic",subsample=0.9)
bst <- xgboost(param, data = x_mat, label = y_mat,nround = 3000)

pred_s <- predict(bst, x_mat_s2)

Busqué en Google e intenté pred_s <- predict(bst, x_mat_s2,type="response") pero no funcionó.

Pregunta

¿Cómo predecir probabilidades en su lugar?

machine-learning r predictive-modeling decision-trees

— GeorgeOfTheRF
fuente

¿No genera probabilidades por defecto con la configuración que usó? Quiero decir: ¿has examinado pred_s y estás seguro de que no son probabilidades?

— kpb

No, tiene valores negativos. La probabilidad debería variar entre 0 y 1.

— GeorgeOfTheRF

No veo ningún problema obvio. (Aunque estoy más familiarizado con el envoltorio de python). ¿Has intentado agregar outputmargin=Fa la predictfunción? Si de alguna manera outputmarginse establece en T, devolverá el valor antes de la transformación logística.

— inversión

Para Python, puede copiar la predict_probaimplementación desde la sklearnAPI: github.com/dmlc/xgboost/blob/master/python-package/xgboost/…

— Anton Tarasenko

Respuestas:

Sé que llego un poco tarde, pero para obtener probabilidades xgboosttuyas debes especificar multi:softmaxobjetivos como este:

xgboost(param, data = x_mat, label = y_mat,nround = 3000, objective='multi:softprob')

De la ?xgb.train:

multi: softprob igual que softmax, pero genera un vector de ndata * nclass, que puede reformarse aún más a ndata, matriz de nclass. El resultado contiene probabilidades predichas de cada punto de datos que pertenece a cada clase.

— cyberj0g
fuente

Gracias. ¿En qué se diferencia esta función de pérdida del binario: logística para la clasificación binaria?

— GeorgeOfTheRF

Es solo una generalización de la función logística para el caso de múltiples clases, no debería haber una diferencia significativa.

— cyberj0g

Solo use en predict_probalugar de predict. Puedes dejar el objetivo como binary:logistic.

— ihadanny
fuente

Si esto fuera Python y no R, entonces esta respuesta podría ser sensata. Lenguaje equivocado.

— B_Miner

¡Uy! gracias @B_Miner. No estoy borrando esta respuesta, ya que podría ser útil para otros que cometerán el mismo error y piensan que estamos hablando de Python ..

— ihadanny

Para mí esto no funciona el truco datascience.stackexchange.com/questions/14527/…

— Georg Heiler

xgboost no tiene una función predict_proba

— Ashoka Lella

El clasificador XGBoost tiene una opción predict_proba xgboost.readthedocs.io/en/latest/python/python_api.html

— Paul Bendevis

después de la predicción

pred_s <- predict(bst, x_mat_s2)

puedes obtener la probabilidad por

pred_s$data

Si esta es una clasificación binaria, entonces pred_s$dataincluye prob.0, prob.1, respuesta.

Para que pueda obtener el problema 1 por

pred_s$data$prob.1

— Dera
fuente