Validación interna a través de bootstrap: ¿Qué curva ROC presentar?

Estoy usando el enfoque bootstrap para la validación interna de un modelo multivariado construido con regresión logística estándar O red elástica.

El procedimiento que uso es el siguiente:

1) construya el modelo utilizando todo el conjunto de datos, obtenga los valores pronosticados y calcule AUC (AUC_ap, aparente)

2) generar 100-500 muestras de arranque derivadas del conjunto de datos original

3) para cada muestra de bootstrap, siga el mismo procedimiento que en el n. ° 1 y obtenga los valores pronosticados y auc para i) muestra de bootstrap actual, y ii) conjunto de datos original

4) calcule la diferencia entre i) y ii) (en el # 3) para cada una de las muestras de arranque de 100-500, y tome el promedio -> "optimismo"

5) calcular el AUC corregido por optimismo: AUC_ap - optimismo

Mi pregunta es ¿QUÉ curva ROC sería mejor presentar en un artículo? Por ejemplo, el ROC derivado en el paso 1 es una opción, pero claramente optimista. Alternativamente, he intentado generar un "ROC promedio" utilizando el paquete ROCR R, basado en las curvas ROC derivadas en el paso 3 (ii). Sin embargo, el AUC para el [promedio de estas curvas ROC] no creo que sea equivalente al valor obtenido en el paso 5.

¡Cualquier aporte es muy apreciado! -METRO

Está asumiendo que la curva ROC es informativa y conduce a buenas decisiones. Tampoco es verdad. Todavía tengo que ver una curva ROC que proporcionó información útil. También tiene una gran relación tinta: información. El índice (probabilidad de concordancia) es una buena medida de discriminación predictiva. Me gustaría que no fuera también el AUROC. No hay necesidad de presentar una curva ROC.$c$

Además de tener un bajo rendimiento de información, las curvas ROC invitan a los analistas a buscar puntos de corte en las probabilidades predichas, lo cual es un desastre en la toma de decisiones.

Hiciste una muy buena pregunta que me preguntaba durante mucho tiempo. Quizás depende de sus resultados tomar una decisión sobre cómo informar. Para la mayoría de las situaciones, los autores desean informar un AUC bruto / aparente (es decir, el paso 1 en su pregunta) a pesar del exceso de optimismo o no, y luego informar el AUC corregido del optimismo de arranque (es decir, el paso 5). ver ref: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0125026

En algunas situaciones en que las AUC no parecen ser demasiado optimistas, el autor informaría directamente las AUC corregidas.

En cuanto a AUC en el paso 3 (ii), rara vez se ha informado y será mejor que lo ignore.

Hay muchos detalles que faltan en su pregunta; sin embargo, me parece que no está hablando de todo el conjunto de pruebas . Si tiene la intención de demostrar la generalización de su modelo (que es el caso de uso principal para una curva ROC), se espera que presente el ROC derivado de un conjunto de prueba , no de validación o conjunto de validación interna . o un ROC promedio derivado de múltiples conjuntos de prueba. Por lo tanto, es importante que encuentre una manera de generar conjuntos de pruebas y tomarlos desde allí.

Una buena referencia para aprender el análisis ROC (y cómo crear curvas ROC promedio) es:

Fawcett, T. (2006). Una introducción al análisis ROC. Pattern Recognition Letters, 27 (8), 861–874. http://www.sciencedirect.com/science/article/pii/S016786550500303X