En un pequeño conjunto de datos ( ) con el que estoy trabajando, varias variables me dan una predicción / separación perfecta . Por lo tanto, utilizo la regresión logística de Firth para tratar el problema.
Si selecciono el mejor modelo por AIC o BIC , ¿debo incluir el término de penalización de Firth en la probabilidad al calcular estos criterios de información?
2
¿Le importaría explicar por qué es inevitable, ya que la selección de variables no ayuda con el problema de "demasiadas variables, muy poco tamaño de muestra"?
—
Frank Harrell
Eso es tan malo como se pone.
—
Frank Harrell
¿Has considerado tratar esto como un problema de inferencia bayesiana? La regresión logística de Firth es equivalente a MAP con jeffreys anteriores. Se podría utilizar la aproximación de Laplace totalmente a evalute probabilidades marginales - que es como un BIC ajustado (similar a la AICC)
—
probabilityislogic
@usuario, debido a que tales variables generalmente predicen solo un puñado de casos, y eso es irreproducible: la probabilidad real de esa celda puede ser cercana al 90%, pero con solo dos casos, obtendrá dos el 81% del tiempo .
—
StasK
Enlace para descargar el documento de K&K (1996) encontrado en Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf
—
Alecos Papadopoulos