Selección de modelo con regresión logística de Firth

En un pequeño conjunto de datos ( ) con el que estoy trabajando, varias variables me dan una predicción / separación perfecta . Por lo tanto, utilizo la regresión logística de Firth para tratar el problema. $n\sim100$

Si selecciono el mejor modelo por AIC o BIC , ¿debo incluir el término de penalización de Firth en la probabilidad al calcular estos criterios de información?

— StasK
fuente

¿Le importaría explicar por qué es inevitable, ya que la selección de variables no ayuda con el problema de "demasiadas variables, muy poco tamaño de muestra"?

— Frank Harrell

Eso es tan malo como se pone.

— Frank Harrell

¿Has considerado tratar esto como un problema de inferencia bayesiana? La regresión logística de Firth es equivalente a MAP con jeffreys anteriores. Se podría utilizar la aproximación de Laplace totalmente a evalute probabilidades marginales - que es como un BIC ajustado (similar a la AICC)

— probabilityislogic

@usuario, debido a que tales variables generalmente predicen solo un puñado de casos, y eso es irreproducible: la probabilidad real de esa celda puede ser cercana al 90%, pero con solo dos casos, obtendrá dos el 81% del tiempo .

— StasK

Enlace para descargar el documento de K&K (1996) encontrado en Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf

— Alecos Papadopoulos

$n \to \infty$

{pags}_{y} (y) = \int L (θ; y) π (θ) re θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

Como observación secundaria, la regresión de Firth también elimina el sesgo de primer orden en familias exponenciales.

— lbelzile
fuente