Cómo visualizar la bondad de ajuste bayesiano para la regresión logística

Para un problema de regresión logística bayesiana, he creado una distribución predictiva posterior. Tomo muestras de la distribución predictiva y recibo miles de muestras de (0,1) por cada observación que tengo. Visualizar la bondad de ajuste es menos que interesante, por ejemplo:

Este gráfico muestra las 10 000 muestras + el punto de referencia observado (en el lado izquierdo se puede distinguir una línea roja: sí, esa es la observación). El problema es que esta trama es apenas informativa, y tendré 23 de ellos, uno para cada punto de datos.

¿Hay una mejor manera de visualizar los 23 puntos de datos más las muestras posteriores?

Otro intento:

Otro intento basado en el documento aquí

Tengo la sensación de que no estás entregando todos los bienes a tu situación, pero dado lo que tenemos frente a nosotros, consideremos la utilidad de un simple diagrama de puntos para mostrar la información.

Lo único real que no está aquí (que quizás no sean comportamientos predeterminados) son:

• Utilicé codificaciones redundantes, forma y color, para discriminar entre los valores observados de ausencia de defectos y defectos. Con una información tan simple, no es necesario colocar un punto en el gráfico. También tiene un problema cuando el punto está cerca de los valores medios, se necesita más búsqueda para ver si el valor observado es cero o uno.
• Ordene el gráfico según la proporción observada.

La clasificación es la verdadera patada para diagramas de puntos como estos. Ordenar por valores de proporción aquí ayuda a descubrir fácilmente observaciones residuales elevadas. Tener un sistema en el que pueda ordenar fácilmente por valores contenidos en la trama o en las características externas de los casos es la mejor manera de obtener el beneficio de su inversión.

Este consejo se extiende también a las observaciones continuas. Puede colorear / dar forma a los puntos según si el residuo es negativo o positivo, y luego dimensionar el punto según el residuo absoluto (o al cuadrado). Esto es IMO no necesario aquí, aunque debido a la simplicidad de los valores observados.

La forma habitual de visualizar el ajuste de un modelo de regresión logística bayesiana con un predictor es trazar la distribución predictiva junto con las proporciones correspondientes. (Por favor, avíseme si entendí su pregunta)

Un ejemplo usando el popular conjunto de datos de Bliss.

Código abajo en R:

library(mcmc)

# Beetle data

ni = c(59, 60, 62, 56, 63, 59, 62, 60) # Number of individuals
no = c(6, 13, 18, 28, 52, 53, 61, 60) # Observed successes
dose = c(1.6907, 1.7242, 1.7552, 1.7842, 1.8113, 1.8369, 1.8610, 1.8839) # dose

dat = cbind(dose,ni,no)

ns = length(dat[,1])

# Log-posterior using a uniform prior on the parameters

logpost = function(par){
var = dat[,3]*log(plogis(par[1]+par[2]*dat[,1])) + (dat[,2]-dat[,3])*log(1-plogis(par[1]+par[2]*dat[,1]))

if( par[1]>-100000 ) return( sum(var) )
else return(-Inf)
}

# Metropolis-Hastings
N = 60000

samp <- metrop(logpost, scale = .35, initial = c(-60,33), nbatch = N)

samp$accept

burnin = 10000
thinning = 50

ind = seq(burnin,N,thinning)

mu1p =   samp$batch[ , 1][ind]

mu2p =   samp$batch[ , 2][ind]


# Visual tool

points = no/ni
# Predictive dose-response curve
DRL <- function(d) return(mean(plogis(mu1p+mu2p*d)))
DRLV = Vectorize(DRL)

v <- seq(1.55,2,length.out=55)
FL = DRLV(v)

plot(v,FL,type="l",xlab="dose",ylab="response")
points(dose,points,lwd=2)

Estoy respondiendo a una solicitud de técnicas gráficas alternativas que muestran qué tan bien los eventos de falla simulados coinciden con los eventos de falla observados. La pregunta surgió en "Programación probabilística y métodos bayesianos para hackers" que se encuentra aquí . Aquí está mi enfoque gráfico:

Código encontrado aquí .