La Estimación de máxima verosimilitud (MLE) es una técnica para encontrar la
función más probable que explica los datos observados. Creo que las matemáticas son necesarias, ¡pero no dejes que te asuste!
Digamos que tenemos un conjunto de puntos en el plano , y queremos conocer los parámetros de función y que probablemente se ajustan a los datos (en este caso, sabemos la función porque la especifiqué para crear esto ejemplo, pero tengan paciencia conmigo).β σx,yβσ
data <- data.frame(x = runif(200, 1, 10))
data$y <- 0 + beta*data$x + rnorm(200, 0, sigma)
plot(data$x, data$y)
Para hacer un MLE, necesitamos hacer suposiciones sobre la forma de la función. En un modelo lineal, suponemos que los puntos siguen una distribución de probabilidad normal (gaussiana), con media y varianza : . La ecuación de esta función de densidad de probabilidad es:xβσ2y=N(xβ,σ2)
12πσ2−−−−√exp(−(yi−xiβ)22σ2)
Lo que queremos encontrar son los parámetros y que maximicen esta probabilidad para todos los puntos . Esta es la función de "probabilidad",βσ(xi,yi)L
log(L)=n∑i=1-n
L=∏i=1nyi=∏i=1n12πσ2−−−−√exp(−(yi−xiβ)22σ2)
Por varias razones, es más fácil usar el registro de la función de probabilidad:
log(L)=∑i=1n−n2log(2π)−n2log(σ2)−12σ2(yi−xiβ)2
Podemos codificar esto como una función en R con .θ=(β,σ)
linear.lik <- function(theta, y, X){
n <- nrow(X)
k <- ncol(X)
beta <- theta[1:k]
sigma2 <- theta[k+1]^2
e <- y - X%*%beta
logl <- -.5*n*log(2*pi)-.5*n*log(sigma2) - ( (t(e) %*% e)/ (2*sigma2) )
return(-logl)
}
Esta función, a diferentes valores de y , crea una superficie.σβσ
surface <- list()
k <- 0
for(beta in seq(0, 5, 0.1)){
for(sigma in seq(0.1, 5, 0.1)){
k <- k + 1
logL <- linear.lik(theta = c(0, beta, sigma), y = data$y, X = cbind(1, data$x))
surface[[k]] <- data.frame(beta = beta, sigma = sigma, logL = -logL)
}
}
surface <- do.call(rbind, surface)
library(lattice)
wireframe(logL ~ beta*sigma, surface, shade = TRUE)
Como puede ver, hay un punto máximo en algún lugar de esta superficie. Podemos encontrar parámetros que especifiquen este punto con los comandos de optimización incorporados de R. Esto se acerca razonablemente a descubrir los parámetros verdaderos
0,β=2.7,σ=1.3
linear.MLE <- optim(fn=linear.lik, par=c(1,1,1), lower = c(-Inf, -Inf, 1e-8),
upper = c(Inf, Inf, Inf), hessian=TRUE,
y=data$y, X=cbind(1, data$x), method = "L-BFGS-B")
linear.MLE$par
## [1] -0.1303868 2.7286616 1.3446534
Los mínimos cuadrados ordinarios son la máxima probabilidad para un modelo lineal, por lo que tiene sentido que lmnos dé las mismas respuestas. (Tenga en cuenta que se utiliza para determinar los errores estándar).σ2
summary(lm(y ~ x, data))
##
## Call:
## lm(formula = y ~ x, data = data)
##
## Residuals:
## Min 1Q Median 3Q Max
## -3.3616 -0.9898 0.1345 0.9967 3.8364
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -0.13038 0.21298 -0.612 0.541
## x 2.72866 0.03621 75.363 <2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 1.351 on 198 degrees of freedom
## Multiple R-squared: 0.9663, Adjusted R-squared: 0.9661
## F-statistic: 5680 on 1 and 198 DF, p-value: < 2.2e-16
