Estimadores de máxima verosimilitud - Gaussiano multivariante

Contexto

El gaussiano multivariante aparece con frecuencia en Machine Learning y los siguientes resultados se utilizan en muchos libros y cursos de ML sin las derivaciones.

Datos dados en forma de una matriz de dimensiones , si suponemos que los datos siguen una distribución gaussiana de -variable con parámetros media ( ) y matriz de covarianza ( ) los estimadores de máxima verosimilitud están dados por: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Entiendo que el conocimiento del gaussiano multivariado es un requisito previo para muchos cursos de aprendizaje automático, pero sería útil tener la derivación completa en una respuesta autónoma de una vez por todas, ya que siento que muchos autoaprendices rebotan en las estadísticas. sitios web stackexchange y math.stackexchange en busca de respuestas.

Pregunta

¿Cuál es la derivación completa de los estimadores de máxima verosimilitud para el gaussiano multivariante

Ejemplos:

Estas notas de la conferencia (página 11) sobre Análisis discriminante lineal, o estas hacen uso de los resultados y asumen conocimientos previos.

También hay algunas publicaciones que están parcialmente respondidas o cerradas:

— Xavier Bourret Sicotte
fuente

Respuestas:

Derivar los estimadores de máxima verosimilitud

Supongamos que tenemos vectores aleatorios, cada uno de tamaño : donde cada vector aleatorio puede ser interpretado como una observación (punto de datos) a través de variables. Si cada son iid como vectores gaussianos multivariados: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

Donde los parámetros son desconocidos. Para obtener su estimación, podemos usar el método de máxima verosimilitud y maximizar la función log verosimilitud. $\mu, \Sigma$

Tenga en cuenta que, por la independencia de los vectores aleatorios, la densidad conjunta de los datos es el producto de las densidades individuales , es decir . Tomar el logaritmo da la función de log-verosimilitud $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

Derivando $\hat \mu$

Para tomar la derivada con respecto a y equiparar a cero, haremos uso de la siguiente identidad de cálculo de matriz: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ si no depende de y es simétrico. $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

Que a menudo se llama el vector medio de la muestra .

Derivando $\hat \Sigma$

Derivar el MLE para la matriz de covarianza requiere más trabajo y el uso de las siguientes propiedades de álgebra lineal y cálculo:

La traza es invariante en permutaciones cíclicas de productos de matriz: $tr[ACB] = tr[CAB] = tr[BCA]$

Como es escalar, podemos tomar su rastro y obtener el mismo valor: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

La combinación de estas propiedades nos permite calcular

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

Cuál es el producto externo del vector consigo mismo. $x$

Ahora podemos reescribir la función log-verosimilitud y calcular la derivada wrt (nota es constante) $\Sigma^{-1}$ $C$

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

Igualando a cero y resolviendo para $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

Fuentes

— Xavier Bourret Sicotte
fuente

¡Pruebas alternativas, formas más compactas o interpretación intuitiva son bienvenidas!

— Xavier Bourret Sicotte

En la derivación de , ¿por qué necesita ser definitivo positivo? ¿Parece suficiente que sea invertible? Para una matriz invertible , solo cuando ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— Tom Bennett

Para aclarar, es una matriz que puede tener componentes finitos diagonales y no diagonales que indican correlación entre vectores, ¿correcto? Si ese es el caso, ¿en qué sentido son independientes estos vectores? Además, ¿por qué la función de probabilidad conjunta es igual a la probabilidad? ¿No debería ser la densidad conjunta, , igual a la probabilidad multiplicada por la anterior, es decir, ?

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— Mathews24

@TomBennett, la matriz sigma es positiva definida por definición - ver stats.stackexchange.com/questions/52976/… para la prueba. La identidad del cálculo de la matriz requiere que la matriz sea simétrica, no positiva definida. Pero dado que las matrices definidas positivas siempre son simétricas, eso funciona

— Xavier Bourret Sicotte

Sí, de hecho, la independencia entre las observaciones permite obtener la probabilidad, la redacción puede ser bastante clara, esta es la versión multivariada de la probabilidad. Lo anterior sigue siendo irrelevante independientemente

— Xavier Bourret Sicotte

Una prueba alternativa para que toma la derivada con respecto a directamente: $\widehat{\Sigma}$ $\Sigma$

Continuando con la probabilidad de registro como se arriba: donde y hemos utilizado las propiedades cíclicas y lineales de . Para calcular , primero observamos que

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} \log | Σ | = Σ^{- T} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ por la cuarta propiedad anterior. Para tomar la derivada del segundo término necesitaremos la propiedad que (del libro de cocina Matrix , ecuación 63). Aplicando esto con obtenemos que porque tanto como son simétricos. Luego

\frac{\partial}{\partial X} tr (A X^{- 1} B) = - (X^{- 1} B A X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ Establecer esto en 0 y reorganizar da

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

Este enfoque es más trabajo que el estándar que utiliza derivados con respecto a , y requiere una identidad de rastreo más complicada. Solo lo encontré útil porque actualmente necesito tomar derivados de una función de probabilidad modificada para la que parece mucho más difícil usar que . $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— Eric Kightley
fuente

Estimadores de máxima verosimilitud - Gaussiano multivariante

Contexto

Pregunta

Ejemplos:

Derivar los estimadores de máxima verosimilitud

Derivandoμ^μ^\hat \mu

DerivandoΣ^Σ^\hat \Sigma

Fuentes

Derivando $\hat \mu$

Derivando $\hat \Sigma$