PCA probabilístico
La PCA probabilística es un modelo gaussiano de variable latente de la siguiente forma. Las observaciones consisten en variables , se supone que las variables latentes consisten en variables ; la variable anterior sobre latente es una gaussiana de covarianza unitaria de media cero: y la distribución condicional de las variables observadas dadas las variables latentes es
Resulta que la solución de máxima verosimilitud para este modelo viene dada por los primeros componentes PCA de los datos: columnas dex∈RDDz∈RMM<D
z∼N(0,I),
x|z∼N(Wz+μ,σ2I).
MWML son proporcionales a los vectores propios superiores de la matriz de covarianza (ejes principales). Ver Tipping & Bishop para más detalles.
¿Por qué usar Gaussian prior?
Para cualquier otro previo (o al menos para la mayoría de los otros anteriores) la solución de máxima verosimilitud no corresponderá a la solución estándar de PCA, por lo que no habría razón para llamar a este modelo de variable latente "PCA probabilístico". Gaussian anterior es el que da lugar a PCA.N(0,I)
La mayoría de los otros antecedentes harían el problema mucho más complicado o incluso analíticamente intratable. Tener distribución gaussiana previa y condicional gaussiana conduce a la distribución marginal gaussiana , y es fácil ver que su matriz de covarianza estará dada por . Las distribuciones no gaussianas son mucho más difíciles de trabajar.p(x)W⊤W+σ2I
Tener distribución marginal gaussiana también es atractivo porque la tarea del PCA estándar es modelar la matriz de covarianza (es decir, el segundo momento); PCA no está interesado en los momentos superiores de la distribución de datos. La distribución gaussiana se describe completamente en los dos primeros momentos: media y covarianza. No queremos utilizar distribuciones más complicadas / flexibles, porque PCA no se ocupa de estos aspectos de los datos.p(x)
El Gauss anterior presenta la matriz de covarianza unidad porque la idea es tener variables latentes no correlacionados que dan lugar a las covarianzas observadas sólo a través de cargas .W