¿Cómo calcular los pesos del criterio de Fisher?

Estoy estudiando reconocimiento de patrones y aprendizaje automático, y me encontré con la siguiente pregunta.

Considere un problema de clasificación de dos clases con igual probabilidad de clase previa

$$P(D_1)=P(D_2)= \frac{1}{2}$$

y la distribución de instancias en cada clase dada por

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

¿Cómo calcular los pesos del criterio de Fisher?

Actualización 2: El peso calculado proporcionado por mi libro es: $W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$ .

Actualización 3: Según lo insinuado por @xeon, entiendo que debo determinar la línea de proyección para el discriminante de Fisher.

Actualización 4: Sea $W$ la dirección de la línea de proyección, entonces el método discriminante lineal de Fisher determina que la mejor $W$ es aquella para la cual se maximiza la función de criterio. El desafío restante es ¿cómo podemos obtener numéricamente el vector $W$ ?

Siguiendo el documento al que se vinculó (Mika et al., 1999) , tenemos que encontrar el que maximiza el llamado cociente de Rayleigh generalizado ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

donde para significa y covarianzas ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

La solución se puede encontrar resolviendo el problema de valor propio generalizado calculando primero los valores propios resolviendo y luego resolviendo para el vector propio . En su caso, El determinante de esta matriz de 2x2 se puede calcular a mano.λdet( S B -λ S W )=

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ S B - λ S W = ( 16 - 3 λ 16 16 16 - 2 λ )$\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

El vector propio con el valor propio más grande maximiza el cociente de Rayleigh. En lugar de hacer los cálculos a mano, resolví el problema del valor propio generalizado en Python usando scipy.linalg.eigy obtuve que es diferente de la solución que encontró en su libro. A continuación, tracé el hiperplano óptimo del vector de peso que encontré (negro) y el plano inferior del vector de peso que se encuentra en su libro (rojo).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

Siguiendo a Duda et al. (Pattern CLassification) que tiene una solución alternativa a @lucas y en este caso proporciona una solución muy fácil de calcular a mano. (¡Espero que esta solución alternativa ayude! :))

En dos clases LDA el objetivo es:

$\frac{w^TS_Bw}{w^TS_Ww}$ que solo significa que aumenta la varianza entre clases y disminuye la varianza dentro de clases.

donde y , aquí son matrices de covarianza y son medias de clase 1 y 2 respectivamente.S W = S 1 + S 2 S 1 , S 2 m 1 , m $S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

La solución de este cociente de Raleigh generalizado es un probem de valor propio generalizado.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

La formulación anterior tiene una solución de forma cerrada. es una matriz de rango 1 con base por lo que que puede ser normalizada para obtener la respuesta.m 1 - m $S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Acabo de calcular la y obtuve [0.5547; 0.8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Ref: Clasificación de patrones por Duda, Hart, Stork

$\mathbf{SOLUTION 2:}$

Alternativamente, se puede resolver encontrando el vector propio al problema del valor propio generalizado. $S_Bw = \lambda S_Ww$

Un polinomio en lambda puede formarse por y las soluciones a ese polinomio serán el valor propio para . Ahora supongamos que tiene un conjunto de valores propios como raíces del polinomio. Ahora sustituya y obtenga el vector propio correspondiente como solución al sistema lineal de ecuaciones . Al hacer esto para cada i, puede obtener un conjunto de vectores y es un conjunto de vectores propios como soluciones.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , entonces los valores propios son raíces al polinomio .$6\lambda^2 - 80\lambda$

Entonces 0 y 40/3 son las dos soluciones. Para LDA, el vector propio correspondiente al valor más alto es la solución.$\lambda=$

Solución al sistema de ecuaciones y$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

que resulta ser$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

La solución al sistema de ecuaciones anterior es que es igual que la solución anterior.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Alternativamente, podemos decir que encuentra en el espacio nulo de .[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Para dos clases de LDA, el vector propio con el valor propio más alto es la solución. En general, para la clase C LDA, los primeros vectores eigen C - 1 a los valores eigen C - 1 más altos constituyen la solución.

Este video explica cómo calcular los vectores propios para un problema simple de valor propio. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

El siguiente es un ejemplo. http://www.sosmath.com/matrix/eigen2/eigen2.html

LDA multiclase: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Cálculo del espacio nulo de una matriz: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix