¿Cómo el análisis discriminante lineal reduce las dimensiones?


18

Hay palabras de "Los elementos del aprendizaje estadístico" en la página 91:

Los centroides K en el espacio de entrada p-dimensional abarcan en la mayoría del subespacio dimensional K-1, y si p es mucho más grande que K, esto será una caída considerable en la dimensión.

Tengo dos preguntas:

  1. ¿Por qué los centroides K en el espacio de entrada p-dimensional abarcan como máximo el subespacio dimensional K-1?
  2. ¿Cómo se ubican los centroides K?

No hay explicaciones en el libro y no encontré la respuesta de documentos relacionados.


3
Los centroides se encuentran en una, como máximo, K - 1 dimensional afín subespacio. Por ejemplo, dos puntos se encuentran en una línea, un 2 - 1 subespacio dimensional. Esta es solo la definición de un subespacio afín y algo de álgebra lineal elemental. KK-12-1
desde

Una pregunta muy similar: stats.stackexchange.com/q/169436/3277 .
ttnphns

Respuestas:


16

metroyonorte(k-1,pag)

ingrese la descripción de la imagen aquí

El álgebra de LDA en la fase de extracción está aquí .


Bonito gráfico, ¿qué software / paquete usaste para crearlo?
Michelle

SPSS Macro autoescrita para SPSS.
ttnphns

¿Significa esto que no verá una buena separación de clases en un LDA con, digamos, tres clases con superposición, hasta que vuelva a escalar el eje? Quiero decir, estoy ejecutando un LDA, y mis clases se separan ... pero están una encima de la otra en cada eje discriminatorio, excepto el primero ... y ese es enorme.
donlan

14

Si bien "Los elementos del aprendizaje estadístico" es un libro brillante, requiere un nivel relativamente alto de conocimiento para aprovecharlo al máximo. Hay muchos otros recursos en la web para ayudarlo a comprender los temas del libro.

Tomemos un ejemplo muy simple de análisis discriminante lineal en el que desea agrupar un conjunto de puntos de datos bidimensionales en grupos K = 2. La caída en las dimensiones solo será K-1 = 2-1 = 1. Como explicó @deinst, la caída en las dimensiones se puede explicar con geometría elemental.

Una línea puede unir dos puntos en cualquier dimensión, y una línea es unidimensional. Este es un ejemplo de un subespacio K-1 = 2-1 = 1 dimensional.

Ahora, en este simple ejemplo, el conjunto de puntos de datos se dispersará en un espacio bidimensional. Los puntos estarán representados por (x, y), por lo que podría tener puntos de datos como (1,2), (2,1), (9,10), (13,13). Ahora, el uso del análisis discriminante lineal para crear dos grupos A y B dará como resultado que los puntos de datos se clasifiquen como pertenecientes al grupo A o al grupo B de modo que se satisfagan ciertas propiedades. El análisis discriminante lineal intenta maximizar la varianza entre los grupos en comparación con la varianza dentro de los grupos.

En otras palabras, los grupos A y B estarán muy separados y contienen puntos de datos que están muy juntos. En este sencillo ejemplo, está claro que los puntos se agruparán de la siguiente manera. Grupo A = {(1,2), (2,1)} y Grupo B = {(9,10), (13,13)}.

Ahora, los centroides se calculan como los centroides de los grupos de puntos de datos.

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Los centroides son simplemente 2 puntos y abarcan una línea unidimensional que los une.

Figura 1

Puede pensar en el análisis discriminante lineal como una proyección de los puntos de datos en una línea para que los dos grupos de puntos de datos estén tan "separados como sea posible"

Si tuviera tres grupos (y digamos puntos de datos tridimensionales), obtendría tres centroides, simplemente tres puntos, y tres puntos en el espacio 3D definirían un plano bidimensional. Nuevamente la regla K-1 = 3-1 = 2 dimensiones.

Le sugiero que busque en la web recursos que lo ayuden a explicar y ampliar la simple introducción que he dado; por ejemplo http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf


1
¡Bienvenido a nuestro sitio, Martino!
whuber

gracias @whuber, bonito gráfico, no tenía ninguna de esas herramientas a la mano :(
martino

De todos modos, no creía que tuvieras la reputación de publicar una imagen, Martino: por eso te hice una. Pero ahora, o pronto, tendrá suficiente reputación. Si nada es útil, puede utilizar software disponible gratuitamente con capacidades de dibujo geométrico como R o Geogebra . (Encontrará que las respuestas ilustradas reciben más atención: son más atractivas y legibles.)
whuber

¿Por qué el voto negativo? Si hay un problema con la respuesta, sería útil señalarlo. No puedo ver uno
Martino
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.