He visto y he disfrutado la pregunta Dar sentido al análisis de componentes principales , y ahora tengo la misma pregunta para el análisis de componentes independientes. ¿Quiero decir que quiero hacer una pregunta exhaustiva sobre las formas intuitivas de entender ICA?

Quiero entender ella. Quiero entender el propósito. Quiero sentirlo. Yo creo firmemente eso:

Realmente no entiendes algo a menos que puedas explicárselo a tu abuela.
-- Albert Einstein

Bueno, no puedo explicar este concepto a un laico o abuela

1. ¿Por qué ICA? ¿Cuál era la necesidad de este concepto?
2. ¿Cómo le explicarías esto a un laico?

Aquí está mi intento.

Antecedentes

Considere los siguientes dos casos.

1. Eres un ojo privado en una fiesta. De repente, ves a uno de tus antiguos clientes hablando con alguien, y puedes escuchar algunas de las palabras, pero no del todo, porque también escuchas a alguien más que está a su lado, participando en una discusión no relacionada sobre deportes. No quieres acercarte, él te verá. Decide tomar el teléfono de su compañero (que está ocupado convenciendo al barman de cerveza sin alcohol es genial) y plantarlo a unos 10 metros a su lado. El teléfono está grabando, y el teléfono también graba la charla del antiguo cliente, así como el tipo deportivo que interfiere. Toma su propio teléfono y comienza a grabar también, desde donde está parado. Después de unos 15 minutos, te vas a casa con dos grabaciones: una desde tu posición y la otra a unos 10 metros de distancia. Ambas grabaciones contienen su antiguo cliente y el Sr. Sporty,
2. Tomas una foto de un lindo perro labrador retriever que ves fuera de la ventana. Revisas la imagen y desafortunadamente ves un reflejo de la ventana que está entre tú y el perro. No puedes abrir la ventana (es uno de esos, sí) y no puedes salir porque tienes miedo de que se escape. Entonces, toma (por alguna razón poco clara) otra imagen, desde una posición ligeramente diferente. Todavía ves el reflejo y el perro, pero ahora están en diferentes posiciones, ya que estás tomando la foto desde un lugar diferente. También tenga en cuenta que la posición cambió de manera uniforme para cada píxel en la imagen, porque la ventana es plana y no cóncava / convexa.

La pregunta es, en ambos casos, cómo restaurar la conversación (en 1.) o la imagen del perro (en 2.), dadas las dos imágenes que contienen las mismas "fuentes" pero con contribuciones relativas ligeramente diferentes de cada una. . ¡Seguramente mi nieto educado puede entender esto!

Solución intuitiva

¿Cómo podemos, al menos en principio, recuperar la imagen del perro de una mezcla? ¡Cada píxel contiene valores que son una suma de dos valores! Bueno, si cada píxel se proporcionara sin ningún otro píxel, nuestra intuición sería correcta: no hubiéramos podido adivinar las contribuciones relativas exactas de cada uno de los píxeles.

Sin embargo, se nos da un conjunto de píxeles (o puntos en el tiempo en el caso de la grabación), que sabemos que mantienen las mismas relaciones. Por ejemplo, si en la primera imagen, el perro siempre es dos veces más fuerte que el reflejo, y en la segunda imagen, es todo lo contrario, entonces podríamos obtener las contribuciones correctas después de todo. Y luego, podemos encontrar la forma correcta de restar las dos imágenes a la mano para que el reflejo se cancele exactamente. [Matemáticamente, esto significa encontrar la matriz de mezcla inversa.]

Zambullirse en detalles

$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

Pero, ¿cómo puedes encontrarlo para señales generales? pueden parecer similares, tener estadísticas similares, etc. Así que supongamos que son independientes. Eso es razonable si tiene una señal interferente, como ruido, o si las dos señales son imágenes, la señal interferente puede ser un reflejo de otra cosa (y tomó dos imágenes desde diferentes ángulos).

$Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

$X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

$\{b_{ij}\}$$X_1,X_2$

Así que primero considere esto: si sumamos varias señales independientes, no gaussianas, hacemos que la suma sea "más gaussiana" que los componentes. ¿Por qué? debido al teorema del límite central, y también puedes pensar en la densidad de la suma de dos indep. variables, que es la convolución de las densidades. Si sumamos varias indep. Variables de Bernoulli, la distribución empírica se asemejará cada vez más a una forma gaussiana. ¿Será un verdadero gaussiano? probablemente no (sin juego de palabras), pero podemos medir la gaussianidad de una señal por la cantidad que se asemeja a una distribución gaussiana. Por ejemplo, podemos medir su exceso de curtosis. Si es realmente alto, probablemente sea menos gaussiano que uno con la misma varianza pero con un exceso de curtosis cercano a cero.

$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

Por supuesto, esto agrega otro supuesto: para empezar, las dos señales deben ser no gaussianas.

Muy simple. Imagínese usted, su abuela y los miembros de la familia están reunidos alrededor de la mesa. Grupos más grandes de personas tienden a separarse donde el tema del chat es específico de ese subgrupo. Tu abuela se sienta allí y escucha el ruido de todas las personas que hablan, lo que parece ser solo una cacofonía. Si recurre a un grupo, puede aislar claramente las discusiones en el grupo de adolescentes / jóvenes, si recurre al otro grupo, puede aislar el chat de personas adultas.

Para resumir, ICA se trata de aislar o extraer una señal específica (una persona o un grupo de personas hablando) de una mezcla de señales (multitud hablando).