Prueba de cercanía de las funciones del núcleo bajo un producto puntiagudo

13

¿Cómo puedo demostrar que el producto puntual de dos funciones del núcleo es una función del núcleo?

machine-learning kernel-trick

— Gigili
fuente

18

Por producto puntual, supongo que quiere decir que si son funciones válidas del núcleo, entonces su producto $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (x, y) = k_{1} (x, y) k_{2} (x, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

También es una función válida del núcleo.

Probar esta propiedad es bastante sencillo cuando invocamos el teorema de Mercer. Como son núcleos válidos, sabemos (a través de Mercer) que deben admitir una representación interna del producto. Deje denotar el vector de características de y denota el mismo para . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (x, y) = a (x)^{T} a (y), a (z) = [a_{1} (z), a_{2} (z), \dots a_{M} (z)] \\ k_{2} (x, y) = b (x)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Entonces es una función que produce un vector -dim, produce un vector -dim. $a$ $M$ $b$ $N$

A continuación, se acaba de escribir el producto en términos de y , y realizar algunas reagrupamiento. $a$ $b$

\begin{aligned} k_{p} (x, y) & = k_{1} (x, y) k_{2} (x, y) \\ = (\sum_{m = 1}^{M} a_{m} (x) a_{m} (y)) (\sum_{n = 1}^{N} b_{n} (x) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [a_{m} (x) b_{n} (x)] [a_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (x) c_{m n} (y) \\ = c (x)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

donde es un vector -dimensional, st . $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

Ahora, debido a que podemos escribir como un producto interno usando el mapa de características , sabemos que es un núcleo válido (a través del teorema de Mercer). Eso es todo al respecto. $k_p(x,y)$ $c$ $k_p$

— Mike Hughes
fuente

¿Cómo sabes que la característica del espacio de Hilbert es de dimensión finita? ¿No podría ser incluso no separable?

— Andrei Kh

Según su primer párrafo, solo sabemos que kernel la existencia de una representación interna del producto. Pero en su conclusión, usa que la existencia de una representación interna del producto implica que es un núcleo. ¿Por qué es eso válido?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik

3

¿Qué tal la siguiente prueba:

Fuente: Conferencia de métodos del núcleo UChicago , página 5

— PALEN
fuente

0

Suponga que y son la matriz del núcleo de estos dos y , respectivamente, y son PSD. Definimos y queremos demostrar que también es un núcleo. Esto es equivalente a demostrar que su matriz de kernel correspondiente es PSD. $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ es una PSD (el producto kronecker de dos PSD es PSD).
$K$ es una submatriz principal de y, por lo tanto, es PSD (la submatriz principal de PSD es PSD). $K_3$

— ceyao zhang
fuente