Mapa de características para el núcleo gaussiano

24

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

También quiero saber si

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ donde

c_{i} \in R

$c_i\in \mathbb R$ . Ahora, creo que no es igual, porque el uso de un núcleo maneja la situación en la que el clasificador lineal no funciona. Sé que

ϕ

$\phi$ proyecta x en un espacio infinito. Entonces, si sigue siendo lineal, no importa cuántas dimensiones tenga, svm aún no puede hacer una buena clasificación.

machine-learning svm kernel-trick

— Vivian
fuente

¿Por qué este núcleo implica una transformación? ¿O te refieres al espacio de características asociado?

— Placidia

Sí, ¿cuál es el espacio de características para que

ϕ (\cdot)

$\phi(\cdot)$

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— usuario27886

20

Puede obtener la ecuación explícita de para el núcleo gaussiano a través de la expansión de la serie Tailor de . Para simplificar la notación, suponga : $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Esto también se discute con más detalle en estas diapositivas por Chih-Jen Lin de NTU (diapositiva 11 específicamente). Tenga en cuenta que en las diapositivas se usa como parámetro del núcleo. $\gamma=\frac{1}{2\sigma^2}$

La ecuación en el OP solo se cumple para el núcleo lineal.

— Marc Claesen
fuente

2

Hola, pero esta ecuación anterior solo se adapta a una dimensión.

— Vivian

Entonces, aquí, el espacio de reproducción del núcleo de Hilbert es un subespacio de

, ¿correcto?

ℓ^{2}

$\ell^2$

— The_Anomaly

¿Existe también una representación explícita del núcleo laplaciano?

— Felix Crazzolara

13

Para cualquier psd válido kernel , existe un mapa de características tal que . De hecho, el espacio y la incrustación no necesitan ser únicos, pero hay un par único importante conocido como el espacio de reproducción de Hilbert del núcleo (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

El RKHS es discutido por: Steinwart, Hush and Scovel, Una descripción explícita del espacio de reproducción Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , citeeer pdf gratuito ).

Es algo complicado, pero se reduce a esto: defina como $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Sea una secuencia que abarca todas las -tuplas de enteros no negativos; si , quizás , , $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ , y así. Denotan la componente ésimo de la º tupla por . $j$ $i$ $n_{ij}$

Entonces el componente número de es . Entonces asigna vectores en a vectores complejos de dimensiones infinitas. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

El problema con esto es que además tenemos que definir normas para estos vectores complejos de dimensión infinita de una manera especial; Vea el documento para más detalles.

Steinwart y col. También proporciono una integración más directa (a mi parecer) en , el espacio de Hilbert de funciones integrables al cuadrado de : $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$ ; only the normalizing constant is different. Thus when we take

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ we're taking the product of Gaussian density functions, which is itself a certain constant times a Gaussian density functions. When you do that integral by

t

$t$ , then, the constant that falls out ends up being exactly

k (x, y)

$k(x, y)$ .

These are not the only embeddings that work.

Another is based on the Fourier transform, which the celebrated paper of Rahimi and Recht (Random Features for Large-Scale Kernel Machines, NIPS 2007) approximates to great effect.

You can also do it using Taylor series: effectively the infinite version of Cotter, Keshet, and Srebro, Explicit Approximations of the Gaussian Kernel, arXiv:1109.4603.

— Dougal
fuente

1

Douglas Zare gave a 1d version of the "more straightforward" embedding in an interesting thread here.

— Dougal

Here you find a more 'intuitive' explanation that the

Φ

$\Phi$ can map onto a spave of dimension equal to the size of the training sample, even for an infinite training sample: stats.stackexchange.com/questions/80398/…

6

It seems to me that your second equation will only be true if $\phi$ is a linear mapping (and hence $K$ is a linear kernel). As the Gaussian kernel is non-linear, the equality will not hold (except perhaps in the limit as $\sigma$ goes to zero).

— Dikran Marsupial
fuente

thank you for your answer. When

σ \to 0

$\sigma\rightarrow 0$ , the dimension of the Gaussian kernel projects would increase. And by your inspiration, now I think it is not equal. Because, using kernel just handle the situation that linear classification does not work.

— Vivian