En el algoritmo SVM, ¿por qué el vector w es ortogonal al hiperplano de separación?

13

Soy un principiante en Machine Learning. En SVM, el hiperplano de separación se define como . Por eso decimos vector ortogonal al hiperplano que separa? $y = w^T x + b$ $w$

machine-learning svm

— Chong Zheng
fuente

3

Una respuesta a una pregunta similar (para redes neuronales) está aquí .

— bogatron

@bogatron - Estoy completamente de acuerdo contigo. Pero mis solo una respuesta específica de SVM .

— sin título

2

Excepto que no lo es. Su respuesta es correcta, pero no hay nada que sea específico para SVM (ni debería haberla). es simplemente una ecuación vectorial que define un hiperplano.

w^{T} x = b

$w^{T}x=b$

— bogatron

10

Geométricamente, el vector w se dirige ortogonal a la línea definida por . Esto se puede entender de la siguiente manera: $w^{T} x = b$

Primero toma . Ahora está claro que todos los vectores, , con un producto interno que desaparece con satisfacen esta ecuación, es decir, todos los vectores ortogonales a w satisfacen esta ecuación. $b = 0$ $x$ $w$

Ahora traduzca el hiperplano lejos del origen sobre un vector a. La ecuación para el plano ahora se convierte en: , es decir, encontramos que para el desplazamiento , que es la proyección del vector sobre el vector . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Sin pérdida de generalidad, podemos elegir una perpendicular al plano, en cuyo caso la longitud que representa el más corto, ortogonal distancia entre el origen y el hiperplano. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Por lo tanto, se dice que el vector es ortogonal al hiperplano de separación. $w$

— programador sin título
fuente

4

La razón por la cual es normal para el hiperplano es porque lo definimos así: $w$

Supongamos que tenemos un (hiper) plano en el espacio 3d. Sea un punto en este plano, es decir, . Por lo tanto, el vector desde el origen hasta este punto es solo . Supongamos que tenemos un punto arbitrario en el plano. El vector que une y viene dado por: Tenga en cuenta que este vector se encuentra en el plano. $P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

Ahora dejemos que sea el vector normal (ortogonal) del plano. Por lo tanto: Por lo tanto: Tenga en cuenta que es solo un número y es igual a en nuestro caso, mientras que es solo y es . Entonces, por definición, es ortogonal al hiperplano. $\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
fuente

2

Deje que el límite de decisión se defina como . Considere los puntos y , que se encuentran en el límite de decisión. Esto nos da dos ecuaciones: $w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

Restar estas dos ecuaciones nos da . Tenga en cuenta que el vector encuentra en el límite de decisión, y se dirige de a . Dado que el producto punto es cero, debe ser ortogonal a y, a su vez, al límite de decisión. $w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
fuente

0

Usando la definición algebraica de un vector que es ortogonal a un hiperplano:

$\forall \ x_1, x_2$ en el hiperplano de separación,

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
fuente