¿Cómo calcular la dimensión VC?

Estoy estudiando aprendizaje automático, y me gustaría saber cómo calcular la dimensión VC.

Por ejemplo:

$h(x)=\begin{cases} 1 &\mbox{if } a\leq x \leq b \\ 0 & \mbox{else } \end{cases}$ , con parámetros .$(a,b) ∈ R^2$

¿Cuál es la dimensión VC de la misma?

La dimensión VC es una estimación de la capacidad de un clasificador binario. Si usted puede encontrar un conjunto de puntos, de modo que pueda ser destruida por el clasificador (es decir, clasificar todos los posibles marcajes correctamente) y que no se puede encontrar cualquier conjunto de puntos que podrían romperse (es decir, para cualquier conjunto de puntos hay al menos un orden de etiquetado para que el clasificador no pueda separar todos los puntos correctamente), entonces la dimensión VC es .2 n n + 1 n + 1 $n$$2^n$$n+1$$n+1$$n$

En su caso, primero considere dos puntos y , de modo que . Luego hay posibles etiquetadosx 2 x 1 < x 2 2 2 = $x_1$$x_2$$x_1 < x_2$$2^2=4$

1. x 2 : $x_1:1$ ,$x_2:1$
2. x 2 : $x_1:0$ ,$x_2:0$
3. x 2 : $x_1:1$ ,$x_2:0$
4. x 2 : $x_1:0$ ,$x_2:1$

Todos los etiquetados se pueden lograr a través del clasificador configurando los parámetros modo quea < b ∈ $h$$a<b \in R$

1. $a<x_1<x_2<b$
2. $x_1<x_2<a<b$
3. $a<x_1<b<x_2$
4. $x_1<a<x_2<b$

respectivamente. (En realidad, se puede suponer que wlog, pero es suficiente para encontrar un conjunto que pueda romperse).$x_1 < x_2$

Ahora, considere tres puntos arbitrarios (!) , , y wlog asume , entonces no puede lograr el etiquetado (1,0,1). Como en el caso 3 anterior, las etiquetas : 1 y : 0 implican . Lo que implica > by, por lo tanto, la etiqueta de tiene que ser 0. Por lo tanto, el clasificador no puede romper ningún conjunto de tres puntos y, por lo tanto, la dimensión VC es 2.$x_1$$x_2$$x_3$$x_1<x_2<x_3$$x_1$$x_2$$a<x_1<b<x_2$$x_3$$x_3$

-

Tal vez se vuelve más claro con un clasificador más útil. Consideremos los hiperplanos (es decir, líneas en 2D).

Es fácil encontrar un conjunto de tres puntos que se puedan clasificar correctamente sin importar cómo estén etiquetados:

Para todos los posibles etiquetados podemos encontrar un hiperplano que los separa perfectamente.$2^3=8$

Sin embargo, no podemos encontrar ningún conjunto de 4 puntos para poder clasificar correctamente todos los etiquetados posibles. En lugar de una prueba formal, trato de presentar un argumento visual:$2^4=16$

Supongamos por ahora que los 4 puntos forman una figura con 4 lados. Entonces es imposible encontrar un hiperplano que pueda separar los puntos correctamente si etiquetamos las esquinas opuestas con la misma etiqueta:

Si no forman una figura con 4 lados, hay dos "casos límite": los puntos "externos" deben formar un triángulo o todos deben formar una línea recta. En el caso del triángulo, es fácil ver que no se puede lograr el etiquetado donde el punto "interno" (o el punto entre dos esquinas) es diferente de los demás:

En el caso de un segmento de línea, se aplica la misma idea. Si los puntos finales están etiquetados de manera diferente a uno de los otros puntos, no se pueden separar por un hiperplano.

Dado que cubrimos todas las formaciones posibles de 4 puntos en 2D, podemos concluir que no hay 4 puntos que puedan romperse. Por lo tanto, la dimensión VC debe ser 3.

La dimensión VC de un clasificador se determina de la siguiente manera:

VC = 1
found = False
while True:
    for point_distribution in all possible point distributions of VC+1 points:
        allcorrect = True
        for classdist in every way the classes could be assigned to the classes:
            adjust classifier
            if classifier can't classify everything correct:
                allcorrect = False
                break
        if allcorrect:
            VC += 1
            continue
    break

Por lo tanto, solo tiene que haber una forma de colocar tres puntos de manera que todas las distribuciones de clase posibles entre esta colocación de puntos se puedan clasificar de la manera correcta.

Si no coloca los tres puntos en una línea, la percepción lo hace bien. Pero no hay forma de conseguir que la percepción clasifique todas las distribuciones de clase posibles de 4 puntos, sin importar cómo coloque los puntos

Su ejemplo

Sus funciones están en . Cada clasificador tiene al menos la dimensión 1.$\mathbb{R}$

VC-Dimension 2: puede clasificar las cuatro situaciones correctamente.

1. Puntos: 0 y 42
2. Distribuciones:
   • $a = 1337, b=3141$
   • $a = 40, b = 1337$
   • $a = -1, b = 1$
   • $a = -1, b = 1337$

VC-Dimension 3: No, eso no funciona. Imagina las clases truey falseser ordenado como True False True. Tu clasificador no puede lidiar con eso. Por lo tanto, tiene una dimensión VC de 2.

Prueba

$x_1, x_2, x_3 \in \mathbb{R}$$x_1 < x_2 < x_3$

$x_1$$x_2$$x_3$

$x_1$

$$a \leq x_1 \leq b$$ $x_2$ $$x_2 < a \qquad\text{ or }\qquad b < x_2$$ $a \leq x_1$$x_1 < x_2$$b < x_2$ $$a \leq x_1 \leq b < x_2 < x_3$$ $x_3$ $$a \leq x_3 \leq b$$ $b < x_3$. Por lo tanto, no es posible clasificar todas las distribuciones de clase de 3 puntos correctamente con este clasificador. Por lo tanto, no tiene VC dimensión 3.