Dimensión VC de modelos de regresión


12

En la serie de conferencias Aprendiendo de los datos , el profesor menciona que la dimensión VC mide la complejidad del modelo sobre cuántos puntos puede romper un modelo dado. Por lo tanto, esto funciona perfectamente para los modelos de clasificación en los que podríamos decir de N puntos si el clasificador es capaz de romper k puntos de manera efectiva, la medida de la dimensión VC sería K. Pero no estaba claro para mí cómo se mide la dimensión VC para los modelos de regresión ?


Respuestas:


3

De Elementos del aprendizaje estadístico , p. 238:

Hasta ahora hemos discutido la dimensión VC solo de las funciones del indicador, pero esto puede extenderse a las funciones de valor real. La dimensión VC de una clase de funciones de valor real se define como la dimensión VC de la clase de indicador , donde toma valores en el rango de g.g(x,α)1(g(x,α)β>0)β

O, (un poco) de forma más intuitiva, para encontrar la dimensión VC de una clase de funciones con valores reales, se puede encontrar la dimensión VC de la clase de funciones indicadoras que se pueden formar mediante el umbral de esa clase de funciones con valores reales.


Pero esto da la dimensión VC para los indicadores de umbral, y al pie de la letra no veo cómo obtener límites de PAC para los indicadores de umbral le dice mucho sobre el rendimiento de su función de regresión. Quizás pueda llegar a un argumento en el que realice una búsqueda binaria sobre el valor regresado (para dominios de salida delimitados).
VF1

@ VF1 Verdadero. Cómo interpretar la dimensión VC de una función de regresión podría ser una buena pregunta separada.
Sean Easter

Publicaría una pregunta por separado, pero creo que la respuesta es simplemente "no use VC dim para la regresión", ya que Rademacher le permitiría hacer lo mismo por las pérdidas limitadas arbitrarias.
VF1

@ VF1 ¡Leería una respuesta que lo dijera con interés! Todo lo que quiero decir es sugerir que la norma de CV es limitar las preguntas a una sola pregunta por publicación, y que el OP no tocó la interpretación o el propósito.
Sean Easter

0

Consulte la sección 5.2 de Aprendizaje estadístico (Vapnik) para obtener una derivación del truco del indicador de umbral utilizando medidas de Lebesgue-Stieltjes. AFAIK esta es la referencia única y definitiva. Ya debes saber dónde encontrar el libro (y otros de Vapnik, todos son superlativos).


1
Sería útil si pudiera resumir el argumento en lugar de simplemente proporcionar una referencia.
mdewey
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.