Estoy estudiando aprendizaje automático y siento que existe una fuerte relación entre el concepto de dimensión VC y el concepto más clásico (estadístico) de grados de libertad.
¿Alguien puede explicar tal conexión?
Relación entre la dimensión VC y los grados de libertad.
Respuestas:
Según lo declarado por el profesor Yaser Abu-Mostafa
Los grados de libertad son una abstracción del número efectivo de parámetros. El número efectivo se basa en la cantidad de dicotomías que se pueden obtener, en lugar de la cantidad de parámetros con valores reales utilizados. En el caso del perceptrón bidimensional, uno puede pensar en la pendiente y la intersección (más un grado de libertad binario para el que la región va a +1), o puede pensar en 3 parámetros w_0, w_1, w_2 (aunque los pesos pueden ser simultáneamente ampliado o reducido sin afectar la hipótesis resultante). Los grados de libertad, sin embargo, son 3 porque tenemos la flexibilidad de romper 3 puntos, no por una u otra forma de contar el número de parámetros.
¡Creo que esta es una definición bastante no estándar de grados de libertad!
—
kjetil b halvorsen
La dimensión VC se explica muy bien en este documento en la Sección 2.1 y más, con los lemas básicos y las pruebas proporcionadas. Puedes pasar por esto.