No sé si considerarás lo siguiente como un límite no trivial, pero aquí voy.
ckcx1,…,xn∨ki=1(ℓi,1∧ℓi,2...ℓi,c)∀1≤i≤k1≤j≤cℓi,j∈{x1,…,xn,x¯1,…,x¯n}
ccn2c(nc)|H|=22c(nc)H
Imagine un algoritmo que toma muestras y luego prueba todos loshipótesis hasta que encuentre una que prediga perfectamente sobre las muestras. El teorema Razor de Occam dice que solo necesita tomar aproximadamente muestras para este algoritmo para encontrar un objetivo con error con probabilidad .m|H|m=O(1ϵ|(H|+1δ)≤ϵ≥1−δ
En nuestro caso, para , , lo que significa que necesitará aproximadamente muestras para hacer el aprendizaje (adecuado).c=2lg|H|=O(n2)n2
Pero todo el juego en el aprendizaje no es realmente una complejidad de muestra (aunque eso es parte del juego, especialmente en el aprendizaje eficiente de atributos), sino más bien en el intento de diseñar algoritmos de tiempo polinomial. Si no le importa la eficiencia, entonces es la respuesta más simple para la complejidad de la muestra PAC.n2
ACTUALIZACIÓN (dada la pregunta modificada) :
Debido a que usted declaró explícitamente que solo le importaba la complejidad de la muestra, presenté el algoritmo de fuerza bruta de Occam, que es probablemente el argumento más simple. Sin embargo, mi respuesta fue un poco tímida. -DNF son realmente aprendibles en tiempo polinómico! Este es el resultado del artículo original de Valiant, " A Theory of the Learnable ". De hecho, -DNF se puede aprender para cualquier .2cc=O(1)
El argumento es el siguiente. Puede ver un -DNF como una disyunción de
"meta-variables" e intentar aprender la disyunción eliminando las meta-variables inconsistentes con los ejemplos. Dicha solución se puede traducir fácilmente a una solución "adecuada", y lleva tiempo . Como nota al margen, todavía está abierto si existe un algoritmo de tiempo polinómico para .c≈ncO(nc)c=ω(1)
En cuanto a si la complejidad de la muestra también es un límite inferior, la respuesta es bastante sí. Este artículo de Ehrenfeucht et al. muestra que el límite de Occam es casi apretado.n2