Una pregunta de aprendizaje de paridad

Definamos una clase de funciones sobre un conjunto de bits. Arregle dos distribuciones que sean "razonablemente" diferentes entre sí (si lo desea, su distancia de variación es al menos , o algo similar). $n$ $p, q$ $\epsilon$

Ahora cada función en esta clase se define mediante una colección de índices , y se evalúa de la siguiente manera: si la paridad de los bits seleccionados es 0, devuelve una muestra aleatoria de , de lo contrario devuelve una muestra aleatoria de . $f$ $k$ $S$ $p$ $q$

Problema : Supongamos que soy dado acceso a algún oráculo de esta clase, y aunque sé que (o alguna otra medida de distancia), no sé y . $f$ $\epsilon$ $p$ $q$

¿Hay algún límite en la cantidad de llamadas que debo hacer a PAC-learn ? Presumiblemente mi respuesta será en términos de y . $f$ $n, k$ $\epsilon$

Nota : no especifiqué el dominio de salida. Una vez más, soy flexible, pero por ahora vamos a decir que y se definen sobre un dominio finito . En general, también me interesaría el caso cuando se definen sobre (por ejemplo, si son gaussianos) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
fuente

No estoy seguro de entender el modelo. ¿Qué especificas en una llamada de oráculo? ¿Los ejemplos siempre se extraen de la distribución especificada por el objetivo?

— Lev Reyzin

En una llamada al oráculo, invocas f () y devuelve un valor.

— Suresh Venkat

Entonces, dependiendo de la función objetivo

, ¿

siempre se usa para generar ejemplos? (Supongo que estás aprendiendo pac clase

)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— Lev Reyzin

Si, eso es correcto. el problema es aprender cuál (o aprender el bit de paridad que se usa)

— Suresh Venkat

No estoy seguro de cómo adaptar el modelo PAC a este modelo. Pero parece que es suficiente para poder distinguir

con probabilidad

y luego puede obtener los valores

para

linealmente independiente

y usar la eliminación gaussiana para encontrar

(ya que

es lineal). distinguir dos gaussianos bien separados será fácil, por ejemplo.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

La discusión en los comentarios a continuación indica que he entendido mal la pregunta. Mi respuesta se basa en la Oracle tomar ninguna entrada y devolver , donde o , en función de . Aparentemente, esto no es lo que se pregunta. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Debido a que la distribución objetivo es fija para cada objetivo , se aplica el límite superior de la muestra PAC (esto se deduce del hecho de que la distribución objetivo para este límite puede incluso depender completamente de ). Por lo tanto, $f^* \in F$ $f^*$ ejemplosdeberían ser suficientes para encontrar una hipótesis de errorwp. Nota: después de ver estos ejemplos, uno necesita encontrar una hipótesis consistente de, y esto puede no ser manejable.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

Por otro lado, se puede obtener un límite inferior casi coincidente incluso para el caso de , la distribución uniforme, donde aún se requieren ejemplos de (esto se puede mejorar ligeramente) . $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

La distancia variacional entre y , así como puede jugar un papel en la pequeña brecha entre estos límites, pero lo dudo. $p$ $q$ $k$

— Lev Reyzin
fuente

El entorno típico de aprendizaje PAC tiene un oráculo

que extrae una muestra

de la distribución

y devuelve

. Esta no es la configuración descrita en la pregunta de Suresh o en la publicación del blog que la inspiró:bit.ly/YtwdST. En ambos, el oráculoesla función

, y el alumno es libre de enviar cualquier elemento del conjunto de instancias (cadenas de bits de longitud

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ) Lev, ¿tu respuesta supone un oráculo del primer tipo o del segundo tipo? Si es el segundo tipo, ¿seguimos hablando de aprendizaje PAC?

— Keki Burjorjee

Veo. En PAC, el "oráculo" por lo general se considera como un botón que devuelve

, donde

. El Oracle que usted describe se llama "consulta de membresía" para

. Mi respuesta solo se aplica a la primera. Si solo realiza consultas de membresía, ¿cómo puede encontrar información sobre

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

utilizando el marco de Suresh? Digamos

por simplicidad.

p

$p$

q

$q$

p = q

$p=q$

— Lev Reyzin

Gracias por esa aclaración. Entonces, en el caso que describió Suresh, el oráculo de "consulta de membresía" funciona de la siguiente manera (supongo que ha puesto esta entidad entre comillas porque el oráculo puede devolver un valor real, no solo un booleano es-un-miembro / no-a- respuesta del miembro): si la paridad de los atributos efectivos es 1, el resultado devuelto se extrae de la distribución

. De lo contrario, el resultado se extrae de la distribución

. Hay una arruga adicional. El oráculo recuerda todas sus respuestas anteriores y las devuelve si se consulta con la misma entrada. En otras palabras, es determinista.

p

$p$

q

$q$

— Keki Burjorjee

No entiendo. Si el oráculo es simplemente una función

y lo consulta dándole

, ¿no devuelve simplemente

f

$f$

x

$x$

f (x)

$f(x)$ ? ¿Cómo entra en juego

si el alumno genera

él mismo? Creo que no he entendido este punto básico todo el tiempo ...

p

$p$

q

$q$

x

$x$

— Lev Reyzin

Para

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)