Comprender el teorema del almuerzo gratis en la Clasificación de patrones de Duda et al.

Tengo algunas preguntas sobre las anotaciones utilizadas en la Sección 9.2 Falta de superioridad inherente de cualquier clasificador en la clasificación de patrones de Duda, Hart y Stork . Primero permítanme citar algunos textos relevantes del libro:

Para simplificar, considere un problema de dos categorías, donde el conjunto de entrenamiento consiste en patrones y las etiquetas de categoría asociadas para generado por la función objetivo desconocida a aprender, , donde . $D$ $x^i$ $y_i = ± 1$ $i = 1,..., n$ $F(x)$ $y_i = F(x^i)$

Deje denotar el conjunto (discreto) de hipótesis, o posibles conjuntos de parámetros a aprender. Una hipótesis particular podría describirse mediante pesos cuantificados en una red neuronal, o parámetros 0 en un modelo funcional, o conjuntos de decisiones en un árbol, y así sucesivamente. $H$ $h(x) \in H$

Además, es la probabilidad previa de que el algoritmo produzca la hipótesis después del entrenamiento; tenga en cuenta que esta no es la probabilidad de que sea correcta. $P(h)$ $h$ $h$

A continuación, indica la probabilidad de que el algoritmo producirá hipótesis cuando entrenados en los datos . En algoritmos de aprendizaje deterministas como el vecino más cercano y los árboles de decisión, estará en todas partes cero, excepto por una sola hipótesis . Para los métodos estocásticos (como las redes neuronales entrenadas a partir de pesos iniciales aleatorios) o el aprendizaje estocástico de Boltzmann, puede ser una distribución amplia. $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

Deje que sea el error para una función de pérdida de cero uno u otra. $E$

El error de clasificación esperado del conjunto fuera del entrenamiento cuando la función verdadera es y la probabilidad para el algoritmo de aprendizaje ésimo candidato es viene dada por $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
Teorema 9.1. (Sin almuerzo gratis) Para cualquiera de los dos algoritmos de aprendizaje y , los siguientes son verdaderos, independientemente de la distribución de muestreo y el número de puntos de entrenamiento: $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

Promedio uniforme sobre todas las funciones objetivo , $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

Para cualquier conjunto de entrenamiento fijo , promediado uniformemente sobre , $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

La parte 1 en realidad dice
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
La parte 2 en realidad dice
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

Mis preguntas son

En la fórmula de , es decir, ¿puedo reemplazar con y moverlo fuera de la suma , porque es realmente una distribución de sobre dado para el algoritmo de aprendizaje estocástico ? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
Dado que el ésimo candidato algoritmo de aprendizaje es un método estocástico, por lo que en la fórmula de , no hay suma sobre , es decir, ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
¿En qué se diferencian y entre sí? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

¿ significa la tasa de error fuera del entrenamiento dado un conjunto de entrenamiento ? $\mathcal{E}_i (E|F, D)$ $D$

¿ significa la tasa de error fuera del entrenamiento, promedio sobre todo el conjunto de entrenamiento dado un tamaño de entrenamiento ? En caso afirmativo, ¿por qué la parte 1 en el teorema de la NFL promedia sobre los conjuntos de entrenamiento nuevamente escribiendo , y por qué en la fórmula para , no hay un promedio sobre todo el conjunto de entrenamiento dado un tamaño de entrenamiento ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
En la parte 1 del teorema de la NFL, ¿ significa sumar sobre todos los conjuntos de entrenamiento con un tamaño de entrenamiento fijo ? $\sum_D$ $n$
Si suma más sobre todos los valores posibles en del tamaño de entrenamiento en la parte 1, el resultado sigue siendo 0, ¿verdad? $\mathbb{N}$ $n$
En la fórmula de , si cambio a , es decir, no está necesariamente restringido a estar fuera del conjunto de entrenamiento, ambas partes El teorema de la NFL sigue siendo cierto? $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
Si la verdadera relación entre y no se supone que son una función determinista como , pero en lugar distribuciones condicional , o una distribución conjunta que es equivalente a conociendo y (también vea mi otra pregunta ), entonces puedo cambiar para que sea (con el extraño señalado en las partes 1 y 2). ¿Siguen siendo ciertas las dos partes del teorema de la NFL? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

¡Gracias y saludos!

machine-learning

— Tim
fuente

¿Es el Dirac / Kronecker-delta? En

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

¿Es este teorema de No Free Lunch el mismo que el problema de detención? ¿Están conectados?

Contestaré las preguntas para las que creo que sé las respuestas.

Esta respuesta es no porque está eligiendo una que no era parte del conjunto de ajuste y, por lo tanto, depende de . $x$ $D$ $h$ $x$
$h$ solo se evalúa en los valores en el conjunto de prueba para obtener la tasa de error esperada, por lo que no se evalúa en todo el conjunto sino solo en el conjunto discreto de 's en el conjunto de prueba. $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ se espera que el conjunto de entrenamiento fuera de tasa de error dada la función y el conjunto de entrenamiento . Pero creo que es diferente porque solo estás condicionando el número de puntos de entrenamiento y no los valores reales de . Pero esto es desconcertante dadas las declaraciones posteriores. $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ es el conjunto de vectores de entrenamiento. Hay vectores de entrenamiento en . Por lo que se sumó para los fijos vectores de entrenamiento en . Sólo hay un conjunto . $n$ $D$ $n$ $D$ $D$
Creo que la respuesta a 5 es no. La notación parece ser un poco confusa.

No puedo comentar sobre 6 y 7.

— Michael R. Chernick
fuente

+1. Bienvenido al sitio, soy un gran admirador de sus comentarios en Amazon. Disculpe mi presunción en la edición, la notación matemática se realiza principalmente poniendo $ 's en ambos lados de algo. Si hace clic en el círculo amarillo? en la esquina superior derecha al escribir, verá un enlace para "ayuda avanzada" que le dará más información; Además, puede hacer clic con el botón derecho en algunos mathjax existentes (como cualquiera de los anteriores) y seleccionar "Mostrar Matemáticas como -> Comandos TeX" para ver cómo se hizo.

— gung - Restablece a Monica

En otras palabras, @gung dice: Este sitio admite en (casi) exactamente de la manera que esperarías, incluidas las matemáticas de visualización. Bienvenido al sitio.

L A T E X

$\LaTeX$

— cardenal

@Michael Permítanme agregar mi bienvenida a estos otros: estoy encantado de verte aquí. (Michael ha hecho contribuciones excepcionalmente bien informadas en las listas de discusión de la Asociación Americana de Estadística.)

— whuber