Cuando evaluamos la calidad de un bosque aleatorio, por ejemplo, utilizando AUC, ¿es más apropiado calcular estas cantidades sobre las Muestras fuera de bolsa o sobre el conjunto de validación cruzada?

Escuché que calcularlo a través de las muestras OOB ofrece una evaluación más pesimista, pero no veo por qué.

Nota: Si bien creo que mi respuesta es probablemente correcta, también me siento dudoso debido a que inventé todo esto pensando en este problema solo después de leer esta pregunta durante aproximadamente 30-60 minutos. Por lo tanto, es mejor que sea escéptico y escudriñe esto y no se deje engañar por mi estilo de escritura posiblemente demasiado confiado (usar palabras grandes y símbolos griegos elegantes no significa que tenga razón).

Resumen

Esto es solo un resumen. Todos los detalles se mencionan en las secciones y § 2 a continuación.$\S1$$\S2$

Asumamos el caso de la clasificación (también puede extenderse a la regresión, pero omita por brevedad). Esencialmente, nuestro objetivo es estimar el error de un bosque de árboles. Tanto el error fuera de bolsa como la validación cruzada k-fold intentan decirnos la probabilidad de que:

• El bosque da la clasificación correcta (la validación cruzada k-fold lo ve de esta manera).

Lo cual es idéntico a la probabilidad de que:

• El voto mayoritario de los árboles del bosque es el voto correcto (OOBE lo ve de esta manera).

Y ambos son idénticos. La única diferencia es que la validación cruzada k-fold y OOBE asumen diferentes tamaños de muestras de aprendizaje. Por ejemplo:

• En la validación cruzada 10 veces, el conjunto de aprendizaje es del 90%, mientras que el conjunto de prueba es del 10%.
• Sin embargo, en OOBE si cada bolsa tiene muestras, de modo que n = número total de muestras en todo el conjunto de muestras, esto implica que el conjunto de aprendizaje es prácticamente del 66% (dos tercios) y el conjunto de prueba es del 33% ( un tercio).$n$$n =$

Por lo tanto, en mi opinión, la única razón por la que OOBE es una estimación pesimista del error del bosque es solo porque generalmente se entrena con un número menor de muestras que las que generalmente se realizan con la validación cruzada k-fold (donde 10 pliegues es común).

Debido a eso, también creo que la validación cruzada doble será una estimación más pesimista del error del bosque que OOBE, y la validación cruzada triple será aproximadamente igual de pesimista que OOBE.

1. Entender el error de la bolsa

1.1 Visión común sobre el embolsado

Cada árbol en RF se cultiva mediante una lista de muestras que se extraen aleatoriamente del conjunto de aprendizaje X con reemplazo. De esta manera, las n muchas muestras pueden tener duplicados, y si n = | X | entonces se puede encontrar que aproximadamente un tercio de las muestras en X es probable que terminen no en la lista de $n$$\mathcal{X}$$n$$n = |\mathcal{X}|$$\mathcal{X}$$n$ muestras que se utilizan para cultivar un árbol dado (estas son las muestras de este árbol específico que bolsa). Este proceso se repite de forma independiente para cada árbol, por lo que cada árbol tiene un conjunto diferente de muestras fuera de bolsa.

1.2. Otra vista sobre el embolsado

Ahora, volvamos a describir el embolsado de manera un poco diferente con la esperanza de encontrar una descripción igual que sea más fácil de manejar.

Hago esto indica que el árbol es entrenado por las muestras en bolsas en el conjunto X t ⊆ X . Sin embargo, esto no es exactamente cierto ya que el conjunto X t no tiene muestras duplicadas (así es como funcionan los conjuntos), mientras que, por otro lado, la n lista de muestras puede tener duplicados.$t$$\mathcal{X}_t \subseteq \mathcal{X}$$\mathcal{X}_t$$n$

Por lo tanto, podemos decir que un árbol se cultiva analizando muestras X t más un número de duplicados elegidos al azar extraídos de X t , a saber, X t , 1 , X t , 2 , ... , X t , r ⊆ X t , tales que: | X t | + r ∑ i = 1 | X t , i | = $t$$\mathcal{X}_t$ $\mathcal{X}_t$$\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

$$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$$

$\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$$n$$\mathcal{C}_i \in \mathcal{C}$$a$$1 \le p \le n$$i$$a[p] \in \mathcal{C}_i$.

$n$$a$$\mathcal{X}_t$$\S2$$a$

1.3. Simplificando el ensacado

$t$$a$$\mathcal{X}_t$

$n$$t$$\mathcal{X}_t$$t'$$a$

$\mathcal{X}_t$

Y la razón por la que creo que las entropías no cambiarán sistemáticamente para una división dada es porque la probabilidad medida empíricamente de que una muestra tenga una etiqueta específica en algún subconjunto (después de aplicar una división de decisión) tampoco cambiará.

$\mathcal{X}_t$$d$

1.4 Medición de errores fuera de bolsa

$\mathcal{O}_t$$t$$\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$$t$

$$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$$ $n_t$ $$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$$

2. Comprender la validación cruzada de k-fold

$\mathcal{X}$$n_k$$\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$$\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$$\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$$\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$$\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

$$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$$

$f$