¿Los algoritmos de árbol de decisión son lineales o no lineales?

21

Recientemente se le preguntó a un amigo mío si los algoritmos del árbol de decisión son algoritmos lineales o no lineales en una entrevista. Traté de buscar respuestas a esta pregunta pero no pude encontrar ninguna explicación satisfactoria. ¿Alguien puede responder y explicar la solución a esta pregunta? Además, ¿cuáles son algunos otros ejemplos de algoritmos de aprendizaje automático no lineales?

— usuario2966197
fuente

¿Se pregunta en qué contexto quieren decir eso, regresión, datos linealmente separables?

— image_doctor

1

Probablemente significaban el límite entre clases; ¿Está compuesto de hiperplanos o no?

— Emre

17

Un árbol de decisión es un mapeo no lineal de Xto y. Esto es fácil de ver si toma una función arbitraria y crea un árbol a su máxima profundidad.

Por ejemplo:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Por supuesto, este es un árbol completamente ajustado y no se generalizará. Pero demuestra por qué un árbol de decisión es un mapeo no lineal.

— inversión
fuente

10

Recientemente se le preguntó a un amigo mío si el algoritmo del árbol de decisión es un algoritmo lineal o no lineal en una entrevista

Los árboles de decisión es un clasificador no lineal como las redes neuronales, etc. Generalmente se usa para clasificar datos separables no linealmente.

Incluso si considera el ejemplo de regresión, el árbol de decisión no es lineal.

Por ejemplo, una línea de regresión lineal se vería así:

Los puntos rojos son los puntos de datos.

Y un diagrama de regresión del árbol de decisión se vería así:

Entonces, claramente los árboles de decisión no son lineales

— Dawny33
fuente

Aumentar la profundidad del árbol conduciría a un mayor ajuste y, por lo tanto, a una estructura más no lineal.

— Dawny33

3

Los árboles de decisión no son lineales. A diferencia de la regresión lineal, no existe una ecuación para expresar la relación entre variables independientes y dependientes.

Ex:

Regresión lineal - Precio de la fruta = b0 + b1 * Frescura + b2 * Tamaño

Árbol de decisión - Nodos: Maduro - Sí o no | Fresco - Sí o No | Tamaño - <5,> 5 pero <10 y> 10 |

En el segundo caso no existe una relación lineal entre variables independientes y dependientes.

3

Como muchos señalaron, un árbol de regresión / decisión es un modelo no lineal. Sin embargo, tenga en cuenta que es un modelo lineal por partes : en cada vecindario (definido de manera no lineal), es lineal. De hecho, el modelo es solo una constante local.

$\theta$

y_{i} = α_{1} 1 (x_{i} < θ) + α_{2} 1 (x_{i} \geq θ) + ϵ_{i}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Matifou
fuente

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— Medios de comunicación
fuente