Comprender la proyección lineal en "Los elementos del aprendizaje estadístico"

En el libro "Los elementos del aprendizaje estadístico" en el capítulo 2 ("Modelos lineales y mínimos cuadrados; página no: 12"), se escribe que

En el espacio de entrada-salida dimensional (p + 1), (X, Y) representa un hiperplano. Si la constante se incluye en X, entonces el hiperplano incluye el origen y es un subespacio; si no, es un conjunto afín que corta el eje Y en el punto (0, $\beta$ )

No obtengo la oración "si constante es ... (0, )". ¿Por favor ayuda? Creo que el hiperplano cortaría el eje Y en (0, ) en ambos casos, ¿es correcto? $\beta$ $\beta$

La respuesta a continuación ha ayudado un poco, pero estoy buscando una respuesta más específica. Entiendo que cuando se incluye en la , no contendrá el origen, pero ¿cómo contendría el origen ? ¿No debería depender del valor de ? Si la intercepción no es , no debería contener origen, en mi opinión. $1$ $X$ $(X,Y)$ $\beta$ $\beta_0$ $0$ $(X,Y)$

regression machine-learning

— Abhinav Gupta
fuente

¿Cuánto álgebra lineal has hecho? ¿Sabes qué son los vectores? ¿Qué pasa con los espacios vectoriales, subespacios, ...?

— Adrian

Tengo un conocimiento básico de álgebra lineal, vector y espacios vectoriales.

— Abhinav Gupta

en.wikipedia.org/wiki/Hyperplane tiene un poco de hiperplanos afines e hiperplanos de vectores

— Adrian

Thnaks! Acabo de leer este artículo. Pero todavía no entiendo cómo se puede decir que el hiperplano incluye el origen si el contenido está incluido en X. Si esto está claro, entonces entiendo por qué el hiperplano es un subespacio.

— Abhinav Gupta

página no: 12. También he editado la pregunta.

— Abhinav Gupta

Respuestas:

Incluir la constante 1en el vector de entrada es un truco común para incluir un sesgo (piense en la intersección en Y) pero manteniendo simétricos todos los términos de la expresión: puede escribir $\beta X$ en vez de $\beta_0 + \beta X$ En todas partes.

Si haces esto, entonces es correcto que el hiperplano $Y = \beta X$ incluye el origen, ya que el origen es un vector de $0$ valores y multiplicándolo por $\beta$ da el valor $0$ .

Sin embargo, sus vectores de entrada siempre tendrán el primer elemento igual a $1$ ; por lo tanto, nunca contendrán el origen y se colocarán en un hiperplano más pequeño, que tiene una dimensión menos.

Puedes visualizar esto pensando en una línea $Y=mx+q$ en su hoja de papel (2 dimensiones). El hiperplano correspondiente si incluye el sesgo $q$ tu vector se convierte $X = [x, x_0=1]$ y tus coeficientes $\beta = [m, q]$ . En 3 dimensiones, este es un plano que pasa desde el origen, que intercepta el plano. $x_0=1$ produciendo la línea donde se pueden colocar sus entradas.

— giorgiosironi
fuente

Todavía no lo entiendo del todo. El libro dice "Si la constante se incluye en X, entonces el hiperplano incluye el origen y es un subespacio", pero como usted dijo, "los vectores de entrada siempre tendrán el primer elemento = 1, por lo que nunca contendrán el origen. Entonces, ¿cómo puede incluir la constante ¿

— Incluyo

También me llevó un tiempo verlo, pero esta respuesta me ayudó. Tienes que olvidarte de la restricción en

x_{0}

$x_0$ para ver el subespacio / plan del que hablan, que incluyen el origen. Cuando agrega la restricción

x_{0} = 1

$x_0 = 1$ obtienes exactamente la misma línea 2D proyectada en el plan

x_{0} = 1

$x_0 = 1$ .

— Grll

Para ayudarlo a comprender esto, visualicé un caso muy simple.

Digamos que tenemos un problema unidimensional (p = 1), por lo que una sola característica (variable de entrada) $X_1$ predecir una sola variable de salida $Y$ . Imaginemos que ya encontramos una intersección $\beta_0 = 5$ y un coeficiente $\beta_1 = 2$ para nuestra variable de entrada $X_1$ .

Nuestro modelo lineal se vería así: $\hat{Y} = \beta_0 + \beta_1 \times X_1$ .

Por lo tanto, la representación obvia sería un hiperplano (una línea) en el espacio (p + 1) -dimensional en este caso (2d):

Otra representación sería agregar otra variable $X_0$ lo que conducirá a la siguiente ecuación: $\hat{Y} = \beta_0 \times X_0 + \beta_1 \times X_1$ .

En la práctica sabemos que $X_0$ será una constante e igual a 1, pero supongamos que aún no está arreglado. En ese caso, ahora podemos trazar un gráfico 3D con un hiperplano de la siguiente manera:

Finalmente ya que solo sabemos $X_0 = 1$ Es posible que resalte con una línea punteada roja la única proyección de trabajo de este hiperplano que corresponde exactamente a la trama que teníamos antes.

— grll
fuente