¿Es la regresión lineal múltiple en 3 dimensiones un plano de mejor ajuste o una línea de mejor ajuste?


11

Nuestro profesor no está entrando en las matemáticas o incluso en la representación geométrica de la regresión lineal múltiple y esto me tiene un poco confundido.

Por un lado, todavía se llama regresión lineal múltiple , incluso en dimensiones más altas. Por otro lado, si tenemos, por ejemplo, y podemos insertar cualquier valor que para y , ¿no nos daría un plano de posibles soluciones? y no una linea?Y^=b0+b1X1+b2X2X1X2

En general, ¿nuestra superficie de predicción no será un hiperplano dimensional para variables independientes?kk

Respuestas:


12

Tienes razón, la superficie de la solución será un hiperplano en general. Es solo que la palabra hiperplano es un bocado, el plano es más corto y la línea es aún más corta. A medida que continúas con las matemáticas, el caso unidimensional se discute cada vez más raramente, por lo que la compensación

Big words for high dimensional, Small words for small dimensional

comienza a mirar, bueno, al revés.

Por ejemplo, cuando veo una ecuación como , donde es una matriz son vectores, llamo a esto una ecuación lineal . En una parte anterior de mi vida, llamaría a esto un sistema de ecuaciones lineales , reservando ecuaciones lineales para el caso unidimensional. Pero luego llegué a un punto en el que el caso unidimensional no aparecía muy a menudo, mientras que el caso multidimensional estaba en todas partes.Ax=bAx,b

Esto también sucede con la notación. Alguna vez has visto a alguien escribir

fx=2x

Ese símbolo a la izquierda es el nombre de una función, por lo que para ser formal y pedante, debe escribir

fx(x)=2x

Empeora en las dimensiones múltiples, cuando la derivada toma dos argumentos, uno es donde tomas la derivada y la otra es en qué dirección evalúas la derivada, que parece

xf(v)

pero las personas se vuelven perezosas muy rápidamente y comienzan a abandonar uno u otro argumento, dejándolos entendidos por contexto.

Los matemáticos profesionales, lenguas firmemente en la mejilla, llaman a esto abuso de notación . Hay temas en los que sería esencialmente imposible expresarse sin abusar de la notación, mi querida geometría diferencial es un buen ejemplo. El gran Nicolas Bourbaki expresó el punto con mucha elocuencia.

En la medida de lo posible, hemos llamado la atención en el texto sobre los abusos del lenguaje, sin los cuales cualquier texto matemático corre el riesgo de pedantería, por no decir ilegible.

- Bourbaki (1988)

¡Incluso comentas sobre un abuso de notación en el que caí arriba sin siquiera notarlo yo mismo!

Técnicamente, dado que escribió df / dx como una derivada parcial, aunque las otras variables implícitas se mantendrían como constantes, la derivada parcial no sería técnicamente una función de todas las variables de la función original, como en df / dx ( x, y, ...)?

Tienes toda la razón, y esto da una buena ilustración (no intencional) de lo que estoy haciendo aquí.

Encuentro la derivada en un verdadero sentido de una variable tan raramente en mi trabajo y estudios diarios, que esencialmente he olvidado que es la notación correcta aquí. Tenía la intención de que lo anterior fuera sobre una función de una variable, pero inconscientemente señalé lo contrario por mi uso de .dfdx

Supongo que pienso en ello como cuando decimos "suma infinita" en lugar de "el límite de una suma cuando el número de términos se aproxima al infinito". La forma en que pienso es que está bien siempre que la diferencia conceptual sea clara. En este caso (regresión múltiple), no estaba realmente seguro de qué estábamos hablando en primer lugar.

Sí, esa es una manera consistente de pensarlo. La única diferencia real es que allí tenemos una situación tan común que inventamos una notación (*) y terminología adicional ( y "suma infinita") para expresarla. En otros casos, generalizamos un concepto, y luego ese concepto generalizado se vuelve tan omnipresente que reutilizamos la antigua notación o terminología para el concepto generalizado.Σ

Como gente perezosa, queremos economizar palabras en los casos comunes.

(*) Históricamente, no es así como se desarrollaron sumas infinitas. La definición del límite de sumas parciales se desarrolló a posteriori cuando los matemáticos comenzaron a encontrar situaciones en las que era necesario razonar con mucha precisión.


Es curioso que den el ejemplo de derivadas parciales porque siempre me preguntaba sobre eso (las alegrías del autoaprendizaje ...). Por cierto (sin relación y no siendo yo pedante pero solo queriendo asegurarme de que entiendo lo más posible) técnicamente, ya que escribiste df / dx como una derivada parcial, a pesar de que las otras variables implícitas se mantendrían como constantes, ¿no? ¿La derivada parcial técnicamente sigue siendo una función de todas las variables de la función original, como en df / dx (x, y, ...)? Supongo que mi pregunta es si la derivada parcial aún no es una función de todas las variables.
jeremy radcliff

Además, gracias por explicar todo eso. Supongo que pienso en ello como cuando decimos "suma infinita" en lugar de "el límite de una suma cuando el número de términos se aproxima al infinito". La forma en que pienso es que está bien siempre que la diferencia conceptual sea clara. En este caso (regresión múltiple), no estaba realmente seguro de qué estábamos hablando en primer lugar. Traté de imaginar una línea en 3d y luego me di cuenta de que no tenía sentido si dejamos que varias variables independientes variaran libremente, así que solo quería asegurarme.
jeremy radcliff

+1 gran respuesta. A veces las personas son flojas y causarán muchas confusiones. Es por eso que estaba tratando de hacer anotaciones en esta publicación. stats.stackexchange.com/questions/216286/…
Haitao Du

@jeremyradcliff que edité en algunos comentarios.
Matthew Drury

@MatthewDrury, gracias por tomarse el tiempo para abordar mis comentarios. Es muy útil para mí porque estudio la gran mayoría de las matemáticas que conozco y la falta de cultura circundante y acceso a matemáticos hacen que lugares como el intercambio de fichas y respuestas como la tuya sean invaluables para mí.
jeremy radcliff

5

"Lineal" no significa exactamente lo que crees que hace en este contexto: es un poco más general

En primer lugar, no es realmente una referencia a la linealidad en las x, sino a los parámetros * ("lineal en los parámetros").

En segundo lugar, una función lineal en el sentido del álgebra lineal es esencialmente un mapa lineal; es una función lineal en -space.E(Y|X)=Xββ

Entonces, un plano (o más generalmente hiperplano) de mejor ajuste sigue siendo "regresión lineal".

* aunque será lineal en las x proporcionadas si considera la columna constante de como parte del vector de coordenadas (o, alternativamente, piense en coordenadas homogéneas con la normalización de la coordenada adicional). O simplemente podría decir que es lineal en y1XβXβ

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.