¿Qué son los polinomios ortogonales multivariados calculados en R?

Los polinomios ortogonales en un conjunto univariado de puntos son polinomios que producen valores en esos puntos de manera que su producto escalar y su correlación por pares son cero. R puede producir polinomios ortogonales con función poli .

La misma función tiene un polimero variante que produce polinomios ortogonales en un conjunto de puntos multivariados. De todos modos, los polinomios resultantes no son ortogonales en el sentido de tener una correlación cero por pares. De hecho, dado que se supone que los polinomios de primer orden son solo las variables originales, los polinomios de primer orden no serán ortogonales a menos que las variables originales no estén correlacionadas.

Entonces, mis preguntas son:

• ¿Cuáles son los polinomios ortogonales multivariados calculados por el polímero en R? ¿Son solo el producto de los polinomios ortogonales univariados? ¿Para qué se usan?
• ¿Pueden existir verdaderos polinomios ortogonales multivariados? ¿Hay una manera fácil de producirlos? En R? ¿Se usan realmente en regresión?

Actualizar

En respuesta al comentario de Superpronker, doy un ejemplo de lo que quiero decir con polinomios no correlacionados:

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

La función Poly devuelve los polinomios ortogonales evaluados en puntos x (aquí 10,000 puntos para cada polinomio). La correlación entre valores en diferentes polinomios es cero (con algún error numérico).

Cuando se usan polinomios multivariados, las correlaciones son diferentes a cero:

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

Por lo tanto, no entiendo en qué sentido esos polinomios bivariados son ortogonales.

Actualización 2

Quiero aclarar el significado de "polinomios ortogonales" utilizados en la regresión porque este contexto puede ser de alguna manera engañoso al aplicar las ideas de polinomios ortogonales en intervalos conectados, como en el último comentario de Superpronker.

Cito la regresión práctica de Julian J. Faraway y Anova usando R páginas 101 y 102:

Los polinomios ortogonales este problema definiendo etc. donde se eligen los coeficientes a, b, c ... para que cuando . Las z se llaman polinomios ortogonales.

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ $z_i^T·z_j=0$$i \neq j$

Por un ligero abuso del lenguaje, aquí el autor usa tanto para el polinomio (como función) como para el vector de los valores que el polinomio toma en los puntos del conjunto . O tal vez ni siquiera es un abuso del lenguaje porque desde el comienzo del libro ha sido el predictor (por ejemplo, el conjunto de valores tomados por el predictor).$z_i$$x$$x$

Este significado de polinomios ortogonales no es realmente diferente de los polinomios ortogonales en un intervalo. Podemos definir polinomios ortogonales de la manera habitual (usando integrales) sobre cualquier conjunto medible con cualquier función de medida. Aquí tenemos un conjunto finito ( ) y estamos usando productos de punto en lugar de integrales, pero eso sigue siendo polinomios ortogonales si tomamos nuestra función de medida como el delta de Dirac en los puntos de nuestro conjunto finito.$x$

Y en relación con la correlación: producto punto de vectores ortogonales en (como la imagen de un vector ortogonal en un conjunto finito). Si el producto escalar de dos vectores es cero, la covarianza es cero, y si la covarianza es cero, la correlación es cero. En el contexto de los modelos lineales es muy útil relacionar "ortogonal" y "no correlacionado", como en "diseño ortogonal de experimentos".$R^n$

Exploremos lo que está pasando. Estoy seguro de que ya conoce la mayor parte del siguiente material, pero para establecer la notación y las definiciones y aclarar las ideas, cubriré los conceptos básicos de la regresión polinómica antes de responder la pregunta. Si lo desea, salte al encabezado "Qué Rhace" aproximadamente dos tercios del camino en esta publicación, y luego omita las definiciones que pueda necesitar.

El ajuste

Estamos considerando una matriz de modelo de posibles variables explicativas en algún tipo de regresión. Esto significa que estamos pensando en las columnas de como -vectores y combinaciones lineales de ellos, para predecir o estimar una respuesta. $n\times k$$\mathbb X$$\mathbb X$$n$$X_1, X_2, \ldots, X_k$$\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$

A veces se puede mejorar una regresión mediante la introducción de columnas adicionales creadas multiplicando varias columnas de entre sí, coeficiente por coeficiente. Dichos productos se denominan "monomios" y se pueden escribir como$X$

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

donde cada "potencia" es cero o mayor, lo que representa cuántas veces aparece cada en el producto. Observe que es un vector de coeficientes constantes ( ) y sí. Por lo tanto, los monomios (como vectores) generan un espacio vectorial que incluye el espacio de la columna original de La posibilidad de que sea un espacio vectorial más grande le da a este procedimiento un mayor alcance para modelar la respuesta con combinaciones lineales.$d_i$$X_1$$X^0$$n$$1$$X^1=X$$\mathbb X.$

Tenemos la intención de reemplazar el modelo original matrix por una colección de combinaciones lineales de monomios. Cuando el grado de al menos uno de estos monomios excede de esto se llama regresión polinómica.$\mathbb X$$1,$

Graduaciones de polinomios

El grado de un monomio es la suma de sus poderes, El grado de una combinación lineal de monomios (un "polinomio") es el mayor grado entre los términos monomiales con coeficientes distintos de cero. El grado tiene un significado intrínseco, porque cuando cambia la base del espacio vectorial original, cada vector está nuevamente representado por una combinación lineal de todos los vectores; los monomios se convierten en polinomios del mismo grado; y, en consecuencia, el grado de cualquier polinomio no cambia.$d_1+d_2+\ldots+d_k.$X i X d 1 1 X d 2 2 ⋯ X d k k$X_i$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$

El grado proporciona una "clasificación" natural a este álgebra polinomial: el espacio vectorial generado por todas las combinaciones lineales de monomios en de grado hasta e incluyendo llamados "polinomios de [o hasta] grado en "extiende el espacio vectorial de los polinomios hasta el grado en$X$$d+1,$$d+1$$X,$$d$$X.$

Usos de la regresión polinómica.

A menudo, la regresión polinómica es exploratoria en el sentido de que no sabemos desde el principio qué monomios incluir. El proceso de crear nuevas matrices modelo a partir de monomios y volver a ajustar la regresión puede necesitar repetirse muchas veces, tal vez un número astronómico de veces en algunos entornos de aprendizaje automático.

Los principales problemas con este enfoque son

1. Los monomios a menudo introducen cantidades problemáticas de "multicolinealidad" en la matriz del nuevo modelo, principalmente porque los poderes de una sola variable tienden a ser altamente colineales. (La colinealidad entre las potencias de dos variables diferentes es impredecible, porque depende de cómo se relacionan esas variables y, por lo tanto, es menos predecible).

2. Cambiar solo una columna de la matriz del modelo, o introducir una nueva, o eliminar una, puede requerir un "reinicio en frío" del procedimiento de regresión, lo que puede llevar mucho tiempo para el cálculo.

Las graduaciones de las álgebras polinómicas proporcionan una forma de superar ambos problemas.

Polinomios ortogonales en una variable

Dado un único vector columna un conjunto de "polinomios ortogonales" para es una secuencia de vectores de columna formado como combinaciones lineales de monomios en alone-- es decir, como potencias de --con las siguientes propiedades:$X,$$X$$p_0(X), p_1(X), p_2(X),\ldots$$X$$X$

1. Para cada grado los vectores generan el mismo espacio vectorial que (Observe que es el vector de unos y es solo ).$d=0, 1, 2, \ldots,$$p_0(X), p_1(X), \ldots, p_d(X)$$X^0, X^1, \ldots, X^d.$$X^0$$n$$X^1$$X$

2. Los son mutuamente ortogonales en el sentido de que para$p_i(X)$$i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

Por lo general, la matriz de modelo de reemplazo formada a partir de estos monomios se elige para ser ortonormal al normalizar sus columnas a la longitud de la unidad: Debido a que el inverso de aparece en la mayoría de las ecuaciones de regresión y el inverso de la matriz de identidad es en sí mismo, esto representa una enorme ganancia computacional.

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ $\mathbb{P}^\prime \mathbb{P}$$\mathbb{I}_{d+1}$

La ortonormalidad casi determina el Puedes ver esto por construcción:$p_i(X).$

• El primer polinomio, debe ser un múltiplo del -vector de unidad de longitud. Solo hay dos opciones, Es costumbre elegir la raíz cuadrada positiva.$p_0(X),$$n$$\mathbf{1}=(1,1,\ldots,1)^\prime$$\pm \sqrt{1/n}\mathbf{1}.$

• El segundo polinomio, debe ser ortogonal a Se puede obtener haciendo retroceder contra cuya solución es el vector de valores medios Si los residuales no son idénticamente cero, dan las dos únicas soluciones posibles$p_1(X),$$\mathbf{1}.$$X$$\mathbf{1},$$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• Generalmente, se obtiene regresando contra y reescalando los residuos para que sean un vector de unidad longitud. Hay dos opciones de signo cuando los residuos no son todos cero. De lo contrario, el proceso termina: será infructuoso observar cualquier poder superior de (Este es un buen teorema, pero su prueba no necesita distraernos aquí).$p_{d+1}(X)$$X^{d+1}$$p_0(X), p_1(X), \ldots, p_d(X)$$X.$

Este es el proceso de Gram-Schmidt aplicado a la secuencia intrínseca de los vectores Por lo general, se calcula utilizando una descomposición QR, que es casi lo mismo, pero se calcula de manera numéricamente estable.$X^0, X^1, \ldots, X_d, \ldots.$

Esta construcción produce una secuencia de columnas adicionales para considerar incluir en la matriz del modelo. La regresión polinómica en una variable, por lo tanto, generalmente continúa agregando elementos de esta secuencia uno por uno, en orden, hasta que no se obtenga una mejora adicional en la regresión. Debido a que cada nueva columna es ortogonal a las anteriores, su inclusión no cambia ninguna de las estimaciones de coeficientes anteriores. Esto lo convierte en un procedimiento eficiente y fácilmente interpretable.

Polinomios en múltiples variables

La regresión exploratoria (así como el ajuste del modelo) generalmente procede considerando primero qué variables (originales) incluir en un modelo; luego evaluar si esas variables podrían aumentarse al incluir varias transformaciones de ellas, como los monomios; y luego introduciendo "interacciones" formadas a partir de productos de estas variables y sus nuevas expresiones.

Llevar a cabo tal programa, entonces, comenzaría con la formación de polinomios ortogonales univariados en las columnas de separado. $\mathbb X$ Después de seleccionar un grado adecuado para cada columna, introduciría interacciones.

En este punto, partes del programa univariante se descomponen. ¿Qué secuencia de interacciones aplicaría, una por una, hasta que se identifique un modelo adecuado? Además, ahora que realmente hemos entrado en el ámbito del análisis multivariable, el número de opciones disponibles y su creciente complejidad sugieren que puede haber rendimientos decrecientes al construir una secuencia de polinomios ortogonales multivariados. Sin embargo, si tuviera en mente una secuencia de este tipo, podría calcularla utilizando una descomposición QR.

---

Que Rhace

Por lo tanto, el software para la regresión polinómica tiende a centrarse en calcular secuencias polinomiales ortogonales univariadas . Es característico Rextender tal soporte lo más automáticamente posible a grupos de polinomios univariados. Esto lo que polyhace. (Su compañero polymes esencialmente el mismo código, con menos campanas y silbatos; las dos funciones hacen las mismas cosas).

Específicamente, polycalculará una secuencia de polinomios ortogonales univariados cuando se le dé un solo vector deteniéndose en un grado específico (Si es demasiado grande, y puede ser difícil predecir qué tan grande es demasiado, desafortunadamente arroja un error). Cuando se le da un conjunto de vectores en forma de matriz volverá$X,$$d.$$d$$X_1, \ldots, X_k$$\mathbb X,$

1. Secuencias de polinomios ortonormales para cada hasta un grado máximo solicitado (Dado que el vector constante es común a todas las variables y es muy simple, generalmente se adapta a la intersección en la regresión, no se molesta en incluirlo).$p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$$j$$d.$$p_0(X_i)$R

2. Todas las interacciones entre esos polinomios ortogonales hasta los de grado inclusive$d.$

El paso (2) implica varias sutilezas. Por lo general, por "interacción" entre variables nos referimos a "todos los productos posibles", pero algunos de esos posibles productos tendrán grados mayores que Por ejemplo, con variables calcula$d.$$2$$d=2,$ R

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

Rno no incluir las interacciones de grado superior (polinomios de grado 3) o (un polinomio de grado 4). (Esto no es una limitación seria porque puede calcular fácilmente estos productos usted mismo o especificarlos en un objeto de regresión ).$p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$$p_1(X_2)p_2(X_2)$formula

Otra sutileza es que no se aplica ningún tipo de normalización a ninguno de los productos multivariados. En el ejemplo, el único producto de este tipo es Sin embargo, no hay garantía incluso de que su media sea cero y casi seguramente no tendrá la norma de la unidad. En este sentido, es una verdadera "interacción" entre y y, como tal, puede interpretarse como interacciones que generalmente se encuentran en un modelo de regresión.$p_1(X_1)p_1(X_2).$$p_1(X_1)$$p_1(X_2)$

Un ejemplo

Veamos un ejemplo. He generado aleatoriamente una matriz Para que los cálculos sean más fáciles de seguir, todo se redondea a dos cifras significativas para mostrar.

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$

La secuencia polinomial ortonormal para la primera columna comienza normalizando a la longitud de la unidad, dandoEl siguiente paso incluye sí mismo. Para hacerlo ortogonal a regrese contra y establezca igual a los residuos de esa regresión, redimensionada para tener una unidad de longitud. El resultado es la estandarización habitual de obtenida al volver a centrarla y dividirla por su desviación estándar,$X_1 = (1,5,2)^\prime$$X_1^0= (1,1,1)^\prime$$p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$$X_1^1 = X_1$$p_0(X_1),$$X_1$$p_0(X_1)$$p_1(X_1)$$X_1$$p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$ Finalmente, se regresa contra y y esos residuos se reescalan a la longitud de la unidad. No podemos ir más allá porque las potencias de no pueden generar un espacio vectorial de más de dimensiones. (Llegamos hasta aquí porque el polinomio mínimo de los coeficientes de saber tiene grado lo que demuestra que todos los monomios de grado o mayores son combinaciones lineales de menor poderes y esos poderes inferiores son linealmente independientes.)$X_1^2 = (1,25,4)$$p_0(X_1)$$p_1(X_1)$$X_1$$n=3$$X_1,$$(t-1)(t-5)(t-4),$$3,$$3$

La matriz resultante que representa una secuencia polinomial ortonormal para es$X_1$

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(a dos cifras significativas).

De la misma manera, una matriz polinomial ortonormal para es$X_2$

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

El término de interacción es el producto de las columnas del medio de estas matrices, igual a La matriz completa creada por o , entonces, es$(0.35, 0.61, 0.035)^\prime.$polypolym

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

Observe la secuencia en la que se disponen las columnas: los polinomios ortonormales no constantes para están en las columnas 1 y 2, mientras que los de están en las columnas 3 y 5. Por lo tanto, la única ortogonalidad garantizada en esta salida está entre estos Dos pares de columnas. Esto se refleja en el cálculo de que tendrá ceros en las posiciones y (se muestra en rojo a continuación), * pero puede ser distinto de cero en cualquier otro lugar y tendrá unos en las posiciones y (se muestran en azul a continuación), pero es probable que no tenga uno en las otras posiciones diagonales ($X_1$$X_2$$\mathbb{P}^\prime\mathbb{P},$$(1,2), (2,1), (3,5),$$(5,3)$$(1,1), (2,2), (3,3),$$(5,5)$$(4,4)$en este ejemplo). En efecto,

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

Cuando inspecciona la matriz que se muestra en la pregunta y reconoce que los múltiplos de son realmente ceros, observará que este patrón de ceros en las posiciones rojas se mantiene. Este es el sentido en que esos polinomios bivariados son "ortogonales".$\mathbb P$$10^{-17}$