La definición de splines cúbicos naturales para regresión

16

Estoy aprendiendo sobre splines del libro "Los elementos de la minería de datos estadísticos de aprendizaje, inferencia y predicción" de Hastie et al. En la página 145 descubrí que las estrías cúbicas naturales son lineales más allá de los nudos de límite. Hay $K$ nudos, en las splines y se da lo siguiente sobre dicha spline en el libro. $\xi_1, \xi_2, ... \xi_K$

Pregunta 1: ¿Cómo se liberan 4 grados de libertad? No entiendo esta parte.

Pregunta 2 : En la definición de cuando entonces . ¿Qué intenta hacer el autor en esta fórmula? ¿Cómo ayuda esto a asegurarse de que las splines sean lineales más allá de los nudos límite? $d_k(X)$ $k=K$ $d_K(X) = \frac 0 0$

— Durin
fuente

17

Comencemos considerando las splines cúbicas ordinarias. Son cúbicos entre cada par de nudos y cúbicos fuera de los nudos límite. Comenzamos con 4df para el primer cúbico (a la izquierda del primer nudo límite), y cada nudo agrega un nuevo parámetro (porque la continuidad de las splines cúbicas y las derivadas y las segundas derivadas agrega tres restricciones, dejando un parámetro libre), haciendo un total de Parámetros para nudos. $K+4$ $K$

Una spline cúbica natural es lineal en ambos extremos. Esto limita las piezas cúbicas y cuadráticas allí a 0, cada reducción de la df por 1. Eso es 2 df en cada uno de dos extremos de la curva, la reducción de a . $K+4$ $K$

Imagine que decide que puede gastar un número total de grados de libertad ( , por ejemplo) en su estimación de curva no paramétrica. Dado que la imposición de una spline natural usa 4 grados menos de libertad que una spline cúbica ordinaria (para el mismo número de nudos), con esos parámetros puede tener 4 nudos más (y 4 parámetros más) para modelar la curva entre los nudos de límite . $p$ $p$
Obsérvese que la definición de es para (ya que hay funciones básicas en todos). Entonces, la última función básica en esa lista, . Entonces, la más alta necesaria para las definiciones de es para $N_{k+2}$ $k=1,2,...,K-2$ $K$ $N_{K}=d_{K-2}-d_{K-1}$ $k$ $d_k$ $k=K-1$ . (Es decir, no necesitamos tratar de averiguar qué podría hacer , ya que no lo usamos). $d_K$

— Glen_b -Reinstate a Monica
fuente

4

$2$ $\xi_1, \xi_2$ $]-\infty, \xi_1[$ $]\xi_1, \xi_2[$ $]\xi_2, +\infty[$ $|I|=3$ $|I|-1=2$ nudos)

Para splines cúbicas (comunes)

Sin restricciones de regularidad, tenemos ecuaciones: $4|I|=12$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X; 1 (X < ξ_{1}) X^{2}; 1 (X < ξ_{1}) X^{3};

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X; 1 (ξ_{2} \leq X) X^{2}; 1 (ξ_{2} \leq X) X^{3} .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$

$\mathcal{C}^r$ $r=2$ $(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$

$12-6=6$

Para splines cúbicos naturales

"Un splines cúbicos naturales agrega restricciones adicionales, es decir, que la función es lineal más allá de los nudos de límite".

$4|I|-4=12-4$ $4$ $2$

1 (X < ξ_{1}); 1 (X < ξ_{1}) X;

$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$

1 (ξ_{1} \leq X < ξ_{2}); 1 (ξ_{1} \leq X < ξ_{2}) X; 1 (ξ_{1} \leq X < ξ_{2}) X^{2}; 1 (ξ_{1} \leq X < ξ_{2}) X^{3};

$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$

1 (ξ_{2} \leq X); 1 (ξ_{2} \leq X) X .

$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$

$3\times(|I|-1) = 6$

$8-6=2$

— ahstat
fuente