R al cuadrado y regresión polinómica de orden superior

La siguiente gráfica muestra la saturación de una carretera contra el impacto en el tiempo de viaje (normalizado a tiempo de viaje de flujo libre).

La curva azul (función BPR) presenta un modelo estandarizado utilizado en el campo para relacionar el tiempo de viaje y la saturación.

Para los datos empíricos que reuní, tracé un ajuste polinómico de tercer orden, que se muestra en rojo. Para evaluar este ajuste, encontré el $R^2$ para este ajuste de tercer orden. Esto se dio como 0,72.

Hablé con un colega sobre $R^2$ y él me señaló este artículo. ¿Por qué no hay R-cuadrado para la regresión no lineal?

He encontrado muchos artículos fueron $R^2$ se usa para evaluar el ajuste de un polinomio de orden superior y ahora estoy bastante confundido.

Es $R^2$ inapropiado en este caso? ¿Qué debo usar en su lugar?

regression chi-squared r-squared

— Aprendizaje lento
fuente

La regresión polinómica es lineal: son los coeficientes los que determinan la linealidad del modelo, no la matriz del modelo. En realidad, mira esta fantástica publicación . Así que creo que estás en el camino correcto.

— Antoni Parellada

Gracias @AntoniParellada. Eso hizo una excelente lectura. También estoy egoístamente contento ya que no necesito rehacer algunos análisis;)

— LearningSlowly

Considere un polinomio:

β_{0 0} + β_{1} X + β_{2} X^{2} + ... + β_{k} X^{k}

$\beta_0 + \beta_1 x + \beta_2 x^2 + \ldots + \beta_k x^k$

Observe que el polinomio es no lineal en $x$ pero que es lineal en $\boldsymbol{\beta}$ . Si estamos tratando de estimar , ¡esta es una regresión lineal! Linealidad en es lo que importa Al estimar la ecuación anterior por mínimos cuadrados, todos los resultados de la regresión lineal se mantendrán. $\boldsymbol{\beta}$

y_{yo} = β_{0 0} + β_{1} X_{yo} + β_{2} X_{yo}^{2} + ... + β_{k} X_{yo}^{k} + ϵ_{yo}

$y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \ldots + \beta_k x_i^k + \epsilon_i$

β = (β_{0}, β_{1}, \dots, β_{k})

$\boldsymbol{\beta} = (\beta_0, \beta_1, \ldots, \beta_k)$

Sea la suma total de los cuadrados, la suma explicada de los cuadrados y la suma residual de los cuadrados. El coeficiente de determinación se define como: $\mathit{SST}$ $\mathit{SSE}$ $\mathit{SSR}$ $R^2$

R^{2} = 1 - \frac{S S R}{S S T}

$R^2 = 1 - \frac{\mathit{SSR}}{\mathit{SST}}$

Y el resultado de la regresión lineal que le da a su interpretación familiar como la fracción de varianza explicada por el modelo. $\mathit{SST} = \mathit{SSE} + \mathit{SSR}$ $R^2$

SST = SSE + SSR: ¿Cuándo es cierto y cuándo no?

Deje que sea el valor de pronóstico de y deje que sea el residuo. Además, definamos el valor de pronóstico degradado como . $\hat{y}_i$ $y_i$ $e_i = y_i - \hat{y}_i$ $f_i = \hat{y}_i - \bar{y}$

Let denota un producto interno . Trivialmente tenemos: Observe que es un producto interno válido. Entonces nosotros tenemos: $\langle ., . \rangle$

\begin{aligned} ⟨ F + mi, F + mi ⟩ & = ⟨ F, F ⟩ + 2 ⟨ F, mi ⟩ + ⟨ mi, mi ⟩ \\ = ⟨ F, F ⟩ + ⟨ mi, mi ⟩ Si F y mi ortogonales, es decir, su producto interno es 0 \end{aligned}

$\begin{align*} \langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle &= \langle \mathbf{f}, \mathbf{f} \rangle + 2\langle \mathbf{f}, \mathbf{e} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \\ &= \langle \mathbf{f}, \mathbf{f} \rangle + \langle \mathbf{e}, \mathbf{e} \rangle \quad \quad\text{if $\mathbf{f}$ and $\mathbf{e}$ orthogonal, i.e. their inner product is 0} \end{align*}$

⟨ a, b ⟩ = \sum_{i} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \sum_i a_i b_i$

$\langle \mathbf{f} + \mathbf{e}, \mathbf{f} + \mathbf{e} \rangle = \sum_i \left(y_i - \bar{y} \right)^2$ es la suma total de cuadrados (SST).
$\langle \mathbf{f}, \mathbf{f} \rangle = \sum_i \left(\hat{y}_i - \bar{y} \right)^2$ es la suma explicada de cuadrados (SSE).
$\langle \mathbf{e}, \mathbf{e} \rangle = \sum_i \left(y_i - \hat{y}_i \right)^2$ es la suma residual de cuadrados (SSR).

Por lo tanto, es verdadero si el pronóstico degradado es ortogonal al residual . Esto es cierto en la regresión lineal de mínimos cuadrados ordinarios siempre que se incluya una constante en la regresión. Otra interpretación de los mínimos cuadrados ordinarios es que estás proyectando en el tramo lineal de los regresores, por lo tanto, el residuo es ortogonal a ese espacio por construcción. La ortogonalidad de las variables y residuos del lado derecho no es en general cierta para los pronósticos obtenidos de otras maneras. $SST = SSE + SSR$ $\mathbf{f}$ $\mathbf{e}$ $\mathbf{y}$ $\hat{y}_i$

— Matthew Gunn
fuente