Intervalo de predicción de regresión lineal

Si la mejor aproximación lineal (usando mínimos cuadrados) de mis puntos de datos es la línea , ¿cómo puedo calcular el error de aproximación? Si desviación estándar de las diferencias entre observaciones y predicciones , ¿puedo decir luego que un valor real (pero no observado) pertenece al intervalo ( ) con probabilidad ~ 68%, suponiendo una distribución normal?e i = r e a l ( x i ) - ( m x i + b ) y r = r e a l ( x 0 ) [ y p - σ , y p + σ ] y p = m x 0 + $y=mx+b$$e_i=real(x_i)-(mx_i+b)$$y_r=real(x_0)$$[y_p-\sigma, y_p+\sigma]$$y_p=mx_0+b$

Para aclarar:

Hice observaciones con respecto a una función mediante la evaluación de algunos puntos . Ajuste estas observaciones a una línea . Para que no observé, me gustaría saber qué tan grande puede ser . Usando el método anterior, ¿es correcto decir que con prob. ~ 68%?x i l ( x ) = m x + b x 0 f ( x 0 ) - l ( x 0 ) f ( x 0 ) ∈ [ l ( x 0 ) - σ , l ( x 0 ) + σ $f(x)$$x_i$$l(x)=mx+b$$x_0$$f(x_0)-l(x_0)$$f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

@whuber te ha señalado tres buenas respuestas, pero quizás aún puedo escribir algo de valor. Su pregunta explícita, según tengo entendido, es:

Dado mi modelo ajustado,$\hat y_i=\hat mx_i + \hat b$ N(0, σ 2 e )ynewxnew( y -σe, y +σe) (observe que agregué 'sombreros') , y suponiendo que mis residuos se distribuyen normalmente, , ¿puedo predecir que una respuesta aún no observada, , con un valor predictivo conocido, , se encontrará dentro del intervalo , con una probabilidad del 68%?$\mathcal N(0, \hat\sigma^2_e)$$y_{new}$$x_{new}$$(\hat y -\sigma_e, \hat y +\sigma_e)$

Intuitivamente, la respuesta parece ser 'sí', pero la respuesta verdadera es quizás . Este será el caso cuando los parámetros (es decir, & ) sean conocidos y sin error. Como estimó estos parámetros, debemos tener en cuenta su incertidumbre. $m, b,$$\sigma$

Primero pensemos en la desviación estándar de sus residuos. Debido a que esto se estima a partir de sus datos, puede haber algún error en la estimación. Como resultado, la distribución que debe usar para formar su intervalo de predicción debe ser , no la normal. Sin embargo, dado que la converge rápidamente a la normalidad, es menos probable que esto sea un problema en la práctica. $t_\text{df error}$$t$

Entonces, ¿podemos usar , en lugar de , y seguir nuestro camino alegre? Lamentablemente no. El problema mayor es que existe incertidumbre acerca de su estimación de la media condicional de la respuesta en esa ubicación debido a la incertidumbre en sus estimaciones & . Por lo tanto, la desviación estándar de sus predicciones necesita incorporar más que solo . Debido a que las variaciones se suman , la variación estimada de las predicciones será: Observe que la " y nuevo±z(1-α/2)s m b serrors 2 predicciones (nuevo) =s 2 error +Var( m xnuevo+ b )xs2x$\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$$\hat y_\text{new}\pm z_{(1-\alpha/2)}s$$\hat m$$\hat b$$s_\text{error}$

$$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$$ $x$"está suscrito para representar el valor específico de la nueva observación, y que la" "está correspondientemente suscrita. Es decir, su intervalo de predicción depende de la ubicación de la nueva observación a lo largo del eje . La desviación estándar de su las predicciones se pueden estimar más convenientemente con la siguiente fórmula: Como nota al margen interesante, podemos inferir algunos hechos sobre los intervalos de predicción a partir de esta ecuación. Primero, los intervalos de predicción serán más estrechos cuanto más datos tengamos cuando construimos el modelo de predicción (esto se debe a que hay menos incertidumbre en &$s^2$$x$mbx0 $$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$$ $\hat m$$\hat b$) En segundo lugar, las predicciones serán más precisas si se realizan a la media de los valores de que utilizó para desarrollar su modelo, ya que el numerador para el tercer término será . La razón es que, en circunstancias normales, no hay incertidumbre acerca de la pendiente estimada en la media de$x$$0$$x$, solo cierta incertidumbre sobre la verdadera posición vertical de la línea de regresión. Por lo tanto, algunas lecciones que se pueden aprender para construir modelos de predicción son: que más datos sean útiles, no para encontrar 'importancia', sino para mejorar la precisión de las predicciones futuras; y que debe centrar sus esfuerzos de recopilación de datos en el intervalo en el que deberá hacer predicciones en el futuro (para minimizar ese numerador), pero difundir las observaciones lo más ampliamente posible desde ese centro (para maximizar ese denominador).

Habiendo calculado el valor correcto de esta manera, podemos usarlo con la distribución adecuada como se indicó anteriormente. $t$