Error sistemático / de medición en una regresión lineal

8

Supongamos que tengo un conjunto de datos en el que la incertidumbre en las mediciones (que provienen de la propagación de errores sistemáticos del aparato de medición) es diferente para cada punto. Si hago una regresión lineal en el conjunto de datos, ¿cómo calculo la incertidumbre en la pendiente? Me gustaría un procedimiento o fórmula explícita. ${(x_i,y_i)}$ ${(\Delta x_i,\Delta y_i)}$

linear-model measurement-error errors-in-variables

— Iván Mauricio Burbano
fuente

2

¿Tiene alguna idea sobre qué error de medición es mayor?

— Dimitriy V. Masterov

1

Por los deltas, ¿quieres decir la diferencia entre mediciones secuenciales? ¿Sus datos son secuenciales? ¿Espera que el error esté correlacionado? ¿Esperas que la correlación decaiga? ¿Tienes algún tipo de replicación independiente? Se necesita más información para proporcionar una respuesta concreta.

— user3903581

El término que está buscando es propagación de errores. Tiene errores en el lado de entrada y calcula (más específicamente: estimar) dos parámetros a partir de él. Lamentablemente, el nombre de "regresión lineal" solo describe un modelo (popular), pero no el método por el cual se estiman los parámetros. Para los métodos más utilizados, probablemente pueda buscar la solución (por ejemplo, mínimos cuadrados). Si no, puede calcularlo analíticamente o aproximarlo mediante una evaluación numérica.

— querubín

4

Podemos modelar el experimento como donde denotar valores verdaderos, son errores de medición, son sus componentes "fijos" independientes de la observación (que podría surgir de una calibración incorrecta de los sensores) y varían de una observación a otra. observación y corresponden a muchos factores posibles que tratamos como aleatorios.

X_{yo} = X_{yo}^{*} + {\tilde{tu}}_{yo}

$x_i=x_i^*+\tilde u_i$

y_{yo} = y_{yo}^{*} + {\tilde{v}}_{yo}

$y_i=y_i^*+\tilde v_i$

{\tilde{tu}}_{yo} = \bar{tu} + v_{yo}

$\tilde u_i=\bar u + v_i$

{\tilde{v}}_{yo} = \bar{v} + {tu}_{yo}

$\tilde v_i=\bar v + u_i$

x_{i}^{*}, y_{i}^{*}

$x_i^*, y_i^*$

{\tilde{u}}_{i}, {\tilde{v}}_{i}

$\tilde u_i,\tilde v_i$

\bar{u}, \bar{v}

$\bar u,\bar v$

u, v

$u,v$

La regresión lineal simple es y la estimación OLS de la pendiente es Sin embargo, lo que obtenemos es

y_{yo}^{*} = α + β X_{yo}^{*} + {mi}_{yo}

$y_i^*=\alpha+\beta x_i^*+e_i$

\hat{β} = \frac{C o v (X^{*}, y^{*})}{V una r (X^{*})}

$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$

\tilde{β} = \frac{C o v (x, y)}{V a r (x)} = \frac{C o v (x^{*} + u, y^{*} + v)}{V a r (x^{*} + u)} = \frac{C o v (x^{*}, y^{*}) + C o v (x^{*}, v) + C o v (y^{*}, u) + C o v (u, v)}{V a r (x^{*}) + V a r (u) + 2 C o v (X, tu)}

$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$

Ahora supongamos que no están correlacionadas con y entre sí (una suposición bastante sólida que puede mejorarse si tenemos más inferencias sobre la naturaleza de los errores). Entonces nuestra estimación es Podemos estimar como una variación de muestra de . También necesitamos estimar . Si tenemos un experimento en el que podemos observar varias veces, entonces un enfoque simple es estimar ]. $v,u$ $x^*,y^*$

\tilde{β} = β \frac{σ_{X^{*}}^{2}}{σ_{X^{*}}^{2} + σ_{tu}^{2}} \approx β \frac{{\hat{σ}}_{X}^{2} - {\hat{σ}}_{tu}^{2}}{{\hat{σ}}_{X}^{2}} = β \hat{λ}

$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$

{\hat{σ}}_{x}^{2}

$\hat\sigma^2_x$

x_{i}

$x_i$

σ_{u}^{2}

$\sigma^2_u$

x_{i}^{*}

$x^*_i$

σ_{u}^{2} = E [σ_{x}^{2} | x_{i}^{*}

$\sigma^2_u=E[\sigma^2_x|x^*_i$

Ahora podemos usar nuestro calculado con, por ejemplo, el método bootstrap, y corregirlo para para que . $\hat\sigma^2_{\tilde\beta}$ $\hat\beta =\tilde\beta /\hat\lambda$

{\hat{σ}}_{\hat{β}}^{2} = \frac{{\hat{σ}}_{\tilde{β}}^{2}}{{\hat{λ}}^{2}}

$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$

— yshilov
fuente

3

Creo que la respuesta dada por @yshilov es definitivamente increíble al considerar el error de medición en el término de error y significativamente, deduce el resultado

\tilde{β} = β \frac{σ_{X}^{2}}{σ_{X}^{2} + σ_{tu}^{2}}

$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$

Para elaborar, esta beta tiene propiedades especiales de que es un estimador sesgado, pero sesgado hacia 0. Específicamente, para regresión lineal, $E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

La prueba es la siguiente: en regresión lineal simple, recordar En el caso de error de medición, tenemos , , y , entonces obtenemos Suponiendo que , , y la varianza del valor predictor verdadero

{\hat{β}}_{1} = \frac{\sum_{yo = 1}^{norte} (X_{yo} - \bar{X}) y_{yo}}{\sum_{yo = 1}^{norte} (X_{yo} - \bar{X})^{2}}

$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$

x_{i}^{O} = x_{i}^{A} = δ_{i}

$x_i^O=x_i^A=\delta_i$

y_{i}^{O} = y_{i}^{A} + ϵ_{i}

$y_i^O=y_i^A+\epsilon_i$

y_{i}^{A} = β_{0} + β_{1} x_{i}^{A}

$y_i^A=\beta_0 +\beta_1 x_i^A$

y_{yo}^{O} = β_{0 0} + β_{1} (X_{yo}^{O} - δ_{yo}) + ϵ_{yo} = β_{0 0} + β_{1} X_{yo}^{O} + (ϵ_{yo} - β_{1} δ_{yo})

$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$

E (ϵ_{i}) = E (δ_{i}) = 0

$E(\epsilon_i)=E(\delta_i)=0$

v a r (ϵ_{i}) = σ_{ϵ}^{2}

$var(\epsilon_i)=\sigma_{\epsilon}^2$

v a r (δ_{i}) = σ_{δ}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (δ_{i} - \bar{δ})^{2}

$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$

σ_{x}^{2} = \frac{\sum (x_{i}^{A} - \bar{x^{A}})^{2}}{n}

$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$ y correlación del verdadero predictor y error , luego

σ_{x δ} = c o v (x^{A}, δ) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{A} - \bar{x_{i}^{A}}) (δ_{i} - \bar{δ})

$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

C o v (X_{yo}^{O}, δ) = mi (X_{yo}^{O} δ) - mi (X_{yo}^{O}) \cdot mi (δ) = mi (X_{yo}^{O} δ) = mi [(X_{yo}^{UNA} + δ) δ] = mi (X_{yo}^{UNA} δ) + mi (δ^{2})

$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$

= [mi (X_{yo}^{UNA} δ) - mi (X_{yo}^{UNA}) \cdot mi (δ)] + [v una r (δ) + [mi (δ)]^{2}] = C o v (X_{yo}^{UNA}, δ) + σ_{δ}^{2} = σ_{X δ} + σ_{δ}^{2}

$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$ Entonces, mediante y la propiedad de bilinealidad en covarianza, la expectativa de es

\bar{x} = E (x_{i})

$\bar x = E(x_i)$

{\hat{β}}_{1}

$\hat \beta_1$

mi ({\hat{β}}_{1}) = mi [\frac{\sum_{yo = 1}^{norte} (X_{yo}^{O} - {\bar{X}}^{O}) y_{yo}^{O}}{\sum_{yo = 1}^{norte} (X_{yo}^{O} - {\bar{X}}^{O})^{2}}] = \frac{mi (\sum_{yo = 1}^{norte} X_{yo}^{O} y_{yo}^{O}) - mi (\sum_{yo = 1}^{norte} {\bar{X}}^{O} y_{yo}^{O})}{\sum_{yo = 1}^{norte} mi [(X_{yo}^{O} - mi (X_{yo}^{O}))^{2}]} = \frac{mi (\sum_{yo = 1}^{norte} X_{yo}^{O} y_{yo}^{O}) - mi (X_{yo}^{O}) \cdot mi (\sum_{yo = 1}^{norte} y_{yo}^{O})}{\sum_{yo = 1}^{norte} v una r (X_{yo}^{O})}

$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$

= \frac{\sum_{yo = 1}^{norte} C o v (y_{yo}^{O}, X_{yo}^{O})}{\sum_{yo = 1}^{norte} v una r (X_{yo}^{O})} = \frac{\sum_{yo = 1}^{norte} C o v (β_{0 0} + β_{1} X_{yo}^{O} + ϵ_{yo} - β_{1} δ_{yo}, X_{yo}^{O})}{\sum_{yo = 1}^{norte} v una r (X_{yo}^{O})} = \frac{β_{1} \cdot \sum_{yo = 1}^{norte} v una r (X_{yo}^{O}) - β_{1} \cdot \sum_{yo = 1}^{norte} C o v (X_{yo}^{O}, δ_{yo})}{\sum_{yo = 1}^{norte} v una r (X_{yo}^{O})}

$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$

= β_{1} \cdot [1 - \frac{\sum_{yo = 1}^{norte} C o v (X_{yo}^{O}, δ_{yo}) / / norte}{\sum_{yo = 1}^{norte} v una r (X_{yo}^{UNA} + δ_{yo}) / / norte}] = β_{1} \cdot [1 - \frac{σ_{X δ} + σ_{δ}^{2}}{σ_{X}^{2} + 2 C o v (X_{yo}^{UNA}, δ_{yo}) + σ_{δ}^{2}}] = β_{1} \cdot [\frac{σ_{X}^{2} + σ_{X δ}}{σ_{X}^{2} + 2 σ_{X δ} + σ_{δ}^{2}}]

$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$ , según se desee. Por lo tanto, el resultado está bien establecido.

E ({\hat{β}}_{1}) = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

— son520804
fuente

1

Tengo un problema similar, publicado aquí , y todavía no tengo una respuesta segura. Lo que hice por el momento es simplemente reunir un conjunto de X muy similares y verificar si hay una gran variación para Y dentro de esas líneas. Otro tipo de enfoque podría ser una simulación: utiliza una sola X de su conjunto de datos, pero replica las líneas siguiendo el error sistemático de los predictores (algo así como rnorm (..., 0,0.3)). El intervalo de confianza para la pendiente puede ser algo similar al intervalo de error sistemático.

— Paolo Nadalutti
fuente

0

Recomendaría un bootstrap paramétrico en los datos. Eso significa generar nuevos conjuntos de datos que son similares al conjunto de datos real, pero son diferentes en la medida que implica su incertidumbre en cada observación.

Aquí hay un pseudocódigo para eso. Tenga en cuenta que estoy usando entradas de vector para rnorm, como es normal en el lenguaje R. También supongo que lo que está llamando son errores estándar. $\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Luego mira la distribución de los valores en r.

— rcorty
fuente