Intervalo de confianza de RMSE

He tomado una muestra de puntos de datos de una población. Cada uno de estos puntos tiene un valor verdadero (conocido por la verdad básica) y un valor estimado. Luego calculo el error para cada punto muestreado y luego calculo el RMSE de la muestra. $n$

¿Cómo puedo inferir algún tipo de intervalo de confianza alrededor de este RMSE, basado en el tamaño de muestra ? $n$

Si estuviera usando la media, en lugar de la RMSE, entonces no tendría problemas para hacerlo, ya que puedo usar la ecuación estándar

$m = \frac{Z \sigma}{\sqrt{n}}$

pero no sé si esto es válido para RMSE en lugar de la media. ¿Hay alguna manera de que pueda adaptar esto?

(He visto esta pregunta , pero no tengo problemas con la distribución normal de mi población, que es de lo que trata la respuesta)

confidence-interval

— robintw
fuente

¿Qué estás computando específicamente cuando "calculas el RMSE de la muestra"? ¿Es el RMSE de los valores verdaderos, de los valores estimados o de sus diferencias?

— whuber

Estoy calculando el RMSE de las diferencias, es decir, calculando la raíz cuadrada de la media de las diferencias al cuadrado entre los valores verdaderos y estimados.

— robintw

Si conoce la 'verdad fundamental' (aunque no estoy seguro de lo que eso realmente significa), ¿por qué necesitaría la incertidumbre en RMSE? ¿Estás tratando de construir algún tipo de inferencia sobre casos en los que no tienes la verdad básica? ¿Es este un problema de calibración?

— Glen_b -Reinstalar Monica

@Glen_b: Sí, eso es exactamente lo que estamos tratando de hacer. No tenemos la verdad fundamental para toda la población, solo para la muestra. Luego estamos calculando un RMSE para la muestra, y queremos tener los intervalos de confianza en esto ya que estamos usando esta muestra para inferir el RMSE de la población.

— robintw

Posible duplicado de SE de RMSE en R

— Curioso

Respuestas:

Con un razonamiento similar al de aquí , podría dar una respuesta a su pregunta bajo ciertas condiciones.

Vamos ser tu verdadero valor para el punto de datos y el valor estimado. Si suponemos que las diferencias entre los valores estimados y verdaderos tienen $x_{i}$ $i^{th}$ $\hat{x}_{i}$

media cero (es decir, el se distribuyen alrededor de ) $\hat{x}_{i}$ $x_{i}$
seguir una distribución normal
y todos tienen la misma desviación estándar $\sigma$

en breve:

{\hat{X}}_{yo} - X_{yo} \sim norte (0 0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

entonces realmente quieres un intervalo de confianza para . $\sigma$

Si las suposiciones anteriores son verdaderas sigue unadistribución con(no) grados de libertad. Esto significa

\frac{norte {RMSE}^{2}}{σ^{2}} = \frac{norte \frac{1}{norte} \sum_{yo} {(\hat{X_{yo}} - X_{yo})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Por lo tanto, es su intervalo de confianza.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Aquí hay un programa de Python que simula su situación.

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Espero que ayude.

Si no está seguro de si se aplican los supuestos o si desea comparar lo que escribí con un método diferente, siempre puede intentar el arranque .

— fabee
fuente

σ

$\sigma$

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$ ya que no estás restando la muestra significa aquí. El RMSE correspondería entonces a

σ

$\sigma$ . Por lo tanto, la población RMSE es

σ

$\sigma$ y quieres un CI para eso. Eso es lo que deduje. De lo contrario, debo entender completamente su problema.

— fabee

El razonamiento en la respuesta de fabee parece correcto si se aplica al STDE (desviación estándar del error), no al RMSE. Usando una nomenclatura similar, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$ , BIAS, MSE (mean squared error) and RMSE are given by:

ϵ_{i} = {\hat{x}}_{i} - x_{i}, BIAS = \bar{ϵ} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}, MSE = \bar{ϵ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} ϵ_{i}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$ , but MSE is not the biased sample variance. Instead:

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (ϵ_{i} - \bar{ϵ})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$ or, if both BIAS and RMSE were computed,

{STDE}^{2} = \bar{(ϵ - \bar{ϵ})^{2}} = \bar{ϵ^{2}} - {\bar{ϵ}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$ , STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$ ) and $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

— cvr
fuente

You are right, but missed a part of my answer. I basically assumed that BIAS=0 (see assumption 1). In that case,

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$ as you derived. Since both

R M S E^{2}

$RMSE^2$ and

B I A S^{2}

$BIAS^2$ are

χ^{2}

$\chi^2$ and there exists a close form solution for the sum of two

χ^{2}

$\chi^2$ RVs, you can probably derive a close form confidence interval for the case when assumption 1 is dropped. If you do that and update your answer, I'll definitely upvote it.

— fabee

Following Faaber 1999, the uncertainty of RMSE is given as

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$ where

n

$n$ is the number of datapoints.

— LKlevin
fuente