RMSE normalizado

Tengo varias series de tiempo en un VAR (1) y, debido a que algunas de ellas no tienen la misma unidad de medida, me gustaría estimar el RMSE en porcentaje. Sé que se podría hacer de varias maneras (ver a continuación), pero no sé exactamente cuál es el que mejor se adapta a un problema de evaluación de pronóstico. Espero que puedas ayudarme.

Ejemplos de RMSE normalizado:

R METRO S {mi}_{1} = \sqrt{\frac{1}{norte} \sum_{yo} {(\frac{Y_{F o r mi C una s t_{yo}} - Y_{yo}}{Y_{yo}})}^{2}} R METRO S {mi}_{2} = \sqrt{\frac{1}{norte} \sum_{yo} {(\frac{Y_{F o r mi C una s t_{yo}} - Y_{yo}}{Y_{F o r mi C una s t_{yo}}})}^{2}} R METRO S {mi}_{3} = \frac{\sqrt{\frac{1}{norte} \sum_{yo} {(Y_{F o r mi C una s t_{yo}} - Y_{yo})}^{2}}}{metro mi una norte (Y)}

$RMSE_1 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_i}\right)^2} \\ RMSE_2 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_{forecast_i}}\right)^2} \\ RMSE_3 = \frac{\sqrt{\frac{1}{n}\sum_i\left(Y_{forecast_i}-Y_i\right)^2}}{mean(Y)}$

time-series mse rms

Respuestas:

También tiene otras opciones que se usan comúnmente en tales casos, por ejemplo, error absoluto relativo

RAE = \frac{\sum_{yo = 1}^{norte} El | {\hat{θ}}_{yo} - θ_{yo} El |}{\sum_{yo = 1}^{norte} El | \bar{θ} - θ_{yo} El |}

$\text{RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

error cuadrático relativo de raíz

RRSE = \sqrt{\frac{\sum_{yo = 1}^{norte} {({\hat{θ}}_{yo} - θ_{yo})}^{2}}{\sum_{yo = 1}^{norte} {(\bar{θ} - θ_{yo})}^{2}}}

$\text{RRSE} = \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

error porcentual absoluto medio

MAPE = \frac{1}{norte} \sum_{yo = 1}^{norte} El | \frac{θ_{yo} - {\hat{θ}}_{yo}}{θ_{yo}} El |

$\text{MAPE} = \frac{1}{N} \sum^N_{i=1} \left| \frac{\theta_i - \hat{\theta}_i}{\theta_i} \right|$

dónde $\theta$ es verdadero valor, $\hat \theta$ es el pronóstico y $\overline{\theta}$ es un medio de $\theta$ (ver también https://www.otexts.org/fpp/2/5 ).

— Tim
fuente

al implementar RAE o RRSE, ¿puede recomendar una forma razonable de evitar inf? Pensé en usar en meanlugar de sumy max el denominador con un epsilonvalor

— ihadanny

@ihadanny ¿por qué ves los valores inf?

— Tim

cuando

θ

$\theta$ son constantes el denominador es 0

— ihadanny

@ihadanny, entonces la medida de error no tiene sentido.

— Tim

Una posible forma sería normalizar el RMSE con la desviación estándar de $Y$ :

$NRMSE = \frac{RMSE}{\sigma(Y)}$

Si este valor es mayor que 1, obtendría un mejor modelo simplemente generando una serie temporal aleatoria de la misma media y desviación estándar que $Y$ .

— Fabzi
fuente