¿Pueden RMSE y MAE tener el mismo valor?

Estoy implementando validación cruzada y calculando métricas de error como RMSE, $R^2$ , MAE, MSE, etc.

¿Pueden RMSE y MAE tener el mismo valor?

Si, en teoria. El caso más simple que puedo imaginar es un conjunto de datos donde todos los errores de predicción (es decir, los residuos) son exactamente $\pm$ 1. RMSE y MAE devolverán valores idénticos de 1. También se pueden construir otros escenarios, pero ninguno parece muy probable.

EDITAR: Gracias a @DilipSarwate por señalar (explicado por @ user20160 en su excelente respuesta) que este resultado es posible si y solo si los valores absolutos de todos los errores de predicción son idénticos. No hay nada especial sobre el valor $\pm$ 1 en mi ejemplo, en otras palabras; cualquier otro número funcionaría en lugar de 1.

El error absoluto medio (MAE) puede ser igual al error cuadrático medio (MSE) o al error cuadrático medio raíz (RMSE) bajo ciertas condiciones, que mostraré a continuación. Es poco probable que estas condiciones ocurran en la práctica.

Preliminares

Sea $r_i = |y_i - \hat{y}_i|$denotar el valor absoluto de la residual para el $i$ ésimo punto de datos, y dejar que $r = [r_i, \dots, r_n]^T$ sea un vector que contiene los residuos absolutos para todos los $n$ puntos en el conjunto de datos. Dejar $\vec{1}$ denotar un vector $n \times 1$ de unos, el MAE, el MSE y el RMSE se pueden escribir como:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Establecer el MSE igual al MAE y reorganizar da:

$$(r - \vec{1})^T r = 0 \tag{2}$$

El MSE y el MAE son iguales para todos los conjuntos de datos donde los residuos absolutos resuelven la ecuación anterior. Dos soluciones obvias son: $r = \vec{0}$ (hay cero error) y $r = \vec{1}$ (los residuales son todos $\pm 1$ , como se menciona mkt). Pero, hay infinitas soluciones.

Podemos interpretar la ecuación $(2)$ geométricamente de la siguiente manera: El LHS es el producto escalar de $r-\vec{1}$ y $r$ . El producto de punto cero implica ortogonalidad. Entonces, el MSE y el MAE son iguales si restando 1 de cada residuo absoluto da un vector que es ortogonal a los residuos absolutos originales.

Además, al completar el cuadrado, la ecuación $(2)$ puede reescribirse como:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Esta ecuación describe una esfera $n$ dimensional centrada en $[\frac{1}{2}, \dots, \frac{1}{2}]^T$con radio$\frac{1}{2} \sqrt{n}$ . El MSE y el MAE son iguales si y solo si los residuos absolutos se encuentran en la superficie de esta hiperesfera.

RMSE

Establecer el RMSE igual al MAE y reorganizar da:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

donde $I$ es la matriz de identidad. El conjunto de soluciones es el espacio nulo de $A$ ; es decir, el conjunto de todos $r$ tal que $A r = \vec{0}$ . Para encontrar el espacio nulo, tenga en cuenta que$A$ es unamatriz$n \times n$ con elementos diagonales iguales a$n-1$ y todos los demás elementos iguales a$-1$ . El enunciado$A r = \vec{0}$ corresponde al sistema de ecuaciones:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

O, reorganizando cosas:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Es decir, cada elemento $r_i$ debe ser igual a la media de los otros elementos. La única forma de satisfacer este requisito es que todos los elementos sean iguales (este resultado también puede obtenerse considerando la descomposición propia de $A$ ). Por lo tanto, el conjunto de soluciones consta de todos los vectores no negativos con entradas idénticas:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Por lo tanto, RMSE y MAE son iguales si y solo si los valores absolutos de los residuos son iguales para todos los puntos de datos.