¿Evaluar el rendimiento de un modelo de regresión utilizando conjuntos de entrenamiento y prueba?

A menudo escucho sobre la evaluación del desempeño de un modelo de clasificación extendiendo el conjunto de prueba y entrenando un modelo en el conjunto de entrenamiento. Luego crea 2 vectores, uno para los valores predichos y otro para los valores verdaderos. Obviamente, hacer una comparación le permite a uno juzgar el rendimiento del modelo por su poder predictivo utilizando cosas como F-Score, Kappa Statistic, Precision & Recall, curvas ROC, etc.

¿Cómo se compara esto con la evaluación de predicciones numéricas como la regresión? Supongo que podría entrenar el modelo de regresión en el conjunto de entrenamiento, usarlo para predecir valores, luego comparar estos valores pronosticados con los valores reales que se encuentran en el conjunto de prueba. Obviamente, las medidas de rendimiento tendrían que ser diferentes ya que esta no es una tarea de clasificación. Los residuales habituales y las estadísticas son medidas obvias, pero ¿hay más / mejores formas de evaluar el rendimiento de los modelos de regresión? Parece que la clasificación tiene muchas opciones, pero la regresión se deja a y residuales.$R^2$$R^2$

Como se dijo, típicamente, se usa el error cuadrático medio. Calcula su modelo de regresión en función de su conjunto de entrenamiento y evalúa su rendimiento utilizando un conjunto de prueba separado (un conjunto de entradas xy salidas pronosticadas conocidas y) calculando el MSE entre las salidas del conjunto de prueba (y) y las salidas dadas por el modelo (f (x)) para las mismas entradas dadas (x).

Alternativamente, puede utilizar las siguientes métricas: error cuadrático medio, error cuadrático relativo, error absoluto medio, error absoluto relativo ... (solicite definiciones en google)