¿Es apropiado el valor R cuadrado para comparar modelos?

Estoy tratando de identificar el mejor modelo para predecir los precios de los automóviles, utilizando los precios y las funciones disponibles en los sitios de anuncios clasificados de automóviles.

Para esto utilicé un par de modelos de la biblioteca scikit-learn y modelos de redes neuronales de pybrain y neurolab. El enfoque que utilicé hasta ahora es ejecutar una cantidad fija de datos a través de algunos modelos (algoritmos de aprendizaje automático) y comparar los valores de $R^2$ que se calcularon con el módulo de métricas scikit-learn.

¿ $R^2$ un buen método para comparar el rendimiento de diferentes modelos?
Aunque obtuve resultados bastante aceptables para modelos como Elastic net y Random forest, obtuve valores muy pobres $R^2$ para los modelos de redes neuronales, entonces ¿es $R^2$ un método apropiado para evaluar redes neuronales (o métodos no lineales)?

— Manik
fuente

La respuesta corta es no . Podría ayudarlo a leer mi respuesta aquí: Evaluación y comparación de modelos para seleccionar el mejor modelo , que está bastante relacionado con su pregunta. Aquí se describe una solución candidata . Para una comprensión más general, puede intentar leer algunos de los hilos en el sitio categorizados bajo la etiqueta de selección de modelo .

— gung - Restablece a Monica

@gung ¡Gracias! ¿Puedo preguntar cuál sería una medida adecuada de bondad de ajuste para la regresión utilizando redes neuronales?

— Manik

Creo que la parte crucial a considerar al responder su pregunta es

Estoy tratando de identificar el mejor modelo para predecir los precios de los automóviles.

porque esta afirmación implica algo sobre por qué quieres usar el modelo. La elección y la evaluación del modelo deben basarse en lo que desea lograr con sus valores ajustados.

En primer lugar, permite recapitular lo que hace $R^2$ : Se calcula una medida a escala basado en la función de pérdida cuadrática, que estoy seguro de que son ya conscientes. Para ver esto, definir residual para su i-ésima observación y el valor ajustado correspondiente . Usando la notación conveniente , $e_i = y_i - \hat{y}_i$ $y_i$ $\hat{y}_i$ $SSR := \sum_{i=1}^Ne_i^2$ ,se define simplemente como. $SST:=\sum_{i=1}^N(y_i - \bar{y})^2$ $R^2$ $R^2 = 1 - SSR/SST$

En segundo lugar, veamos qué significa usar para la elección / evaluación del modelo $R^2$ . Supongamos que elegimos entre un conjunto de predicciones que se generaron usando un modelo , donde es la colección de modelos bajo consideración (en su ejemplo, esta colección contendría redes neuronales, bosques aleatorios, redes elásticas, ...) Dado que permanecerá constante entre todos los modelos, si se minimiza $\bar{Y}_M$ $M:M \in \mathcal{M}$ $\mathcal{M}$ $SST$ que se elija exactamente el modelo que minimiza . En otras palabras, elegirás $R^2$ $SSR$ que produce la pérdida mínima de error al cuadrado! $M \in \mathcal{M}$

Tercero, consideremos por qué $R^2$ o, de manera equivalente, podría ser interesante para la elección del modelo . Tradicionalmente, la pérdida cuadrada ( norma ) se usa por tres razones: (1) es más fácil de calcular que las desviaciones mínimas absolutas (LAD, la norma ) porque no aparece ningún valor absoluto en el cálculo, (2) castiga el ajuste valores que están muy lejos del valor real mucho más que LAD (en un sentido cuadrado en lugar de absoluto) y, por lo tanto, se asegura de que tengamos valores atípicos menos extremos, (3) es simétrico : sobreestimar o subestimar el precio de un automóvil es considerado igual de malo. $SSR$ $L^2$ $L^1$

Cuarto (y último), veamos si esto es lo que necesita para sus predicciones. El punto que podría ser de mayor interés aquí es (3) del último párrafo. Suponga que quiere adoptar una postura neutral y no es ni comprador ni vendedor de un automóvil. Entonces, puede tener sentido: eres imparcial y deseas castigar las desviaciones a precios excesivos o insuficientes de manera idéntica. Lo mismo se aplica si solo desea modelar la relación entre las cantidades sin desear predecir valores no observados. Ahora suponga que está trabajando para un consumidor / comprador con un presupuesto ajustado: en esta situación, es posible que desee castigar la sobreestimación del precio en un sentido cuadrático, pero la subestimación en un sentido , donde $R^2$ $L^p$ . Para , castigarías en un sentido de desviación absoluta. Esto puede verse para reflejar los objetivos e intenciones del comprador, y sesgar la estimación a la baja podría ser de interés para él / ella. Por el contrario, podría cambiar la idea si modelara las predicciones de precios para el vendedor. Huelga decir que cualquier norma podría elegirse para reflejar las preferencias del modelador / agente para el que modela. También puede castigar porcompletofuera de lanorma , y usar la pérdida constante, exponencial o de registro en un lado y una pérdida diferente en el otro. $1 \leqslant p <2$ $p=1$ $L^p$ $L^p$

En resumen, la elección / evaluación del modelo no puede considerarse independientemente del objetivo del modelo.

— Jeremias K
fuente