Valores negativos en las predicciones para una variable de respuesta siempre positiva en regresión lineal

Estoy tratando de predecir una variable de respuesta en regresión lineal que siempre debe ser positiva (costo por clic). Es una cantidad monetaria. En AdWords, usted paga a Google por los clics en sus anuncios, y un número negativo significaría que Google le paga cuando la gente hace clic: P

Los predictores son todos valores continuos. El Rsquared y el RMSE son decentes en comparación con otros modelos, incluso fuera de muestra:

  RMSE        Rsquared 
1.4141477     0.8207303

No puedo reescalar las predicciones, porque es dinero, por lo que incluso un pequeño factor de reescalado podría cambiar los costos significativamente.

Por lo que entiendo, para el modelo de regresión no hay nada especial en los números cero y negativos, por lo que encuentra el mejor hiperplano de regresión sin importar si la salida es parcialmente negativa.

Este es un primer intento, usando todas las variables que tengo. Entonces hay espacio para el refinamiento.

¿Hay alguna forma de decirle al modelo que la salida no puede ser negativa?

regression predictive-models

— usillos
fuente

Puede garantizar predicciones positivas utilizando un modelo lineal generalizado con función de enlace logarítmico. Por cierto, aunque su valor es bastante alentador, una mejor comprobación de si el modelo sigue la forma principal de los datos es un gráfico de residual frente a predicho. Los gráficos de lo observado frente a lo previsto también pueden ayudar a aclarar su problema.

R^{2}

$R^2$

— Nick Cox

@ NickCox dio una sugerencia. Trazaría los datos en más formas que solo residuales vs. predichas. Sin embargo, ciertamente puede reescalar las variables de dinero. Un método común es tomar log (costo) como la variable dependiente. (Creo que esto es equivalente a la función de enlace de registro, pero podría ser más fácil de comprender). El registro (costo) puede, por supuesto, ser negativo. Y los registros de variables de dinero a menudo son razonables porque, por ejemplo, una diferencia entre 0.01 y 0.02 por clic es importante, pero la diferencia entre 1.01 y 10.2 por clic no lo es.

— Peter Flom

@ Peter Flom Creo que significaba 1.02 no 10.2.

— Nick Cox

Una pequeña muestra de datos ayudaría a las personas a ilustrar posibles soluciones.

— Glen_b -Reinstate Monica

Supongo que está utilizando el estimador OLS en este modelo de regresión lineal. Puede usar el estimador de mínimos cuadrados con restricciones de desigualdad , que será la solución a un problema de minimización bajo restricciones de desigualdad. Usando la notación matricial estándar (los vectores son vectores de columna), el problema de minimización se establece como

min_{β} (y - X β)^{'} (y - X β) s . t . - Z β \leq 0

$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0$

... donde es , es , es y es la matriz que contiene la serie de regresores fuera de muestra de longitud que se utilizan para la predicción. Tenemos restricciones de desigualdad lineal (y la función objetivo es convexa, por lo que las condiciones de primer orden son suficientes para un mínimo). $\mathbf y$ $n \times 1$ $\mathbf X$ $n\times k$ $\beta$ $k\times 1$ $\mathbf Z$ $m \times k$ $m$ $m$

El lagrangeano de este problema es

L = (y - X β)^{'} (y - X β) - λ^{'} Z β = y^{'} y - y^{'} X β - β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

= y^{'} y - 2 β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

donde es un vector de columna de multiplicadores Karush -Kuhn -Tucker no negativos. Las condiciones de primer orden son (es posible que desee revisar las reglas para la diferenciación de matrices y vectores) $\lambda$ $m \times 1$

\frac{\partial L}{\partial β} = 0 \Rightarrow - 2 X^{'} y + 2 X^{'} X β - Z^{'} λ

$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda$

\Rightarrow {\hat{β}}_{R} = {(X^{'} X)}^{- 1} X^{'} y + \frac{1}{2} {(X^{'} X)}^{- 1} Z^{'} λ = {\hat{β}}_{O L S} + {(X^{'} X)}^{- 1} Z^{'} ξ [1]

$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$

... donde , por conveniencia, y es el estimador que obtendríamos de la estimación de mínimos cuadrados ordinarios. $\xi = \frac 12 \lambda$ $\hat \beta_{OLS}$

El método está completamente elaborado en Liew (1976) .

— Alecos Papadopoulos
fuente

He votado a favor porque es una solución legítima, pero en la práctica es arriesgado. Después de todo, la solución es arbitrariamente sensible a los valores de : un solo valor de alto apalancamiento alejará las estimaciones de un ajuste decente simplemente para imponer la restricción. Por lo tanto, como mínimo, este procedimiento debe ir acompañado de una cuidadosa prueba de bondad de ajuste a los datos.

Z

$\mathbf Z$

— whuber

@whuber Tienes razón. Entonces, OP, camina con cuidado aquí.

— Alecos Papadopoulos