Regresión cuantil: función de pérdida

Estoy tratando de entender la regresión cuantil, pero una cosa que me hace sufrir es la elección de la función de pérdida.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

Sé que el mínimo de la expectativa de es igual al -quantile, pero ¿cuál es la razón intuitiva para comenzar con esta función? No veo la relación entre minimizar esta función y el cuantil. ¿Alguien me lo puede explicar?τ $\rho_\tau(y-u)$$\tau\%$

Entiendo esta pregunta como pedir una idea de cómo se podría llegar a una función de pérdida que produzca un cuantil dado como un minimizador de pérdidas, sin importar cuál sea la distribución subyacente. No sería satisfactorio, entonces, simplemente repetir el análisis en Wikipedia o en otro lugar que muestre que esta función de pérdida en particular funciona.

Comencemos con algo familiar y simple.

Lo que estamos hablando es la búsqueda de una "localización" respecto a una distribución o conjunto de datos . Es bien sabido, por ejemplo, que la media minimiza el residual al cuadrado esperado; es decir, es un valor para el cual F ˉ $x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

Es lo más pequeño posible. He usado esta notación para recordarnos que se deriva de una pérdida , que está determinada por , pero lo más importante depende del número .$\mathcal{L}$ˉ $F$$\bar x$

La forma estándar de mostrar que minimiza cualquier función comienza demostrando que el valor de la función no disminuye cuando cambia un poco. Tal valor se llama un punto crítico de la función. x $x^{*}$$x^{*}$

¿Qué tipo de función de pérdida daría como resultado un punto crítico ? La pérdida por ese valor seríaF - 1 ( α $\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

Para que este sea un punto crítico, su derivada debe ser cero. Como solo estamos tratando de encontrar alguna solución, no haremos una pausa para ver si las manipulaciones son legítimas: planearemos verificar los detalles técnicos (como si realmente podemos diferenciar , etc. ) al final. Así$\Lambda$

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

En el lado izquierdo, el argumento de es negativo, mientras que en el lado derecho es positivo. Aparte de eso, tenemos poco control sobre los valores de estas integrales porque podría ser cualquier función de distribución. En consecuencia, nuestra única esperanza es hacer que dependa solo del signo de su argumento, y de lo contrario debe ser constante.F Λ ′$\Lambda$$F$$\Lambda^\prime$

Esto implica que será lineal por partes, potencialmente con diferentes pendientes a la izquierda y derecha de cero. Claramente, debería estar disminuyendo a medida que se acerca a cero; después de todo, es una pérdida y no una ganancia . Además, reescalar por una constante no cambiará sus propiedades, por lo que podemos sentirnos libres de establecer la pendiente de la izquierda a . Sea la pendiente de la derecha. Entonces simplifica aΛ - 1 τ > 0 ( 1 $\Lambda$$\Lambda$$-1$$\tau \gt 0$$(1)$

$$0 = \alpha - \tau (1 - \alpha),$$

de donde es la solución única , hasta un múltiplo positivo,

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

Multiplicar esta solución (natural) por , para borrar el denominador, produce la función de pérdida presentada en la pregunta.$1-\alpha$

Claramente, todas nuestras manipulaciones son matemáticamente legítimas cuando tiene esta forma. $\Lambda$

La forma en que se expresa esta función de pérdida es agradable y compacta, pero creo que es más fácil de entender reescribiéndola como

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

Si desea tener una idea intuitiva de por qué minimizar esta función de pérdida produce el th cuantil, es útil considerar un ejemplo simple. Sea una variable aleatoria uniforme entre 0 y 1. Elija también un valor concreto para , digamos, .$\tau$$X$$\tau$$0.25$

Entonces, la pregunta es ¿por qué esta función de pérdida se minimizaría en ? Obviamente, hay una masa tres veces mayor en la distribución uniforme a la derecha de que a la izquierda. Y la función de pérdida pondera los valores mayores que este número en solo un tercio del peso dado a valores menores que él. Por lo tanto, es algo intuitivo que las escalas estén equilibradas cuando el th cuantil se usa como punto de inflexión para la función de pérdida.$m=0.25$$m$$\tau$