¿Cómo funciona la regresión cuantil?


25

Espero obtener una explicación intuitiva y accesible de la regresión cuantil.

Digamos que tengo un conjunto de datos simple del resultado , y predictores .X 1 , X 2YX1,X2

Si, por ejemplo, ejecuto una regresión cuantil en .25, .5, .75 y obtengo .β0 0,.25,β1,.25...β2,.75

¿Se encuentran los valores simplemente ordenando los valores , y realizando una regresión lineal basada en los ejemplos que están en / cerca del cuantil dado?yβy

¿O todas las muestras contribuyen a las estimaciones , con pesos descendentes a medida que aumenta la distancia desde el cuantil?β

¿O es algo totalmente diferente? Todavía tengo que encontrar una explicación accesible.


3
Con respecto a las matemáticas, puede encontrar útiles estas dos respuestas: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/…
Andy

Respuestas:


21

Recomiendo Koenker y Hallock (2001, Journal of Economic Perspectives) y el libro de texto homónimo de Koenker .

  1. El punto de partida es la observación de que la mediana de un conjunto de datos minimiza la suma de los errores absolutos . Es decir, el cuantil del 50% es una solución a un problema de optimización particular (para encontrar el valor que minimiza la suma de los errores absolutos).
  2. A partir de esto, es fácil encontrar que cualquier -quantile es la solución a un problema de minimización específico, a saber, minimizar una suma de errores absolutos ponderados asimétricamente , con pesos que dependen de .τττ
  3. Finalmente, para dar el paso a la regresión, modelamos la solución a este problema de minimización como una combinación lineal de variables predictoras, por lo que ahora el problema es encontrar no un solo valor, sino un conjunto de parámetros de regresión.

Por lo tanto, su intuición es bastante correcta: todas las muestras contribuyen a las estimaciones , con pesos asimétricos que dependen del cuantil que apuntamos.τβτ


Con respecto a su punto 1), ¿no sería esto cierto suponiendo que Y esté distribuido simétricamente? Si Y está sesgado como {1, 1, 2, 4, 10}, la mediana 2 ciertamente no minimizaría el error absoluto. ¿La regresión cuantil siempre supone que Y está distribuido simétricamente? ¡Gracias!
Ben

1
@Ben: no, no se requiere simetría. El punto clave es que la mediana minimiza el error absoluto esperado . Si tiene una distribución discreta con valores 1, 2, 4, 10 y probabilidades 0.4, 0.2, 0.2, 0.2, entonces un resumen de 2 puntos minimiza el error absoluto esperado . Una simulación es solo unas pocas líneas de código R:foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")
S. Kolassa - Restablece a Mónica el

(Y sí, debería haber sido más claro en mi respuesta, en lugar de discutir "sumas".)
S. Kolassa - Restablecer a Mónica el

Derp. Qué estaba pensando. Esto tiene sentido ahora, gracias.
Ben

19

La idea básica de la regresión cuantil proviene del hecho de que el analista está interesado en la distribución de datos y no solo en la media de los datos. Comencemos con la media.

La regresión media ajusta una línea de la forma de a la media de los datos. En otras palabras, E ( Y | X = x ) = x β . Un enfoque general para estimar esta línea es usar el método de mínimos cuadrados, arg min β ( y - x β ) ( y - X β ) .y=Xβmi(YEl |X=X)=Xβargminβ(y-Xβ)(y-Xβ)

Por otro lado, la regresión mediana busca una línea que espere que la mitad de los datos estén en lados. En este caso, la función objetivo es donde | . El | Es la primera norma.argminβEl |y-XβEl |El |.El |

Extender la idea de mediana a resultados cuantiles en la regresión cuantil. La idea detrás es encontrar una línea en la que el porcentaje de datos esté más allá de eso.α

Aquí cometió un pequeño error, la regresión Q no es como encontrar un cuantil de datos y luego ajustar una línea a ese subconjunto (o incluso los bordes que son más desafiantes).

La regresión Q busca una línea que divida los datos en un grupo q un cuantil y los restos. Función objetivo, diciendo función de comprobación de Q-regresión es β alpha = arg min β { alpha | y - X β | I ( y > X β ) + ( 1 - α ) | y - X β | I ( y < X β ) } .α

β^α=argminβ{αEl |y-XβEl |yo(y>Xβ)+(1-α)El |y-XβEl |yo(y<Xβ)}.

Como puede ver, esta inteligente función objetivo no es más que traducir cuantil a un problema de optimización.

βα


Esta respuesta es brillante.
Jinhua Wang
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.