¿Cuál es la distribución de

¿Cuál es la distribución del coeficiente de determinación, o R al cuadrado, , en regresión múltiple univariada lineal bajo la hipótesis nula ?R 2 H 0 : β = $R^2$$H_0:\beta=0$

¿Cómo depende de la cantidad de predictores y la cantidad de muestras ? ¿Existe una expresión de forma cerrada para el modo de esta distribución?k n > $k$$n>k$

En particular, tengo la sensación de que para la regresión simple (con un predictor ) esta distribución tiene modo en cero, pero para la regresión múltiple el modo está en un valor positivo distinto de cero. Si esto es cierto, ¿hay una explicación intuitiva de esta "transición de fase"?$x$

---

Actualizar

Como @Alecos mostraron a continuación, la distribución de hecho picos a cero cuando y y no en cero cuando . Siento que debería haber una visión geométrica de esta transición de fase. Considere la vista geométrica de OLS: es un vector en , define un subespacio dimensional allí. OLS equivale a proyectar en este subespacio, y es el coseno cuadrado del ángulo entre y su proyección .k = 2 k = 3 k > 3 y R n X k y R 2 y $k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$$\mathbf y$$\hat{\mathbf y}$

Ahora, de @ respuesta de Alecos se deduce que si todos los vectores son al azar, a continuación, la distribución de probabilidad de este ángulo llegará a su máximo a para y , pero tendrá un modo en algún otro valor para . ¡¿Por qué?!90 ∘ k = 2 k = 3 < 90 ∘ k > $90^\circ$$k=2$$k=3$$<90^\circ$$k>3$

---

Actualización 2: Estoy aceptando la respuesta de @ Alecos, pero todavía tengo la sensación de que me estoy perdiendo alguna información importante aquí. Si alguien sugiere alguna otra visión (geométrica o no) sobre este fenómeno que lo haría "obvio", estaré encantado de ofrecer una recompensa.

Para la hipótesis específica (que todos los coeficientes regresores son cero, sin incluir el término constante, que no se examina en esta prueba) y bajo normalidad, lo sabemos (ver, por ejemplo, Maddala 2001, p. 155, pero tenga en cuenta que allí, $k$ cuenta el regresores sin el término constante, por lo que la expresión se ve un poco diferente) que la estadística

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ se distribuye como unavariable aleatoriacentral$F(k-1, n-k)$.

Tenga en cuenta que aunque no probamos el término constante, $k$ también lo cuenta.

Mover cosas,

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

Pero el lado derecho se distribuye como una distribución Beta , específicamente

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

El modo de esta distribución es

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

MODO FINITO Y ÚNICO
De la relación anterior podemos inferir que para que la distribución tenga un modo único y finito debemos tener

$$k\geq 3, n >5$$

Esto es consistente con el requisito general para una distribución Beta, que es

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

como se puede inferir de este hilo CV o leer aquí .
Tenga en cuenta que si { α = 1 , β = 1 } , obtenemos la distribución Uniforme, por lo que todos los puntos de densidad son modos (finitos pero no únicos). Lo que crea la pregunta: ¿Por qué, si k = 3 , n = 5 , R 2 se distribuye como U ( 0 , 1 ) ?$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

IMPLICACIONES
Suponga que tiene k = 5 regresores (incluida la constante) yn = 99 observaciones. Bastante agradable regresión, sin sobreajuste. Luego$k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

y diagrama de densidad

Intuición, por favor: esta es la distribución de R 2 bajo la hipótesis de que ningún regresor pertenece realmente a la regresión. Entonces, a) la distribución es independiente de los regresores, b) a medida que aumenta el tamaño de la muestra, su distribución se concentra hacia cero a medida que el aumento de la información reduce la variabilidad de la muestra pequeña que puede producir algún "ajuste", pero también c) como el número de regresores irrelevantes aumenta para un tamaño de muestra dado, la distribución se concentra hacia 1 , y tenemos el fenómeno de "ajuste espurio". $R^2$$1$

Pero también, tenga en cuenta cuán "fácil" es rechazar la hipótesis nula: en el ejemplo particular, para R 2 = 0.13 la probabilidad acumulada ya ha alcanzado 0.99 , por lo que un R 2 > 0.13 obtenido rechazará el nulo de "regresión insignificante" en nivel de significancia 1 %.$R^2=0.13$$0.99$$R^2>0.13$$1$

APÉNDICE
Para responder al nuevo problema con respecto al modo de distribución de R 2 , puedo ofrecer la siguiente línea de pensamiento (no geométrica), que lo vincula al fenómeno del "ajuste espurio": cuando ejecutamos mínimos cuadrados en un conjunto de datos , esencialmente resolvemos un sistema de n ecuaciones lineales con k incógnitas (la única diferencia de las matemáticas de la escuela secundaria es que en aquel entonces llamamos "coeficientes conocidos" lo que en regresión lineal llamamos "variables / regresores", "desconocido x" lo que ahora llamamos "coeficientes desconocidos" y "términos constantes", lo que conocemos como "variable dependiente"). Mientras k < $R^2$$n$$k$$k<n$el sistema está sobreidentificado y no hay una solución exacta, solo aproximada, y la diferencia surge como "varianza inexplicable de la variable dependiente", que es capturada por 1 - R 2 . Si k = n, el sistema tiene una solución exacta (suponiendo independencia lineal). En el medio, a medida que aumentamos el número de k , reducimos el "grado de sobreidentificación" del sistema y nos "movemos hacia" la única solución exacta. Bajo este punto de vista, tiene sentido por qué R 2 aumenta espuriosamente con la adición de regresiones irrelevantes y, en consecuencia, por qué su modo se mueve gradualmente hacia 1 , a medida que k aumenta para$1-R^2$$k=n$$k$$R^2$$1$$k$n .$n$

No rederive la B e t a ( k - 12 ,n - k2 )distribución en la excelente respuesta de @ Alecos (es un resultado estándar, veaaquípara otra buena discusión) pero quiero completar más detalles sobre las consecuencias. En primer lugar, ¿cómo se ve la distribución nula deR2para un rango de valores denyk? El gráfico en la respuesta de @ Alecos es bastante representativo de lo que ocurre en las regresiones múltiples prácticas, pero a veces la percepción se obtiene más fácilmente de casos más pequeños. He incluido la media, el modo (donde existe) y la desviación estándar. El gráfico / tabla merece un buen globo ocular: seve mejor a tamaño completo. Podría haber incluido menos facetas, pero el patrón habría sido menos claro; He adjuntado$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$Rcódigo para que los lectores puedan experimentar con diferentes subconjuntos de n y k .$n$$k$

Valores de parámetros de forma

El esquema de color del gráfico indica si cada parámetro de forma es menor que uno (rojo), igual a uno (azul) o más de uno (verde). El lado izquierdo muestra el valor de α mientras que β está a la derecha. Como α = k - $\alpha$$\beta$2 , su valor aumenta en progresión aritmética por una diferencia común de$\alpha = \frac{k-1}{2}$2 a medida que nos movemos hacia la derecha de una columna a otra (agreguemos un regresor a nuestro modelo) mientras que, paranfijo,β=n-$\frac{1}{2}$$n$2 disminuye en$\beta = \frac{n-k}{2}$2 . El totalα+β=n-$\frac{1}{2}$2 se fija para cada fila (para un tamaño de muestra dado). Si en cambio arreglamosky nos movemos hacia abajo en la columna (aumentamos el tamaño de la muestra en 1), entoncesαpermanece constante yβaumenta en$\alpha + \beta = \frac{n-1}{2}$$k$$\alpha$$\beta$2 . En términos de regresión,αes la mitad del número de regresores incluidos en el modelo, yβes la mitad de los grados residuales de libertad. Para determinar la forma de la distribución, estamos particularmente interesados ​​en dóndeαoβ soniguales.$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

El álgebra es sencillo para α : tenemos k - $\alpha$2 =1,entoncesk=3. De hecho, esta es la única columna del gráfico de facetas que se llena de azul a la izquierda. De manera similar,α<1parak<3(lacolumnak=2es roja a la izquierda) yα>1parak>3(desde lacolumnak=4 enadelante, el lado izquierdo es verde).$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

Para β = 1 tenemos n - $\beta=1$2 =1 por lotantok=n-2. Observe cómo estos casos (marcados con un lado azul a la derecha) cortan una línea diagonal a través del diagrama de facetas. Paraβ>1obtenemosk<n-2(las gráficas con un lado verde a la izquierda se encuentran a la izquierda de la línea diagonal). Paraβ<1necesitamosk>n-2, que involucra solo los casos más a la derecha en mi gráfico: enn=ktenemosβ=0y la distribución es degenerada, pero$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$= k - 1 donde β = $n=k-1$2 se traza (lado derecho en rojo).$\beta = \frac{1}{2}$

Como el PDF es f ( x ;α ,β ) ∝ x α - 1 ( 1 - x ) β - 1 , está claro que si (y solo si) α < 1, entonces f ( x ) → ∞ como x → 0 . Podemos ver esto en el gráfico: cuando el lado izquierdo está sombreado en rojo, observe el comportamiento en 0. De manera similar cuando β < 1 entonces f ( x ) → ∞ como x → 1 . ¡Mira donde el lado derecho es rojo!$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

Simetrías

Una de las características más llamativas del gráfico es el nivel de simetría, pero cuando se trata de la distribución Beta, ¡esto no debería ser sorprendente!

La distribución Beta en sí es simétrica si α = β . Para nosotros esto ocurre si n = 2 k - 1 que identifica correctamente los paneles ( k = 2 , n = 3 ) , ( k = 3 , n = 5 ) , ( k = 4 , n = 7 ) y ( k = 5 , n = 9 $\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$. La medida en que la distribución es simétrica a través de R 2 = 0.5 depende del número de las variables regresor incluimos en el modelo para ese tamaño de la muestra. Si k = n + $R^2 = 0.5$$k = \frac{n+1}{2}$ the distribution of $R^2$ is perfectly symmetric about 0.5; if we include fewer variables than that it becomes increasingly asymmetric and the bulk of the probability mass shifts closer to $R^2 = 0$; if we include more variables then it shifts closer to $R^2 = 1$. Remember that $k$ includes the intercept in its count, and that we are working under the null, so the regressor variables should have coefficient zero in the correctly specified model.

There is also an obviously symmetry between distributions for any given $n$, i.e. any row in the facet grid. For example, compare $(k=3, n=9)$ with $(k=7, n=9)$. What's causing this? Recall that the distribution of $\mathrm{Beta}(\alpha, \beta)$ is the mirror image of $\mathrm{Beta}(\beta, \alpha)$ across $x=0.5$. Now we had $\alpha_{k,n} = \frac{k-1}{2}$ and $\beta_{k,n} = \frac{n-k}{2}$. Consider $k'=n-k+1$ and we find:

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

So this explains the symmetry as we vary the number of regressors in the model for a fixed sample size. It also explains the distributions that are themselves symmetric as a special case: for them, $k' = k$ so they are obliged to be symmetric with themselves!

This tells us something we might not have guessed about multiple regression: for a given sample size $n$, and assuming no regressors have a genuine relationship with $Y$, the $R^2$ for a model using $k-1$ regressors plus an intercept has the same distribution as $1 - R^2$ does for a model with $k-1$ residual degrees of freedom remaining.

Special distributions

When $k=n$ we have $\beta=0$, which isn't a valid parameter. However, as $\beta \to 0$ the distribution becomes degenerate with a spike such that $\mathsf{P}(R^2 = 1)=1$. This is consistent with what we know about a model with as many parameters as data points - it achieves perfect fit. I haven't drawn the degenerate distribution on my graph but did include the mean, mode and standard deviation.

When $k=2$ and $n=3$ we obtain $\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$ which is the arcsine distribution. This is symmetric (since $\alpha = \beta$) and bimodal (0 and 1). Since this is the only case where both $\alpha < 1$ and $\beta < 1$ (marked red on both sides), it is our only distribution which goes to infinity at both ends of the support.

The $\mathrm{Beta}(1, \, 1)$ distribution is the only Beta distribution to be rectangular (uniform). All values of $R^2$ from 0 to 1 are equally likely. The only combination of $k$ and $n$ for which $\alpha = \beta =1$ occurs is $k=3$ and $n=5$ (marked blue on both sides).

The previous special cases are of limited applicability but the case $\alpha > 1$ and $\beta=1$ (green on left, blue on right) is important. Now $f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$ so we have a power-law distribution on [0, 1]. Of course it's unlikely we'd perform a regression with $k=n-2$ and $k>3$, which is when this situation occurs. But by the previous symmetry argument, or some trivial algebra on the PDF, when $k=3$ and $n > 5$, which is the frequent procedure of multiple regression with two regressors and an intercept on a non-trivial sample size, $R^2$ will follow a reflected power law distribution on [0, 1] under $H_0$. This corresponds to $\alpha=1$ and $\beta>1$ so is marked blue on left, green on right.

You may also have noticed the triangular distributions at $(k=5,n=7)$ and its reflection $(k=3,n=7)$. We can recognise from their $\alpha$ and $\beta$ that these are just special cases of the power-law and reflected power-law distributions where the power is $2-1=1$.

Mode

If $\alpha>1$ and $\beta>1$, all green in the plot, $f(x; \, \alpha, \, \beta)$ is concave with $f(0)=f(1)=0$, and the Beta distribution has a unique mode $\frac{\alpha-1}{\alpha+\beta-2}$. Putting these in terms of $k$ and $n$, the condition becomes $k>3$ and $n>k+2$ while the mode is $\frac{k-3}{n-5}$.

All other cases have been dealt with above. If we relax the inequality to allow $\beta=1$, then we include the (green-blue) power-law distributions with $k=n-2$ and $k>3$ (equivalently, $n>5$). These cases clearly have mode 1, which actually agrees with the previous formula since $\frac{(n-2)-3}{n-5}=1$. If instead we allowed $\alpha=1$ but still demanded $\beta>1$, we'd find the (blue-green) reflected power-law distributions with $k=3$ and $n>5$. Their mode is 0, which agrees with $\frac{3-3}{n-5}=0$. However, if we relaxed both inequalities simultaneously to allow $\alpha=\beta=1$, we'd find the (all blue) uniform distribution with $k=3$ and $n=5$, which does not have a unique mode. Moreover the previous formula can't be applied in this case, since it would return the indeterminate form $\frac{3-3}{5-5}=\frac{0}{0}$.

When $n=k$ we get a degenerate distribution with mode 1. When $\beta < 1$ (in regression terms, $n=k-1$ so there is only one residual degree of freedom) then $f(x) \to \infty$ as $x \to 1$, and when $\alpha < 1$ (in regression terms, $k=2$ so a simple linear model with intercept and one regressor) then $f(x) \to \infty$ as $x \to 0$. These would be unique modes except in the unusual case where $k=2$ and $n=3$ (fitting a simple linear model to three points) which is bimodal at 0 and 1.

Mean

The question asked about the mode, but the mean of $R^2$ under the null is also interesting - it has the remarkably simple form $\frac{k-1}{n-1}$. For a fixed sample size it increases in arithmetic progression as more regressors are added to the model, until the mean value is 1 when $k=n$. The mean of a Beta distribution is $\frac{\alpha}{\alpha+\beta}$ so such an arithmetic progression was inevitable from our earlier observation that, for fixed $n$, the sum $\alpha+\beta$ is constant but $\alpha$ increases by 0.5 for each regressor added to the model.

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

Code for plots

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)