Calcular la expectativa matemática del coeficiente de correlación o en regresión lineal

Estoy volviendo a publicar una pregunta de math.stackexchange.com , creo que la respuesta actual en math.se no es correcta.

Seleccione números de un conjunto \ {1,2, ..., U \} , y_i es el número i seleccionado, y x_i es el rango de y_i en los n números. La selección es sin reemplazo. n es siempre menor que T . El rango es el orden del número a después de que los n números se ordenan en orden ascendente.$n$$\{1,2,...,U\}$$y_i$$i$$x_i$$y_i$$n$$n$$U$$n$

Podemos obtener $n$ puntos de datos $(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$ , y se puede encontrar una mejor línea de ajuste para estos puntos de datos por regresión lineal. $r_{xy}$ (coeficiente de correlación) es la bondad de la línea de ajuste, quiero calcular $\mathbb{E}(r_{xy})$ o $\mathbb{E}(r_{xy}^2)$ (correlación de determinación) .

Si no se puede calcular el $\mathbb{E}[r_{xy}]$ , una estimación o límite inferior todavía está bien.

Actualizado: Al calcular el coeficiente de correlación de la muestra utilizando datos generados aleatoriamente, podemos ver que $r_{xy}$ está bastante cerrado a 1, por lo que quiero probarlo desde el punto de vista teórico, o teóricamente decir que los datos generados por el método anterior son muy lineal.

Actualizado: ¿Es posible obtener la distribución del coeficiente de correlación de la muestra?

Reorganizar el problema en términos de nuevas variables, de manera que . Luego tenemos , como señaló @whuber en los comentarios. Por lo tanto, está regresando efectivamente en , y . Por lo tanto, si podemos resolver la distribución marginal para , y mostrar que es básicamente lineal en el problema está solucionado y tendremos .$1\leq z_1<z_2<\dots<z_n\leq U$$(x_i,y_i)=(x_i,z_{x_i})$$z_j$$j$$r_{xy}=r_{xz}$$z_j$$j$$r_{xy}\sim 1$

Primero necesitamos la distribución conjunta para . Esto es bastante simple, después de que tiene la solución, pero descubrí que no era sencillo antes de hacer los cálculos. Solo una breve lección sobre cómo hacer que las matemáticas valgan la pena, por lo que presentaré primero las matemáticas y luego la respuesta fácil.$z_1,\dots,z_n$

Ahora, la distribución conjunta original es . Las variables cambiantes simplemente vuelven a etiquetar las cosas para probabilidades discretas, por lo que la probabilidad sigue siendo constante. Sin embargo, el etiquetado no es 1 a 1, por lo que no podemos simplemente escribir . En cambio, tenemos$p(y_1,\dots,y_n)\propto 1$$p(z_1,\dots,z_n)=\frac{(U-n)!}{U!}$

$$\begin{array}\\p(z_1,\dots,z_n)=\frac{1}{C} & 1\leq z_1<z_2<\dots<z_n\leq U\end{array}$$

Y podemos encontrar por normalización $C$

$$C=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}\sum_{z_1=1}^{z_2-1}(1)=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}(z_2-1)$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_3=2}^{z_4-1}\frac{(z_3-1)(z_3-2)}{2}=\sum_{z_n=n}^{U}\dots\sum_{z_4=4}^{z_5-1}\frac{(z_4-1)(z_4-2)(z_4-3)}{(2)(3)}$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_{j}=j}^{z_{j+1}-1}{z_j-1 \choose j-1}={U \choose n}$$

Lo que muestra que la relación de reetiquetado es igual a - para cada hay valores. Tiene sentido porque cualquier permutación de las en conduce al mismo conjunto de valores clasificados . Ahora, la distribución marginal , repetimos anteriormente pero con la suma sobre caída, y un rango diferente de suma para el resto, es decir, los mínimos cambian de a , y obtenemos:$\frac{(U-n)!}{U!}{U \choose n}=\frac{1}{n!}$$(z_1,\dots,z_n)$$n!$ $(y_1,\dots,y_n)$$y_i$$z_i$$z_1$$z_1$$(2,\dots,n)$$(z_1+1,\dots,z_1+n-1)$

$$p(z_1)=\sum_{z_n=z_1+n-1}^{U}\;\;\sum_{z_{n-1}=z_1+n-2}^{z_n-1}\dots\sum_{z_2=z_1+1}^{z_3-1}p(z_1,z_2,\dots,z_n)=\frac{{U-z_1 \choose n-1}}{{U \choose n}}$$

Con soporte . Esta forma, combinada con un poco de intuición, muestra que la distribución marginal de cualquier puede por:$z_1\in\{1,2,\dots,U+1-n\}$$z_j$

1. elegir valores por debajo de , lo que se puede hacer de (si );$j-1$$z_j$${z_j-1\choose j-1}$$z_j\geq j$
2. eligiendo el valor , que se puede hacer de 1 manera; y$z_j$
3. elegir valores por encima de que se puede hacer de (si )$n-j$$z_j$${U-z_j\choose n-j}$$z_j\leq U+j-n$

Este método de razonamiento se generalizará con esfuerzo a distribuciones conjuntas, como (que puede usarse para calcular el valor esperado de la covarianza de la muestra si lo desea). Por lo tanto tenemos:$p(z_j,z_k)$

$$\begin{array}{c c}\\p(z_j)=\frac{{z_j-1\choose j-1}{U-z_j\choose n-j}}{{U \choose n}} & j\leq z_j\leq U+j-n \\p(z_j,z_k)=\frac{{z_j-1\choose j-1}{z_k-z_j-1 \choose k-j-1}{U-z_k\choose n-k}}{{U \choose n}} & j\leq z_j\leq z_k+j-k\leq U+j-n \end{array}$$

Ahora el marginal es el pdf de una distribución hipergeométrica negativa con parámetros (en términos de la notación del artículo). Ahora esto es claro, no lineal exactamente en , pero la expectativa marginal para es$k=j,r=n,N=U$$j$$z_j$

$$E(z_j)=j\frac{U+1}{n+1}$$

De hecho, esto es lineal en , y cabría esperar un coeficiente beta de partir de la regresión y la intersección de cero.$j$$\frac{U+1}{n+1}$

ACTUALIZAR

Paré mi respuesta un poco antes. Ahora he completado con suerte una respuesta más completa

Dejar y , el cuadrado esperado de La covarianza muestral entre y viene dada por:$\overline{j}=\frac{n+1}{2}$$\overline{z}=\frac{1}{n}\sum_{j=1}^{n}z_j$$j$$z_j$

$$E[s_{xz}^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})(z_j-\overline{z})\right]^2$$ $$=\frac{1}{n^2}\left[\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)+2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)\right]$$

Entonces necesitamos , donde y (usando la fórmula en el archivo pdf). Entonces la primera suma se convierte$E(z_j^2)=V(z_j)+E(z_j)^2=Aj^2+Bj$$A=\frac{(U+1)(U+2)}{(n+1)(n+2)}$$B=\frac{(U+1)(U-n)}{(n+1)(n+2)}$

$$\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)=\sum_{j=1}^{n}(j^2-2j\overline{j}+\overline{j}^2)(Aj^2+Bj)$$ $$=\frac{n(n-1)(U+1)}{120}\bigg( U(2n+1)+(3n-1)\bigg)$$

También necesitamos . $E(z_jz_k)=E[z_j(z_k-z_j)]+E(z_j^2)$

$$E[z_j(z_k-z_j)]=\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}z_j(z_k-z_j) p(z_j,z_k)$$ $$=j(k-j)\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}\frac{{z_j\choose j}{z_k-z_j \choose k-j}{U-z_k\choose n-k}}{{U \choose n}}=j(k-j)\sum_{z_k=k}^{U+k-n}\frac{{z_k+1 \choose k+1}{U+1-(z_k+1)\choose n-k}}{{U \choose n}}$$ $$=j(k-j)\frac{{U+1\choose n+1}}{{U \choose n}}=j(k-j)\frac{U+1}{n+1}$$ $$\implies E(z_jz_k)=jk\frac{U+1}{n+1}+j^2\frac{(U+1)(U-n)}{(n+1)(n+2)}+j\frac{(U+1)(U-n)}{(n+1)(n+2)}$$

Y la segunda suma es:

$$2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)$$ $$=\frac{n(U+1)(n-1)}{720(n+2)}\bigg(6(U-n)(n^3-2n^2-9n-2) + (n+2)(5 n^3- 24 n^2- 35 n +6)\bigg)$$

Entonces, después de algunas manipulaciones bastante tediosas, obtienes el valor esperado de la covarianza al cuadrado de:

$$E[s_{xz}^2]=\frac{(n-1)(n-2)U(U+1)}{120}-\frac{(U+1)(n-1)(n^3+2n^2+11n+22)}{720(n+2)}$$

Ahora si tenemos , entonces el primer término domina, ya que es , mientras que el segundo término es . Podemos mostrar que el término dominante está bien aproximado por , y tenemos otra razón teórica por la cual la correlación de Pearson está muy cerca de (más allá del hecho de que ).$U>>n$$O(U^2n^2)$$O(Un^3)$$E[s_{x}^2s_{z}^2]$$1$$E(z_j)\propto j$

Ahora la varianza muestral esperada de es solo la varianza muestral, que es . La varianza de muestra esperada para viene dada por:$j$$s_x^2=\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})^2=\frac{(n+1)(n-1)}{12}$$z_j$

$$E[s_z^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(z_j-\overline{z})^2\right]=\frac{1}{n}\sum_{j=1}^{n}E(z_j^2)-\left[\frac{1}{n}\sum_{j=1}^{n}E(z_j)\right]^2$$ $$=\frac{A(n+1)(2n+1)}{6}+\frac{B(n+1)}{2}-\frac{(U+1)^2}{4}$$ $$=\frac{(U+1)(U-1)}{12}$$

Combinando todo junto y notando que , tenemos:$E[s_x^2s_z^2]=s_x^2E[s_z^2]$

$$E[s_x^2s_z^2]=\frac{(n+1)(n-1)(U+1)(U-1)}{144}\approx \frac{(n-1)(n-2)U(U+1)}{120}\approx E[s_{xz}^2]$$

Que es aproximadamente lo mismo que$E[r_{xz}^2]\approx 1$

Si sólo desea mostrar debe ser cercano a 1, y calcular un límite inferior para ello, es sencillo, porque eso significa que para determinado y sólo es necesario para maximizar la varianza de los residuos. Esto se puede hacer exactamente de cuatro maneras simétricas. Los dos extremos (correlaciones más bajas y más altas posibles) se ilustran para .$r^2_{xy}$$U$$n$$U=20, n=9$

Para valores grandes de y valores apropiados de , realidad puede acercarse a 0. Por ejemplo, con y valores muy grandes de , En el peor de los casos.$U$$n$$r^2_{xy}$$n=100$$U \gg n$$r^2_{xy} \sim 0.03$