¿Cómo discutir un diagrama de dispersión con múltiples líneas emergentes?

11

Hemos medido dos variables, y el diagrama de dispersión parece sugerir múltiples modelos "lineales". ¿Hay alguna forma de tratar de destilar esos modelos? Identificar otras variables independientes ha resultado ser difícil.

Diagrama de dispersión de las dos variables

Ambas variables están muy sesgadas a la izquierda (hacia los números pequeños), esta es una distribución esperada en nuestro dominio. La intensidad del punto representa la cantidad de puntos de datos (en una escala ) en este . $\log_{10}$ $<x,y>$

Alternativamente, ¿hay alguna manera de agrupar los puntos?

En nuestro campo, se afirma que estas dos variables se correlacionan linealmente. Estamos tratando de entender / explicar por qué no es el caso en nuestros datos.

(nota, tenemos 17 millones de puntos de datos)

actualización: gracias por todas las respuestas, aquí hay algunas aclaraciones solicitadas:

Ambas variables son solo enteras, lo que explica algunos de los patrones en el diagrama de dispersión del registro.
Afortunadamente, por definición, el valor mínimo de ambas variables es 1.
7 millones de puntos están en ("explicados" por el sesgo a la izquierda de los datos) $<3,1>$

Aquí están las parcelas solicitadas:

diagrama de dispersión log-log: Diagrama de dispersión en log log

(los espacios en blanco son causados por los valores enteros)

log-log polar: coordenadas polares $\theta = y$

Histograma de relación: Histograma de razón

$1/3$

linear-model scatterplot

— Davy Landman
fuente

2

(r, θ)

$(r,\theta)$

X

$X$

Y

$Y$

θ

$\theta$

θ

$\theta$

¿Hay razones involucradas en la obtención de Y y X? ¿Las variables que solo toman valores discretos están involucradas? ¿Cómo se ve como una trama log-log?

— Glen_b -Reinstate Monica

1

@whuber & Glen_b He agregado parcelas con esas transformaciones.

— Davy Landman

r

$r$

θ

$\theta$

θ

$\theta$

θ

$\theta$

@whuber He actualizado la trama, pon la theta en la y, ¿son estas las líneas que quieres decir?

— Davy Landman

7

$Y$ $X$ $Y/X$

$X/k$ $kX$ $k$

$Y = 0$ $\log(Y + \text{constant})$

Un punto de terminología: la asimetría en las estadísticas se describe con referencia a la cola que está más extendida. Eres libre de considerar esta terminología como al revés. Aquí ambas variables están sesgadas a valores altos o positivamente o con sesgo a la derecha.

$Y = 1$ $Y = 0$

Como antes, no recomendaría modelar diferentes franjas de manera diferente sin una razón científica para distinguirlas o tratarlas por separado. Deberías promediar más de lo que tienes. (Puede haber métodos conocidos con este tipo de datos para suprimir la discreción. Si las personas en su campo miden rutinariamente millones de puntos para cada parcela, es difícil creer que esto no se haya visto antes).

La correlación ciertamente debería ser positiva. Además de una prueba de significación formal, que aquí sería completamente inútil ya que las correlaciones minuciosas calificarán como significativas con este tamaño de muestra, si se declara fuerte es una cuestión de expectativas y estándares en su campo. Comparar su correlación cuantitativamente con los resultados de otros es un camino a seguir.

Detalle: la asimetría todavía se describe de manera incorrecta según la convención estadística. Estas variables están sesgadas a la derecha; esa jerga se ajusta cuando se mira un histograma con eje de magnitud horizontal y se observa que la asimetría se llama así por la cola más larga, no por la concentración con más valores.

— Nick Cox
fuente

Agregué el gráfico log-log e intenté ser más preciso sobre la asimetría.

— Davy Landman

4

\begin{aligned} Y_{i} & = α_{1} + β_{1} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_1 + \beta_1X_i + \epsilon_i \end{align}$

m^{t h}

$m^{th}$

\begin{aligned} Y_{i} & = α_{m} + β_{m} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_m + \beta_mX_i + \epsilon_i \end{align}$

M

$M$

m^{t h}

$m^{th}$

p_{m}

$p_m$

\sum_{m} p_{m} = 1

$\sum_m p_m =1$

$\epsilon$ $N(0,\sigma^2)$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} p_{m} \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M p_m\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

ϕ

$\phi$

3 M + 1

$3M+1$

\sum_{m} p_{m} = 1, p_{m} \geq 0

$\sum_m p_m=1,\; p_m\ge0$

α

$\alpha$

β

$\beta$

p_{m}

$p_m$

\frac{1}{M}

$\frac{1}{M}$

α

$\alpha$

β

$\beta$

$Z_i$ $p_m$ $p_m$ $Z_i$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} (\frac{e x p (δ_{m} + γ_{m} Z_{i})}{\sum_{m^{'}} e x p (δ_{m^{'}} + γ_{m^{'}} Z_{i})}) \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M \left(\frac{exp(\delta_m+\gamma_mZ_i)}{\sum_{m'} exp(\delta_{m'}+\gamma_{m'}Z_i)}\right)\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

$5M+1$ $5M-1$ $\delta, \gamma$

$M$

— Cuenta
fuente

2

M

$M$

2

He observado un comportamiento similar en algunos de mis conjuntos de datos. En mi caso, las líneas múltiples diferentes se debieron a un error de cuantización en uno de mis algoritmos de procesamiento.

Es decir, estamos analizando diagramas de dispersión de datos procesados, y el algoritmo de procesamiento tuvo algunos efectos de cuantificación, que causaron dependencias en los datos que se veían exactamente como usted tiene anteriormente.

La fijación de los efectos de cuantización hizo que nuestra salida se viera mucho más suave y menos agrupada.

En cuanto a su comentario de "correlación lineal". Lo que presentó es insuficiente para determinar si estos datos están correlacionados linealmente o no. Es decir, en algunos campos, un coeficiente de correlación de> 0.7 se considera una fuerte correlación lineal. Dado que la mayoría de sus datos están cerca del origen, es bastante concebible que sus datos estén correlacionados linealmente en relación con lo que diría la "sabiduría convencional". La correlación le dice muy poco sobre un conjunto de datos.

— John
fuente