¿Cuál es la correlación si la desviación estándar de una variable es 0?

15

Según tengo entendido, podemos obtener la correlación normalizando la covarianza usando la ecuación

ρ_{i, j} = \frac{c o v (X_{i}, X_{j})}{σ_{i} σ_{j}}

$\rho_{i,j}=\frac{cov(X_i, X_j)}{\sigma_i \sigma_j}$

donde es la desviación estándar de. $\sigma_i=\sqrt{E[(X_i-\mu_i)^2]}$ $X_i$

Mi preocupación es ¿qué pasa si la desviación estándar es igual a cero? ¿Hay alguna condición que garantice que no puede ser cero?

Gracias.

correlation standard-deviation covariance

— chepukha
fuente

11

Ninguna variable que tenga una desviación estándar 0 podría estar correlacionada con otra variable (no constante). La correlación es una medida de cómo los valores grandes / pequeños en una variable corresponden a valores grandes / pequeños en otra variable: si una de las variables es igual a una constante con probabilidad 1 (una consecuencia de tener una desviación estándar 0), entonces puede ' Posiblemente proporcione información sobre si la otra variable es pequeña o grande. No sé cuál es la convención, pero parece que la correlación debería definirse como 0 en ese caso.

— Macro

Muchas gracias Macro. Creo que tu idea es la misma que la respuesta a continuación. Sin embargo, no pude votar tu comentario debido a la limitación de puntos. Gracias.

— chepukha

44

Ya ha aceptado una respuesta, por lo que escribiré solo un comentario. Si una variable aleatoria

tiene una desviación estándar

, entonces

para cualquier otra variable aleatoria

(ya que

con probabilidad

Y

$Y$

σ_{Y} = 0

$\sigma_Y = 0$

cov (X, Y) = E [(X - μ_{X}) (Y - μ_{Y})] = 0

$\text{cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]=0$

X

$X$

(Y - μ_{Y}) = 0

$(Y-\mu_Y)=0$

1

$1$ ) Por lo tanto, la definición del coeficiente de correlación

da la forma indeterminada

ρ_{X, Y} = \frac{cov (X, Y)}{σ_{X} σ_{Y}}

$\rho_{X,Y}=\frac{\text{cov}(X,Y)}{\sigma_X\sigma_Y}$

. Es convencionaldefinir

para que sea igual a

en este caso, y esto se puede defender sobre la base del valor límite de

como

etc.

\frac{0}{0}

$\frac{0}{0}$

ρ_{X, Y}

$\rho_{X,Y}$

0

$0$

ρ_{X, Y}

$\rho_{X,Y}$

σ_{Y} \to 0

$\sigma_Y \to 0$

— Dilip Sarwate

66

@Dilip, si es una respuesta, debería ser una respuesta. No debería importar si ya se acepta una respuesta.

— Andy W

1

@Dilip El problema con el

forma

es que incluso si se puede hacer que tenga un valor definido por medio de una operación de limitación, el valor depende decómose tome el límite. Por lo tanto, el argumento de que

es incompleto (y poco convincente). ¿Puede citar una fuente que adopte esta convención y la respalde con una razón válida?

\frac{0}{0}

$\frac{0}{0}$

ρ_{X, Y} = 0

$\rho_{X,Y}= 0$

— whuber

14

Es cierto que, si una de sus SD es 0, esa ecuación no está definida. Sin embargo, una mejor manera de pensar en esto es que si una de sus SD es 0, no hay correlación. En términos conceptuales laxos, una correlación le dice cómo se mueve una variable a medida que se mueve la otra variable. Una SD de 0 implica que la variable no se está 'moviendo'. Tendría que tener un vector de una constante, como rep(constant, n_times).

— gung - Restablece a Monica
fuente

Muchas gracias. Creo que eso tiene sentido. Es interesante que no haya visto ningún libro de texto que mencione ese caso.

— chepukha

@gung Entonces, ¿es esta una limitación en la definición del coeficiente de correlación? Quiero decir que la ecuación de correlación puede tener dos valores, uno es como se indica en la ecuación anterior y 0 cuando SD de una de las variables es 0.

— prashanth

@prashanth, supongo.

— gung - Restablece a Monica

2

La otra cosa a tener en cuenta son los supuestos subyacentes cuando hablamos de medias y desviaciones estándar y correlaciones.

Si estamos hablando de una muestra de datos, una suposición común es que los datos están (al menos aproximadamente) normalmente distribuidos, o pueden transformarse de manera tal que lo están (por ejemplo, a través de una transformación logarítmica). Si observa una desviación estándar de cero, hay dos escenarios: la desviación estándar es de hecho distinta de cero, pero muy pequeña y, por lo tanto, el conjunto de datos que tiene tiene muestras que están en el valor medio (esto podría suceder, por ejemplo). si está midiendo datos con un nivel de precisión aproximado); o el modelo está mal especificado.

En este segundo escenario, la desviación estándar y, en consecuencia, la correlación, es una medida sin sentido.

En términos más generales, las distribuciones subyacentes deben tener segundos momentos finitos y, por lo tanto, desviaciones estándar distintas de cero, para que la correlación sea un concepto válido.

— tdc
fuente

Vale la pena señalar que la pregunta original es sobre distribuciones (teóricas), no sobre datos.

— whuber

Si ese es el caso, una desviación estándar de cero implicaría una distribución degenerada con una medida solo en la media (es decir, la función constante) ... nuevamente, la desviación estándar solo tiene sentido, la distribución subyacente es normal. Si la desviación estándar es cero, el PDF del gaussiano no se define correctamente y, por lo tanto, no está permitido en el modelo.

— tdc

Me sorprende la aparición de gaussianos en tu comentario, Tom. Esto parece una restricción innecesaria. Requerir la existencia de un pdf también parece restrictivo (después de todo, ninguna distribución discreta tiene un pdf). Tenga en cuenta, también, que el SD está bien definido - "significativo" - siempre que el segundo momento sea finito, y esto incluye átomos de probabilidad (sus funciones "Dirac delta").

— whuber

Ok, estoy de acuerdo, probablemente era demasiado restrictivo, pero en general esto es lo que la gente quiere decir con SD. por ejemplo, de Wolfram: "La desviación estándar se puede definir para cualquier distribución con dos primeros momentos finitos, pero es más común suponer que la distribución subyacente es normal". Sin embargo, ¿entiende que si la DE = 0 para una de las variables, no se cumplen los supuestos básicos que subyacen al concepto estadístico de correlación?

— tdc

Sí, Tom, tu última declaración es acertada y la acepto con mucho gusto. Sin embargo, la idea que expresa no aparece muy prominentemente en su respuesta; si está allí, está oculto en las observaciones sobre distribuciones normales, registros, funciones delta y el enfoque en los datos en lugar de las distribuciones mismas. Por cierto, uno debe tener cuidado con las declaraciones estadísticas que aparecen en el sitio de Wolfram: está tan fuertemente orientado hacia las matemáticas que sus caracterizaciones sobre la práctica estadística pueden ser cuestionables. Aquí, está totalmente equivocado: el uso de SD va mucho más allá de la configuración de distribución normal.

— whuber

2

A correlation is the cosine of the angle between two vectors. To say that the standard deviation for Y is zero is the same as saying that the vector Y-mean(Y) is zero (or, more rigorously, that it represents zero in the appropriate vector space). So the question becomes "What can one say about the (cosine of the) angle between the zero vector and the vector X-mean(X)?". More generally, in any vector space with an inner product, what is meant by the angle between the zero vector and some other vector? There's only one answer to this, in my opinion, and that is that the concept of "angle" in this situation is meaningless, and so the concept of correlation in this situation is meaningless.

— David Epstein
fuente

0

Descargo de responsabilidad, me doy cuenta de que ya hay una respuesta de calidad aceptada, por lo que debería ser una respuesta, pero no tengo los puntos de experiencia para permitirla. @Dilip mencionó que puede definir la correlación como 0 para la convención, pero esto parece problemático ya que tendría una interpretación muy diferente de una correlación que es verdaderamente cero (con SD diferentes de cero). La pregunta original dice "si la SD de una variable es cero". Si nos detenemos y pensamos en la definición de 'variable', obtenemos un camino mucho más directo a la respuesta. Una variable con 0 SD no es una variable en absoluto, es una constante. Entonces, en ese caso, no tiene dos variables, por lo que conceptualmente no tiene sentido definir una correlación en absoluto.

— Skye Buckner-Petty
fuente

Si no tiene suficientes puntos para comentar, no debe comentar a través de las respuestas.

— Michael R. Chernick