¿Qué significa ortogonal en el contexto de las estadísticas?

60

En otros contextos, ortogonal significa "en ángulo recto" o "perpendicular".

¿Qué significa ortogonal en un contexto estadístico?

Gracias por cualquier aclaración.

descriptive-statistics

2

Gracias por la pregunta He preguntado una más general: qué es tan común entre todos los casos de ortogonalidad. También me interesó saber cómo la independencia estadística satisface esta propiedad. physics.stackexchange.com/questions/67506

— Val

55

Me sorprende que ninguna de las respuestas aquí mencione que generalmente se entiende en el sentido matemático de "álgebra lineal" de la palabra. Por ejemplo, cuando hablamos de un "conjunto ortogonal de variables" por lo general se entiende que para la matriz con el conjunto de variables . También se usa "ortonormal".

X^{T} X = I

$X^{T}X=I$

X

$X$

— probabilidadislogic

44

@probabilidad "Ortogonal" tiene significado para un espacio vectorial con una forma cuadrática : dos vectores y son ortogonales si y solo si . "Ortonormal" significa además que . Así, "ortogonal" y "ortonormal" no son sinónimos, ni están restringidos a matrices finitas. ( Por ejemplo , y pueden ser elementos de un espacio de Hilbert, como el espacio de funciones de valor complejo en utilizado en la mecánica cuántica clásica.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

— whuber

Este enlace podría ayudar a comprender la conexión (no) de ortogonalidad y correlación. alecospapadopoulos.wordpress.com/2014/08/16/…

— RBirkelbach

La creciente colección de respuestas diferentes (pero correctas) indica que este es un buen hilo de CW.

— whuber

-16

Significa que [las variables aleatorias X, Y] son 'independientes' entre sí. Las variables aleatorias independientes a menudo se consideran en 'ángulos rectos' entre sí, donde por 'ángulos rectos' se entiende que el producto interno de las dos es 0 (una condición equivalente del álgebra lineal).

Por ejemplo, en el plano XY, se dice que los ejes X e Y son ortogonales porque si el valor x de un punto dado cambia, digamos que va de (2,3) a (5,3), su valor y permanece igual (3), y viceversa. Por lo tanto, las dos variables son 'independientes'.

Ver también las entradas de Wikipedia para Independencia y Ortogonalidad.

— loco Joe
fuente

24

Debido a que la distinción entre correlación y falta de dependencia es importante, equiparar la ortogonalidad con la independencia no es algo bueno.

— whuber

Como ni OP ni answerer han estado activos durante más de un año, probablemente valga la pena editar esto para al menos hacerlo una respuesta clara . He intentado eso.

— Assad Ebrahim, el

1

Un contraejemplo común a esto dentro de las estadísticas es PCA vs. ICA, con PCA que impone la ortogonalidad y que ICA maximiza la independencia.

— jona

55

Para los moderadores: Es una pena que esta pregunta buena y muy popular, esté "atascada" con una respuesta que muchos piensan que sería mejor degradar (puntaje actual -4). Dado que tanto el OP como el respondedor no han estado activos durante más de un año, tal vez el cheque "aceptado" se pueda eliminar y la pregunta se deje "abierta". Las respuestas más completas a continuación hablan por sí mismas.

— Assad Ebrahim

1

Las modificaciones de @Assad no pueden eliminar la aceptación del OP. Esa es la provincia de la OP.

— Glen_b

33

No puedo hacer un comentario porque no tengo suficientes puntos, así que me veo obligado a decir lo que pienso como respuesta, por favor perdóname. Por lo poco que sé, no estoy de acuerdo con la respuesta seleccionada por @crazyjoe porque la ortogonalidad se define como

E [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Entonces:

Si con pdf simétrico, son dependientes pero ortogonales. $Y=X^2$

Si pero pdf cero para valores negativos, entonces dependen pero no son ortogonales. $Y=X^2$

Por lo tanto, la ortogonalidad no implica independencia.

— usuario497804
fuente

2

¿Cuál es el asterisco (estrella) en ?

Y^{*}

$Y^{*}$

— mugen

2

@mugen, probablemente indicando el complejo conjugado.

— A. Donda

Nota para uno mismo (y posiblemente para otros): creo que (para funciones de valor real que podemos eliminar el conjugado complejo (?)) Es el producto interno de las variables aleatorias e , definidas como expectativa del producto de sus pdf:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

— Antoni Parellada

21

Si X e Y son independientes, entonces son ortogonales. Pero lo contrario no es cierto como lo señala el ejemplo inteligente de user497804. Para las definiciones exactas, consulte

Ortogonal: las variables aleatorias de valor complejo y se denominan ortogonales si satisfacen $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Pág. 376, Probabilidad y procesos aleatorios por Geoffrey Grimmett y David Stirzaker)

Independiente: las variables aleatorias e son independientes si y solo si para todos $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

que, para variables aleatorias continuas, es equivalente a requerir que $f(x,y) = f_X(x)f_Y(y)$

(Página 99, Probabilidad y procesos aleatorios por Geoffrey Grimmett y David Stirzaker)

— Naresh
fuente

21

@Mien ya proporcionó una respuesta y, como señaló @whuber, ortogonal significa no correlacionado. Sin embargo, realmente deseo que la gente proporcione algunas referencias. Puede considerar útiles los siguientes enlaces, ya que explican el concepto de correlación desde una perspectiva geométrica.

La geometría de los vectores (ver p. 7)
Variables linealmente independientes, ortogonales y no correlacionadas
Representación gráfica de la correlación bidimensional en el espacio vectorial (puede no ser libre para usted)

— Bernd Weiss
fuente

1

El segundo enlace explicaba todo lo que quería saber. ¡Gracias! :)

— Lenar Hoyt

Real con valores variables aleatorias Xy Yno están correlacionados si y sólo si las variables centradas X-E(X)y Y-E(Y)son ortogonales. [ref]

— knedlsepp

1

@Bernd Los primeros dos enlaces no funcionan.

— abrumado

@sobre todo, supongo que este es el artículo al que apuntaba el segundo enlace.

— Josh O'Brien

8

Un sitio web de NIST (ref. A continuación) define ortogonal de la siguiente manera: "Un diseño experimental es ortogonal si los efectos de cualquier factor se equilibran (suman cero) entre los efectos de los otros factores".

En diseño estadístico, entiendo que ortogonal significa "no cofundado" o "no alias". Esto es importante al diseñar y analizar su experimento si desea asegurarse de que puede identificar claramente los diferentes factores / tratamientos. Si su experimento diseñado no es ortogonal, significa que no podrá separar por completo los efectos de los diferentes tratamientos. Por lo tanto, deberá realizar un experimento de seguimiento para desconfigurar el efecto. Esto se llamaría diseño aumentado o diseño comparativo.

La independencia parece ser una mala elección de palabras, ya que se utiliza en muchos otros aspectos del diseño y el análisis.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

— Chris
fuente

3

+1 para introducir un contexto de diseño experimental. La palabra "ortogonal" merece ser utilizada aquí porque en realidad es exactamente lo mismo que el concepto matemático: los vectores (columna) que representan los factores en el experimento, considerados como elementos de un espacio euclidiano, de hecho serán ortogonales (a la derecha ángulos, con un producto de punto cero) en un diseño ortogonal.

— whuber

2

Es muy probable que signifiquen "sin relación" si dicen "ortogonal"; Si dos factores son ortogonales (por ejemplo, en el análisis factorial), no están relacionados, su correlación es cero.

— Semblante
fuente

3

El coeficiente de correlación es (o es naturalmente interpretable como) el coseno de un ángulo. Cuando es cero, ¿cuál crees que es el ángulo? :-) ¡Sin correlación no significa sin relación!

— whuber

No digo que estés equivocado, pero ¿podrías darme un ejemplo de algo que no esté relacionado y relacionado? ¿o viceversa? No estoy seguro de entender la diferencia.

— Mien

Y sí, sé que ese ángulo sería 90 °. Un ángulo recto es ortogonal.

— Mien

55

Sea una variable aleatoria que tome valores en con igual probabilidad y sea . La correlación entre y es , pero está claro que están relacionados: es una función de .

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

— asumido normal

Ah si, gracias. Pero lo contrario no es posible, ¿verdad (si no hay una tercera variable o algo similar)?

— Mien

2

De acuerdo con http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , la independencia lineal es una condición necesaria para la ortogonalidad o la falta de correlación. Pero hay distinciones más finas, en particular, la ortogonalidad no es falta de correlación.

— user45059
fuente

1

$(X,Y)$ $X\cdot Y=0$

C o v (X - E [X], Y - E [Y]) = E [X \cdot Y] = E [0] = 0 ⟹ C o r r (X - E [X], Y - E [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

— Diogo
fuente

1

En econometría, el supuesto de ortogonalidad significa que el valor esperado de la suma de todos los errores es 0. Todas las variables de un regresor son ortogonales a sus términos de error actuales.

Matemáticamente, el supuesto de ortogonalidad es . $E(x_{i}·ε_{i}) = 0$

En términos más simples, significa que un regresor es "perpendicular" al término de error.

— Leopold W.
fuente

-2

Dos o más IV no relacionados (independientes) entre sí, pero ambos tienen una influencia en el DV. Cada IV por separado aporta un valor distinto al resultado, mientras que ambos o todos los IV también contribuyen de manera aditiva en la predicción de ingresos (ortogonal = influencia de IV no intersectante en un DV). Los IV no son correlacionales entre sí y generalmente se colocan en ángulo recto * ver el diagrama de Venn.

Ejemplo: Relación entre motivación y años de educación sobre ingresos.

IV = Años de educación IV = Motivación DV = Ingresos

https://onlinecourses.science.psu.edu/stat505/node/167

— Palmadita
fuente

-2

Las variables aleatorias relacionadas significan que las variables dicen que X e Y pueden tener cualquier relación; puede ser lineal o no lineal. La independencia y las propiedades ortogonales son las mismas si las dos variables están relacionadas linealmente.

— J Subramani
fuente

2

Esto perpetúa el error cometido por crazyjoe: la ortogonalidad no implica independencia a menos que las variables se distribuyan normalmente de manera conjunta.

— whuber