¿El teorema de Bayes es válido para las expectativas?

18

¿Es cierto que para dos variables aleatorias y , $A$ $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics

— tomka
fuente

3

Hmm ... no creo que esos dos lados sean equivalentes

— Jon

66

Como se señaló en las respuestas, la pregunta carece de significado probabilístico debido a la integración de variables aleatorias en un lado que son las variables condicionantes en el otro lado.

— Xi'an

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ El resultado conjeturado es trivialmente verdadero para variables aleatorias independientes y con medios distintos de cero.

(1)

$(1)$

A

$A$

B

$B$

Si , entonces el lado derecho de implica una división por y entonces tiene sentido. Tenga en cuenta que si y son independientes o no, no es relevante. $E[B]=0$ $(1)$ $0$ $(1)$ $A$ $B$

En general , no se cumple para las variables aleatorias dependientes, pero se pueden encontrar ejemplos específicos de y satisfacen . Tenga en cuenta que debemos continuar insistiendo en que , de lo contrario, el lado derecho de tiene sentido. Tenga en cuenta que es una variable aleatoria que resulta ser una función de la variable aleatoria , digamos mientras que es una variable aleatoria que es una función de variable aleatoria , digamos $(1)$ $A$ $B$ $(1)$ $E[B]\neq 0$ $(1)$ $E[A\mid B]$ $B$ $g(B)$ $E[B\mid A]$ $A$ $h(A)$ . Entonces, es similar a preguntar si $(1)$

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ puede ser una declaración verdadera, y obviamente la respuesta es que no puede ser un múltiplo de en general.

g (B)

$g(B)$

h (A)

$h(A)$

Que yo sepa, solo hay dos casos especiales donde puede sostenerse. $(1)$

Como se señaló anteriormente, para independientes variables aleatorias y , y son degenerados variables aleatorias (llamadas constantes por gente estadísticamente-analfabetas) que la igualdad de y , respectivamente, y por lo que si , tenemos igualdad en . $A$ $B$ $g(B)$ $h(A)$ $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
En el otro extremo del espectro desde la independencia, suponga que donde es una función invertible y, por lo tanto, y son enteramente Variables aleatorias dependientes. En este caso, y entonces convierte en que se mantiene exactamente cuando donde puede ser cualquiera Número real distinto de cero. Por lo tanto, cumple cuando es un múltiplo escalar de y, por supuesto, $A=g(B)$ $g(\cdot)$ $A=g(B)$ $B=g^{-1}(A)$
$E [A ∣ B] = g (B), E [B ∣ A] = g^{- 1} (A) = g^{- 1} (g (B)) = B$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ $(1)$ $g (B) \overset{?}{=} B \frac{E [A]}{E [B]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ $g(x) = \alpha x$ $\alpha$ $(1)$ $A$ $B$ $E[B]$ debe ser distinto de cero (véase la respuesta de Michael Hardy ). El desarrollo anterior muestra que debe ser una función lineal y que no puede sostenerse para funciones afines con . Sin embargo, tenga en cuenta que Alecos Papadopolous en su respuesta y sus comentarios a continuación afirman que si es una variable aleatoria normal con una media distinta de cero, entonces para valores específicos de y que proporciona, y satisfacer $g(x)$ $(1)$ $g(x) = \alpha x + \beta$ $\beta \neq 0$ $B$ $\alpha$ $\beta\neq 0$ $A=\alpha B+\beta$ $B$ $(1)$ . En mi opinión, su ejemplo es incorrecto.

En un comentario sobre esta respuesta, Huber sugirió considerar la igualdad conjeturada simétrica cuál de por supuesto siempre se cumple para las variables aleatorias independientes, independientemente de los valores de y y para los múltiplos escalares también. Por supuesto, más trivialmente, cumple para cualquier variable aleatoria media cero y (independiente o dependiente, escalar múltiple o no; ¡no importa!): es suficiente por la igualdad en . Por lo tanto, podría no ser tan interesante como

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$ como tema de discusión.

— Dilip Sarwate
fuente

99

+1. Para ser generoso, la pregunta podría interpretarse como si , donde desaparece la cuestión de la división por cero.

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

— whuber

1

@whuber Gracias. Mi edición aborda la pregunta más general sobre si es posible tener .

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

— Dilip Sarwate

11

El resultado es falso en general, veamos eso en un ejemplo simple. Deje tener una distribución binomial con parámetros y tienen la Distribución beta con parámetros , que es, un modelo bayesiano con el conjugado anterior. Ahora solo calcule los dos lados de su fórmula, el lado izquierdo es , mientras que el lado derecho es $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$ y ciertamente no son iguales.

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

— kjetil b halvorsen
fuente

2

El valor condicional esperado de una variable aleatoria dado el evento de que es un número que depende de qué número es. Así que llámalo A continuación, el valor esperado condicional es una variable aleatoria cuyo valor está completamente determinado por el valor de la variable aleatoria . Así es una función de y $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ es una función de . $\operatorname{E}(B\mid A)$ $A$

El cociente es solo un número. $\operatorname{E}(A)/\operatorname{E}(B)$

Entonces, un lado de su igualdad propuesta está determinado por y el otro por , por lo que generalmente no pueden ser iguales. $A$ $B$

(Quizás debería agregar que pueden ser iguales en el caso trivial cuando los valores de y determinan entre sí, como cuando, por ejemplo, y , cuando $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$ Pero las funciones iguales entre sí solo en algunos puntosnosoniguales).

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

— Michael Hardy
fuente

¿Quieres decir que no son necesariamente iguales? ¿Quiero decir que PUEDEN ser iguales?

— BCLC

1

@BCLC: Son iguales solo en casos triviales. Y dos funciones iguales entre sí en algunos puntos y no en otros no son iguales.

— Michael Hardy

2

"Pero solo en ese caso trivial pueden ser iguales" (énfasis agregado) no es del todo correcto. Considere los

y

independientes con

. Entonces,

mientras

y así

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

— Dilip Sarwate

@DilipSarwate ¡Estaba a punto de decir eso jaja!

— BCLC

Edité su respuesta para agregar algunos detalles para el caso que señaló. Retroceda si no le gustan los cambios.

— Dilip Sarwate

-1

La expresión ciertamente no se sostiene en general. Por diversión, muestro a continuación que si y siguen conjuntamente una distribución normal bivariada y tienen medias distintas de cero, el resultado se mantendrá si las dos variables son funciones lineales entre sí y tienen el mismo coeficiente de variación ( la razón de la desviación estándar sobre la media) en términos absolutos. $A$ $B$

Para la normalidad conjunta tenemos

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

y queremos imponer

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Simplifique y luego , y reorganice para obtener $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Entonces, esta es la relación lineal que debe mantenerse entre las dos variables (por lo que son ciertamente dependientes, con un coeficiente de correlación igual a la unidad en términos absolutos) para obtener la igualdad deseada. ¿Qué implica?

Primero, también debe estar satisfecho de que

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

por lo tanto, no se impone ninguna otra recirculación sobre la media de (o de ), excepto que sean distintas de cero. También se debe satisfacer una relación para la varianza, $B$ $A$

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

which was to be shown.

Note that equality of the coefficient of variation in absolute terms, allows the variables to have different variances, and also, one to have positive mean and the other negative.

— Alecos Papadopoulos
fuente

1

Isn't this a convoluted way to

A = α B

$A = \alpha B$ where

α

$\alpha$ is some scalar?

— Matthew Gunn

1

@MatthewGunn Your comment is right on target. Normality has nothing to do with the matter. For random variables

A

$A$ and

B

$B$ such that

A = α B

$A = \alpha B$ ,

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$ and similarly,

E [B ∣ A] = B

$E[B\mid A] = B$ . Consequently, assuming that

E [B] \neq 0

$E[B]\neq 0$ ,

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$ No normality, no

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$ etc, and actually just a rehash of a comment in Michael Hardy's answer.

— Dilip Sarwate

If you write \text{Var} instaed of \operatorname{Var} then you'll see

a Var X

$a\text{Var}X$ and

a Var (X)

$a\text{Var}(X)$ instead of

a Var X

$a\operatorname{Var}X$ and

a Var (X) .

$a\operatorname{Var}(X).$ That's why the latter is standard usage.

— Michael Hardy

@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say

A = a B

$A=aB$ . (cc:@DilipSarwate)

— Alecos Papadopoulos

2

If

B

$B$ is a non-normal random variable with

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$ and

A = c B + d

$A=c B+d$ (and so

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$ ), then

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$ Now, if we want to have

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$ to equal

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$ , it must be that

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$ and so

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$ . So, for nonnormal

B

$B$ , the OP's conjectured result holds if

A = c B

$A=cB$ but not if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .Of course, as you have proved, the result holds for normal random variables if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .

— Dilip Sarwate