Algoritmo EM Problema de práctica


9

Este es un problema de práctica para un examen de mitad de período. El problema es un ejemplo de algoritmo EM. Tengo problemas con la parte (f). Enumero las partes (a) - (e) para completar y en caso de que haya cometido un error antes.

Supongamos que son variables aleatorias exponenciales independientes con tasa θ . Desafortunadamente, los valores reales de X no se observan, y solo observamos si los valores de X caen dentro de ciertos intervalos. Sea G 1 j = 1 { X j < 1 } , G 2 j = 1 { 1 < X j < 2 } y G 3 j = 1 {X1,,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2} paraj=1,...,n. Los datos observados consisten en( G 1 j , G 2 j , G 3 j ).G3j=1{Xj>2}j=1,,n(G1j,G2j,G3j)

(a) Indique la probabilidad de datos observados:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3j

(b) Proporcione la probabilidad de datos completa

L(θ|X,G)=j=1n(θeθxj)G1j(θeθxj)G2j(θeθxj)G3j

(c) Derive la densidad predictiva de la variable latente f(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) E-step. Dar la función Q(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

donde N1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) Dé expresiones para para r = 1 , 2 , 3 .E[Xj|Grj=1,θi]r=1,2,3

Enumeraré mis resultados, que estoy bastante seguro de que son correctos, pero las derivaciones serían un poco largas para esta pregunta que ya es muy extensa:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Esta es la parte en la que estoy atascado, y podría deberse a un error anterior:

(f) M-Step. Encuentre el que maximiza Q ( θ , θ i )θQ(θ,θi)

De la ley de la expectativa total tenemos Por lo tantoE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

θθ


θiθ[i](i)θ(i)iθi

1
i

Respuestas:


5

θXGrjG

En la parte (d) debería tomarse la expectativa de la probabilidad de registro de datos completa, no la probabilidad de registro de datos observada.

XjXj(i)


@Benjamin ¿Cómo va el problema? ¿Pude ayudarte a entender cómo hacerlo?
jsk

Gracias por los comentarios @jsk. Estaba cansado anoche, así que me fui a la cama, pero lo
abordaré

¡Creo que lo he descubierto! ¡Gracias de nuevo! En realidad, esto estaba en preparación para una final que tengo hoy, por lo que realmente ayudó a aclarar algunas cosas sobre el EM.
bdeonovic

De nada. ¡Espero que tu final salga bien hoy!
jsk

4

Basado en los comentarios de @ jsk, intentaré remediar mis errores:

L(θ|X,G)=j=1nθeθxj

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]=nlogθθ(j=1ng1j1eθi)(1θieθi(1+1/θi))θ(j=1ng2jeθi(1eθi))(eθi(1+1/θi)e2θi(2+1/θi))θ(j=1ng3je2θi)(e2θi(2+1/θi))=nlogθθN1AθN2BθN3CQ(θ,θi)θ=nθN1AN2BN3C=set0

θθ(i+1)=nN1A+N2B+N3C

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.