Este es un problema de práctica para un examen de mitad de período. El problema es un ejemplo de algoritmo EM. Tengo problemas con la parte (f). Enumero las partes (a) - (e) para completar y en caso de que haya cometido un error antes.
Supongamos que son variables aleatorias exponenciales independientes con tasa θ . Desafortunadamente, los valores reales de X no se observan, y solo observamos si los valores de X caen dentro de ciertos intervalos. Sea G 1 j = 1 { X j < 1 } , G 2 j = 1 { 1 < X j < 2 } y G 3 j = 1 {X1,…,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2} paraj=1,...,n. Los datos observados consisten en( G 1 j , G 2 j , G 3 j ).G3j=1{Xj>2}j=1,…,n(G1j,G2j,G3j)
(a) Indique la probabilidad de datos observados:
L(θ|G)=∏j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=∏j=1n(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3j
(b) Proporcione la probabilidad de datos completa
L(θ|X,G)=∏j=1n(θe−θxj)G1j(θe−θxj)G2j(θe−θxj)G3j
(c) Derive la densidad predictiva de la variable latente f(xj|G,θ)
f(xj|G,θ)=fX,G(xj,g)fG(g)=θe−θxj1{xj∈region r s.t. Grj=1}(1−e−θ)g1j(e−θ−e−2θ)g2j(e−2θ)g3j
(d) E-step. Dar la función Q(θ,θi)
Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge−2θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
donde N1=∑nj=1g1j,N2=∑nj=1g2j,N3=∑nj=1g3j
(e) Dé expresiones para para r = 1 , 2 , 3 .E[Xj|Grj=1,θi]r=1,2,3
Enumeraré mis resultados, que estoy bastante seguro de que son correctos, pero las derivaciones serían un poco largas para esta pregunta que ya es muy extensa:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
Esta es la parte en la que estoy atascado, y podría deberse a un error anterior:
(f) M-Step. Encuentre el que maximiza Q ( θ , θ i )θQ(θ,θi)
De la ley de la expectativa total tenemos
Por lo tantoE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
θθ