Parámetros vs variables latentes

He preguntado sobre esto antes y realmente he estado luchando para identificar qué hace que un parámetro modelo y qué lo hace una variable latente. Mirando varios hilos sobre este tema en este sitio, la distinción principal parece ser:

Las variables latentes no se observan, pero tienen una distribución de probabilidad asociada con ellas, ya que son variables y los parámetros tampoco se observan y no tienen distribución asociada con ellas, lo que entiendo es que estas son constantes y tienen un valor fijo pero desconocido que estamos tratando de encontrar. Además, podemos poner prioridades en los parámetros para representar nuestra incertidumbre acerca de estos parámetros a pesar de que solo hay un valor verdadero asociado con ellos o al menos eso es lo que suponemos. Espero estar en lo cierto hasta ahora?

Ahora, he estado mirando este ejemplo para la regresión lineal ponderada bayesiana de un artículo de revista y he estado realmente luchando por comprender qué es un parámetro y qué es una variable:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Aquí y se observan pero sólo se trata como una variable es decir, tiene una distribución asociada a ella. $x$ $y$ $y$

Ahora, los supuestos de modelado son:

y \sim N (β^{T} x_{i}, σ^{2} / w_{i})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Entonces, la varianza de es ponderada. $y$

También hay una distribución previa en y , que son distribuciones normales y gamma respectivamente. $\beta$ $w$

Entonces, la probabilidad de registro completa está dada por:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Ahora, según tengo entendido, tanto como son parámetros del modelo. Sin embargo, en el artículo siguen refiriéndose a ellos como variables latentes. Mi razonamiento es y son ambos parte de la distribución de probabilidad para la variable y son parámetros del modelo. Sin embargo, los autores los tratan como variables aleatorias latentes. ¿Es eso correcto? Si es así, ¿cuáles serían los parámetros del modelo? $\beta$ $w$ $\beta$ $w$ $y$

El documento se puede encontrar aquí ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

El documento es Detección automática de valores atípicos: un enfoque bayesiano de Ting et al.

— Luca
fuente

Podría ser útil enumerar una cita del artículo (y tal vez un enlace). Parte del problema es que estos son exactamente diferentes según las perspectivas frequentista y bayesiana. Desde la perspectiva bayesiana, un parámetro hace tener una distribución - no es sólo algo que se añade a representar la incertidumbre.

— gung - Restablece a Monica

Pensé que sería injusto ya que la gente pensaría que espero que lean el periódico sin explicar las cosas, pero lo he dicho ahora.

— Luca

¿Por qué no puedes poner un prior en una variable latente? Soy un novato bayesiano, pero parece que deberías poder hacerlo.

— robin.datadrivers

Creo que uno ciertamente puede, por supuesto, y tiene que hacerlo en la configuración bayesiana. Sin embargo, no estoy seguro de por qué

son variables en esta configuración. A mí me parecen parámetros del modelo. Tengo problemas para decir qué es lo que hace decir

una variable en lugar de un parámetro en esta configuración. Yo también soy un novato, como se puede ver claramente ...

w

$w$

β

$\beta$

w

$w$

— Luca

Gracias, @Luca. No sería bueno si estuviera requiriendo que la gente leyera el periódico, pero tenerlo allí por contexto es bueno. Creo que has hecho esto bien.

— gung - Restablece a Monica

En el trabajo, y en general, las variables (aleatorias) son todo lo que se extrae de una distribución de probabilidad. Las variables latentes (aleatorias) son las que no observa directamente ( $y$ se observa, $\beta$ no, pero ambas son rv). De una variable aleatoria latente puede obtener una distribución posterior, que es su distribución de probabilidad condicionada a los datos observados.

Por otro lado, un parámetro es fijo, incluso si no conoce su valor. La Estimación de máxima verosimilitud, por ejemplo, le brinda el valor más probable de su parámetro. Pero te da un punto, no una distribución completa, ¡porque las cosas fijas no tienen distribuciones! (Puede poner una distribución sobre qué tan seguro está sobre este valor, o en qué rango cree que es este valor, pero esto no es lo mismo que la distribución del valor en sí, que solo existe si el valor es realmente aleatorio variable)

$y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

$\beta$ $w$

En esta oración:

Estas ecuaciones de actualización deben ejecutarse de forma iterativa hasta que todos los parámetros y la probabilidad de registro completa converjan a valores estables

en teoría hablan de los dos parámetros, no de los que son variables aleatorias, ya que en EM esto es lo que haces, optimizando los parámetros.

— alberto
fuente

La pregunta era sobre variables latentes .

— Tim

arreglado, espero que ahora esté más claro.

— alberto