¿Por qué es útil el Jeffreys anterior?

Entiendo que el Jeffreys anterior es invariante bajo re-parametrización. Sin embargo, lo que no entiendo es por qué se desea esta propiedad.

¿Por qué no querrías el cambio previo bajo un cambio de variables?

Déjame completar la respuesta de Zen. No me gusta mucho la noción de "representar la ignorancia". Lo importante no es el Jeffreys anterior sino el Jeffreys posterior . Este posterior tiene como objetivo reflejar lo mejor posible la información sobre los parámetros aportados por los datos. La propiedad de invariancia se requiere naturalmente para los dos puntos siguientes. Considere, por ejemplo, el modelo binomial con proporción desconocida parámetro y las probabilidades parámetro ψ = $\theta$ .$\psi=\frac{\theta}{1-\theta}$

1. El Jeffreys posterior en refleja lo mejor posible la información sobre θ aportada por los datos. Hay una correspondencia uno a uno entre θ y ψ . Luego, la transformación de Jeffreys posterior en θ en posterior en ψ (mediante la fórmula habitual de cambio de variables) debería producir una distribución que refleje lo mejor posible la información sobre ψ . Por lo tanto, esta distribución debería ser el Jeffreys posterior sobre ψ . Esta es la propiedad de la invariancia.$\theta$$\theta$$\theta$$\psi$$\theta$$\psi$$\psi$$\psi$

2. $\theta$$\psi$$\theta$

Suponga que usted y un amigo están analizando el mismo conjunto de datos utilizando un modelo normal. Adoptas la parametrización habitual del modelo normal utilizando la media y la varianza como parámetros, pero tu amigo prefiere parametrizar el modelo normal con el coeficiente de variación y la precisión como parámetros (que es perfectamente "legal"). Si ambos usan los antecedentes de Jeffreys, su distribución posterior será la distribución posterior de su amigo adecuadamente transformada de su parametrización a la suya. Es en este sentido que el prior de Jeffreys es "invariante"

(Por cierto, "invariante" es una palabra horrible; lo que realmente queremos decir es que es "covariante" en el mismo sentido de cálculo de tensor / geometría diferencial, pero, por supuesto, este término ya tiene un significado probabilístico bien establecido, así que no podemos usarlo)

¿Por qué se desea esta propiedad de consistencia? Porque, si el anterior de Jeffreys tiene alguna posibilidad de representar la ignorancia sobre el valor de los parámetros en un sentido absoluto (en realidad, no lo hace, pero por otras razones no relacionadas con la "invariancia"), y no la ignorancia en relación con una parametrización particular del modelo, debe darse el caso de que, sin importar con qué parametrizaciones elegimos arbitrariamente comenzar, nuestros posteriores deben "coincidir" después de la transformación.

Jeffreys mismo violó esta propiedad de "invariancia" de manera rutinaria al construir sus antecedentes.

Este documento tiene algunas discusiones interesantes sobre este y otros temas relacionados.

Para agregar algunas citas a la gran respuesta de Zen: Según Jaynes, el anterior de Jeffreys es un ejemplo del principio de los grupos de transformación, que resulta del principio de indiferencia:

$A_1$$A_2$$p_1=p_2$$(1, 2)$ entonces podríamos generar un nuevo problema en el que nuestro estado de conocimiento es el mismo pero en el que estamos asignando diferentes probabilidades ...

Ahora, para responder a su pregunta: "¿Por qué no querría el cambio previo bajo un cambio de variables?"

Según Jaynes, la parametrización es otro tipo de etiqueta arbitraria, y uno no debería ser capaz de “por un simple intercambio de etiquetas generar un nuevo problema en el que nuestro estado de conocimiento es el mismo, pero en el que estamos asignando diferentes probabilidades. "

Jeffreys antes es inútil . Esto es porque:

1. Simplemente especifica la forma de la distribución; no le dice cuáles deberían ser sus parámetros.
2. Nunca es completamente ignorante: siempre hay algo sobre el parámetro que conoce (por ejemplo, a menudo no puede ser infinito). Úselo para su inferencia definiendo una distribución previa. No te mientas a ti mismo diciendo que no sabes nada.
3. "Invarianza bajo transformación" no es una propiedad deseable. Su probabilidad cambia bajo la transformación (por ejemplo, por el jacobiano). Esto no crea "nuevos problemas" ritmo de Jaynes. ¿Por qué no se debe tratar igual a lo anterior?

Simplemente no lo uses.