¿Está bien ajustar primero un modelo bayesiano y luego comenzar a debilitar los antecedentes?

Al hacer estadísticas frecuentas, hay una larga lista de grandes no-nos, como mirar los resultados de las pruebas estadísticas antes de decidir recopilar más datos. En general, me pregunto si hay una lista similar de no-nos para las metodologías involucradas en las estadísticas bayesianas, y específicamente si la siguiente es una de ellas.

Recientemente me di cuenta de que para algunos de los modelos que he estado ajustando, mi proceso ha sido primero ajustar el modelo con antecedentes informativos para ver si funciona o explotar, y luego debilitar los anteriores ya sea informativos o poco informativos y Vuelva a colocar el modelo.

Mi motivación para esto realmente tiene que ver con el hecho de que estoy escribiendo estos modelos en JAGS / Stan, y en mi opinión lo he tratado más como una tarea de programación que como estadística. Por lo tanto, hago una primera ejecución, manipulándola para que converja rápidamente mediante el uso de información previa, lo que facilita la detección de errores en el modelo que he escrito. Luego, después de depurar el modelo, lo vuelvo a instalar con antecedentes poco informativos o poco informativos.

Mi pregunta es si estoy rompiendo o no algunas reglas serias con este proceso. Por ejemplo, para que mis inferencias sean válidas y para evitar explotar los grados de libertad de los investigadores, ¿debo comprometerme con los antecedentes específicos antes de comenzar a ajustar algún modelo?

Los bayesianos subjetivos pueden estar en desacuerdo, pero desde mi perspectiva, lo anterior es solo una parte del modelo, como la probabilidad. Cambiar lo anterior en respuesta al comportamiento del modelo no es mejor ni peor que cambiar su función de probabilidad (por ejemplo, probar diferentes distribuciones de error o diferentes formulaciones de modelo).

Puede ser peligroso si te permite ir a una expedición de pesca, pero las alternativas pueden ser peores. Por ejemplo, en el caso que mencionó, donde su modelo explota y obtiene coeficientes sin sentido, entonces no tiene más opción que intentarlo nuevamente.

Además, hay pasos que puede seguir para minimizar los peligros de una expedición de pesca:

• Decidir de antemano qué antes usará en el análisis final
• Ser directo cuando publica o describe su análisis sobre todo su procedimiento
• Hacer todo lo posible con datos simulados y / o contener datos para el análisis final. De esa manera, no contaminará demasiado su análisis.

Si experimenta con anteriores y selecciona uno en términos de su rendimiento en los datos disponibles, ya no es un "previo". No solo depende de los datos (como en un análisis empírico de Bayes), sino que también depende de lo que desea ver (que es peor). Al final, sí utilizas herramientas bayesianas, pero esto no puede llamarse un análisis bayesiano.

Creo que estás bien en este caso por tres razones:

1. En realidad no estás ajustando tus antecedentes en respuesta a tus resultados. Si dijera algo como: "Utilizo anteriores XYZ y, dependiendo de la tasa de convergencia y los resultados de mi DIC, modifico mi anterior por ABC", entonces diría que está cometiendo un no-no, pero en este caso Parece que realmente no estás haciendo eso.

2. En un contexto bayesiano, los antecedentes son explícitos. Por lo tanto, es posible que modifique sus prioridades de manera incorrecta, pero las anteriores resultantes siempre estarán visibles para que otras personas puedan examinarlas y preguntar por qué tiene esas prioridades en particular. Tal vez soy ingenuo aquí, ya que es fácil mirar algo como un prior y decir: "Mmm, parece razonable" simplemente porque alguien lo ofreció, pero ...

3. Creo que lo que está haciendo está relacionado con el consejo de Gelman (y de otros) para construir un modelo JAGS pieza por pieza, primero trabajando con datos sintéticos, luego datos reales, para asegurarse de que no tenga un error de especificación . Eso no es realmente un factor en la metodología frecuentista, y no es realmente una metodología experimental.

Por otra parte, todavía estoy aprendiendo esto por mí mismo.

PD: Cuando dices que originalmente lo manipulaste para converger rápidamente con "antecedentes informativos", ¿te refieres a los antecedentes realmente informativos que están motivados por el problema en cuestión, o simplemente a los anteriores que por razones arbitrarias empujan / restringen fuertemente la parte posterior para acelerar la convergencia "a algún punto arbitrario? Si es el primer caso, ¿por qué te alejas de estos (motivados) anteriores?

Creo que esto podría ser un no no independiente de la escuela bayesiana. Jeffreys querría usar antecedentes no informativos. Lindley podría querer que utilices anteriores informativos. Los bayesianos empíricos te pedirían que permitas que los datos influyan en lo anterior. Pero creo que aunque cada escuela está haciendo una sugerencia diferente sobre la elección del previo, todos tienen un enfoque que no significa que pueda tomar el anterior y seguir ajustándolo hasta obtener los resultados que desea. Eso definitivamente sería como mirar los datos y continuar para recopilar datos y probarlos hasta llegar a su noción preconcebida de cuál debería ser la respuesta.

Frecuente o bayesiano, no importa, no creo que nadie quiera que juegues con (o masajees) los datos. Tal vez esto es algo en lo que todos podemos estar de acuerdo y el divertido poema de Peter es realmente apropiado.

Yo diría que no, no tiene que comprometerse con antecedentes específicos. En general, durante cualquier análisis de datos bayesianos, debe realizar un análisis de la sensibilidad del modelo al anterior. Eso incluiría probar varios otros antecedentes para ver qué sucede con los resultados. Esto podría revelar un mejor o más sólido previo que debería usarse.

Los dos "no-no" obvios son: jugar con el anterior demasiado para obtener un mejor ajuste, lo que resulta en un ajuste excesivo y cambia los otros parámetros del modelo para obtener un mejor ajuste. Como ejemplo de lo primero: cambiar un previo inicial en la media para que esté más cerca de la media de la muestra. Para el segundo: cambiar sus variables / características explicativas en una regresión para obtener un mejor ajuste. Este es un problema en cualquier versión de regresión y básicamente invalida tus grados de libertad.