Encontrar precisión de la estimación de simulación de Monte Carlo

Antecedentes

Estoy diseñando una simulación de Monte Carlo que combina las salidas de series de modelos, y quiero estar seguro de que la simulación me permitirá hacer afirmaciones razonables sobre la probabilidad del resultado simulado y la precisión de esa estimación de probabilidad.

La simulación determinará la probabilidad de que un jurado proveniente de una comunidad específica condenará a un determinado acusado. Estos son los pasos de la simulación:

1. Utilizando los datos existentes, genere un modelo de probabilidad logística ( M ) haciendo retroceder el “voto de primera votación del jurado” en predictores demográficos.

2. Utilice los métodos de Monte Carlo para simular 1,000 versiones de M (es decir, 1000 versiones de los coeficientes para los parámetros del modelo).

3. Seleccione una de las 1,000 versiones del modelo ( M _i ).

4. Empanel 1,000 jurados seleccionando al azar 1,000 conjuntos de 12 “jurados” de una “comunidad” ( C ) de individuos con distribuciones características demográficas específicas.

5. Calcule de manera determinista la probabilidad de una primera votación de voto culpable para cada miembro del jurado utilizando M _i .

6. Convierta el voto probable de cada "miembro del jurado" en un voto determinado (en función de si es mayor o menor que el valor seleccionado al azar entre 0-1).

7. Determine el "voto final" de cada "jurado" utilizando un modelo (derivado de datos empíricos) de la probabilidad de que un jurado condenará, condicional a la proporción de miembros del jurado que votan por la condena en la primera votación.

8. Almacene la proporción de veredictos de culpabilidad para los 1000 jurados ( PG _i ).

9. Repetir los pasos 3-8 para cada uno de los 1.000 versiones simuladas de M .

10. Calcular el valor medio de PG y el informe de que a medida que la estimación puntual de la probabilidad de convicción en  C .

11. Identifique los valores de percentil 2.5 y 97.5 para PG e informe eso como un intervalo de confianza de 0.95.

Actualmente estoy usando 1,000 miembros del jurado y 1,000 jurados en la teoría de que 1,000 extractos al azar de una distribución de probabilidad (características demográficas de C o versiones de M) completarán esa distribución.

Preguntas

¿Esto me permitirá determinar con precisión la precisión de mi estimación? Si es así, ¿cuántos jurados necesito para cada cálculo de PG _i para cubrir la distribución de probabilidad de C (así evito el sesgo de selección); ¿Puedo usar menos de 1,000?

¡Muchísimas gracias por toda ayuda!

Hay un criterio general y "en el universo" para la bondad de Monte Carlo: la convergencia.

Apéguese a una M y verifique cómo se comporta el PG con el número de jurados: debe converger, por lo que le mostrará una cantidad de repeticiones para las que tendrá un número razonable (para su aplicación) de dígitos significativos. Repita este punto de referencia para algunas otras M para asegurarse de que no tuvo suerte con la selección de M, luego continúe con toda la simulación.

Me parece que el problema aquí es si el modelo es demasiado complejo para mirar sin usar la simulación de Monte Carlo.

Si el modelo es relativamente simple, entonces debería ser posible mirarlo a través de estadísticas convencionales y derivar una solución a la pregunta que se hace, sin volver a ejecutar el modelo varias veces. Esto es un poco una simplificación excesiva, pero si todo lo que hizo su modelo fue producir puntos basados ​​en una distribución normal, entonces podría derivar fácilmente el tipo de respuestas que está buscando. Por supuesto, si el modelo es así de simple, es poco probable que necesite hacer una simulación de Monte Carlo para encontrar sus respuestas.

Si el problema es complejo y no es posible dividirlo en más elemental, el Monte-Carlo es el tipo de modelo adecuado para usar, pero no creo que haya ninguna forma de definir límites de confianza sin ejecutar el modelo. En última instancia, para obtener el tipo de límites de confianza descritos, el modelo tendría que ejecutarse varias veces, una distribución de probabilidad tendría que ajustarse a los resultados y desde allí podrían definirse los límites de confianza. Uno de los desafíos con la simulación Monte-Carlo es que los modelos dan respuestas buenas y regulares para distribuciones en el rango medio, pero las colas a menudo dan resultados mucho más variables, lo que en última instancia significa más corridas para definir la forma de las salidas al 2.5% y 97.5% percentiles.