¿Cómo medir la precisión del pronóstico probabilístico?

Supongamos que hago un montón de pronósticos probabilísticos como:

70% de probabilidad de que el crecimiento de las ventas sea del 10-15% en el primer trimestre, 10% de probabilidad de que el crecimiento de las ventas sea> 15%, 20% de probabilidad de que el crecimiento de las ventas sea <10%

Dados los datos reales, ¿cuál es la mejor manera de medir o rastrear mi precisión? Puntuación de Brier?

¿Y puedo promediar mi puntaje Brier para diferentes tipos de pronósticos? (p. ej., encuentre el puntaje más brillante para la predicción "hay 80% de probabilidad de lluvia" y promételo con el pronóstico de crecimiento de ventas)

forecasting scoring-rules

— Emile
fuente

Dudaría en usar el puntaje Brier para resultados ordinales con más de 3 categorías, como aquí, donde las ventas se pueden clasificar como baja / media / alta. El puntaje Brier trata cada resultado como equidistante de los demás.

— RobertF

¿Sus datos son inherentemente ordinales, como parece asumir @RobertF? Si es así, esto agrega complejidad, como él escribe, y sería bueno si pudieras editar esto en tu publicación. Si no, puede usar reglas de puntuación adecuadas , como el Brier u otros. Y sí, puedes promediarlos.

— Stephan Kolassa

Creo que mi ejemplo utiliza datos ordinales, pero no entiendo lo que quiere decir con "inherentemente ordinal". Sin embargo, podría cambiar mi pronóstico para que sea solo un crecimiento de ventas del 12%. Si es así, ¿usaría algo como MAE? Pero la razón por la que incluí las probabilidades es para tener en cuenta la variabilidad y los eventos raros. Por ejemplo, el crecimiento esperado de las ventas de mi pronóstico podría ser del 12%, pero podría haber una pequeña probabilidad de un crecimiento negativo de las ventas. Si bien es poco probable que suceda, puede ser valioso saber la probabilidad de un crecimiento negativo de las ventas. Así que quiero reflejar eso en mi pronóstico de alguna manera.

— Emile

Por "inherentemente ordinal", quise decir si su problema subyacente es ordinal, o si el ejemplo que usó simplemente resultó ser ordinal. Aparentemente, es lo primero.

— Stephan Kolassa

Su comentario suena como si realmente estuviera buscando un pronóstico de densidad en lugar de un pronóstico puntual, es decir, si desea pronosticar la distribución de probabilidad completa de los resultados futuros. Esta es una muy buena idea. El pronóstico de densidad es común en el pronóstico financiero o econométrico, pero desafortunadamente rara vez se trata en otros libros de texto y cursos de pronóstico. Tay y Wallis (2000, Journal of Forecasting ) ofrecen una útil encuesta inicial.

La forma más común de evaluar los pronósticos de densidad utiliza la Transformación Integral de Probabilidad (PIT). La referencia canónica es Diebold, Gunther y Tay (1998, International Economic Review ) . Berkowitz (2001, Journal of Business & Economic Statistics ) y Bao, Lee & Saltoglu (2007, Journal of Forecasting ) ofrecen alternativas.

Recientemente, ha aumentado el interés en las reglas de puntuación (adecuadas) , como el puntaje Brier que mencionas. La literatura incluye Mitchell & Wallis (2011, Journal of Applied Econometrics ) y Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Finalmente, Gneiting & Katzfuss (2014, Revisión anual de estadísticas y su aplicación ) ofrece una descripción más reciente del pronóstico de densidad (o probabilidad), enfocándose nuevamente en las reglas de puntuación.

— Stephan Kolassa
fuente

¿Podría explicar, en términos simples, el método más apropiado para hacer un pronóstico de densidad y las reglas de puntuación más apropiadas para mi ejemplo? O puede señalar un artículo / libro. Supongo que lo que estoy pidiendo es una receta: pasos para hacer un pronóstico de densidad / probabilidad, luego algunos otros pasos para evaluar la precisión de los pronósticos individuales y / o múltiples. E idealmente puedo hacer el cálculo en una calculadora normal (sin software especializado). Si se requiere alguna integral, ¿qué tipo de aproximaciones puedo hacer para simplificar la ecuación? Buscando algo que pueda hacer "al revés".

— Emile

Me encantaría leer esos documentos, pero, francamente, están sobre mi cabeza.

— Emile

Ah Le recomiendo que consulte un libro de texto de pronóstico estándar, por ejemplo, Ord & Fildes, Principios de pronóstico de negocios , sección 5.2 y otros, donde los intervalos de predicción se calculan utilizando un enfoque de distribución normal. Hyndman y Athanosopoulos desafortunadamente no cubren el pronóstico de densidad. En cuanto a las reglas de puntuación, realmente no creo que haya una clara "mejor" en su caso, simplemente elija una que pueda implementar fácilmente. Sin embargo, es probable que al menos necesite tablas de distribución normales, por lo que sería bueno si mirara R ....

— Stephan Kolassa

... Hyndman y Athanasopoulos hacen todo con R, por lo que su libro sirve como una buena introducción al pronóstico utilizando R. ¡Buena suerte!

— Stephan Kolassa