¿Un intervalo de predicción tiene que contener la media?

Tengo un gran problema con un problema conceptual que se me ocurrió.

Digamos que una empresa tiene una distribución que está muy sesgada. Algo similar a un exponencial o lognormal solo más extremo. Ahora imagine que la distribución está tan sesgada que la media de la distribución es mayor que el percentil del 99% de la distribución. (Aka 1-2 valores extremadamente altos causaron que la media fuera extremadamente alta en comparación con el resto de la distribución).

Por definición, si esta distribución se usara para pronosticar un valor futuro (también conocido como una muestra aleatoria de la distribución), ¿sería cierto que la media no estaría en el intervalo de predicción del 95%?

En mi cerebro, un intervalo de predición del 95% es un rango en el que se ubicará el 95% de todos los valores futuros. Para cualquier distribución, esto debería ser exactamente igual al percentil .025 en el límite inferior y al percentil .975 en el límite superior ... Si la media es mayor que el percentil .975, entonces la media no estaría dentro del '95% intervalo de predicción ".

¿Estoy pensando en esto incorrectamente? Parece extraño informar un pronóstico como

Valor medio previsto: 6,000,0000
Intervalo de predicción del 95%: [400,5000].

mean prediction-interval

— Otro sueño
fuente

¿Qué haría al predecir un valor de una distribución que no tiene ningún significado? ¿Por qué crees que sería extraño hacer una predicción para tal distribución?

— whuber

Actuall Whuber ... qué harías al predecir un valor de una distribución sin significado ... No puedes hacer monte carlo porque no tendría significado ... Podrías mostrar la distribución de la variable en sí ... ¿Tal vez usarías la mediana? En realidad no sé la respuesta a esa pregunta, y tal vez eso sea parte de la confusión.

— Anotherdream

Supongo que parte de la confusión es esto. Me dijeron que proporcionara un intervalo de predicción para una variable que se comportara MUY similar a esto. La "estimación puntual de predicción" fue el promedio móvil de 6 meses. Sin embargo, el promedio móvil de 6 meses fue más alto que el percentil superior ... Como tal, mi "intervalo de predicción" no incluyó mi "estimación de predicción". Parece que todo el mundo dice que la media era un mal valor para empezar (lo cual puedo ver ... no construí esta cosa jaja). ¿Estoy siguiendo eso correctamente? ¿Quizás debería usarse un valor diferente como 'estimación puntual de predicción'?

— Anotherdream

Su primer comentario es interesante sobre cómo parece introducir la media innecesariamente. Una vez que tiene una buena simulación de la distribución de la variable en sí, ¿por qué no hay suficiente información para hacer una buena predicción? ¿No sería probable que un valor futuro estuviera dentro del cuerpo principal de esa distribución? ¿Por qué la media sería relevante en ese caso?

— whuber

Whuber Estoy completamente de acuerdo con lo que estás diciendo ... Parece que la media no es relevante en absoluto en este ejemplo ... Pero eso implica que si alguna vez ejecutas una simulación y usas "una variable" (en este caso la media) como una estimación puntual, y sus residuos están horriblemente sesgados, simplemente puede volver a hacer la distribución original tomando la estimación puntual sesgada y muestreando al azar de los residuos y sumar los resultados. Acabo de volver a hacer la dist original a partir de la estimación "sesgada" y la dist residual ... Entonces, ¿de qué sirve la estimación original?

— Anotherdream

Respuestas:

No, un intervalo de predicción no necesita contener la media. Creo que parte de su confusión podría estar mezclando intervalos de predicción e intervalos de confianza. Mientras que el objetivo de un intervalo de predicción es contener con cierta certeza los valores futuros de la variable aleatoria, el objetivo de un intervalo de confianza es contener la verdadera media de distribución.

Como mencionó en distribuciones muy sesgadas, estas ideas parecen estar en desacuerdo entre sí. Lo importante es reconocer el valor en cada una de las estadísticas proporcionadas.

El valor predictivo de la media es:

1) Acumulativo: a medida que ingresen más muestras, su promedio tenderá hacia la media real. Entonces, si el valor acumulativo es de interés (por ejemplo, si está jugando y lidiando con ganancias o pérdidas que le interesan los efectos acumulativos), la media es muy útil.

2) Minimiza los residuos al cuadrado: Si bien los residuos al cuadrado son una cantidad de interés algo arbitraria, vale la pena saber cuál es la predicción que está minimizando.

Sin embargo, si su objetivo es minimizar el error absoluto en sus predicciones, el valor pronosticado promedio de 6,000,000 no es lo que yo elegiría.

— jlimahaverford
fuente

Gracias por el tiempo jlimahaverfold. Entonces, si te entiendo correctamente, la siguiente es una declaración verdadera (creo que sí, simplemente 'se siente mal' jaja). Si tuviera una variable en la que se me diera una estimación "puntual" (usando la media), pero los residuales fueran extremadamente no normales (exponencial, por ejemplo), podría obtener la 'distribución pronosticada' básicamente mediante un muestreo aleatorio de la distribución residual 10k veces (monte carlo) y luego la distribución recién creada sería el intervalo de pronóstico? Creo que así es como se debe hacer, pero quiero confirmar que estoy entendiendo correctamente

— Anotherdream

Para aclarar mi pregunta un poco más. Si alguien tomó un pronóstico de promedio móvil de 6 meses, pero tuvo residuos no normales en esta estimación ... ¿Es correcto crear la distribución de pronóstico al tomar muestras de la distribución residual y agregar el valor a la estimación del punto de pronóstico promedio y luego calcular ¿El intervalo de predicción del 95% de los percentiles de esta distribución resultante? Además, ¿puede especificar con qué más podría ir además del "medio" si quisiera minimizar el error absoluto en una predicción dada para datos altamente sesgados? De nuevo, ¡realmente aprecio tu ayuda!

— Anotherdream

Todavía tengo problemas para interpretar la pregunta. Déjame ser claro sobre lo que estoy buscando. Tengo una variable aleatoria X y datos {x1, x2, ... xN}. Supongo que este promedio móvil de 6 meses es algo similar a \ sum_ {j = i} ^ {i + 180} x_i / 180. Algo en este sentido. En cuanto a lo que quise decir sobre minimizar los residuos absolutos, es simplemente otra función objetivo. Si bien la media minimiza la suma de los residuos al cuadrado, esto no necesariamente minimiza los residuos absolutos, pero sí lo hace algún valor (no necesariamente único).

— jlimahaverford

+1, muy buen punto sobre una posible confusión sobre los intervalos de predicción e intervalos de confianza. Por cierto, si desea minimizar el error absoluto esperado, utilice la mediana de la distribución predictiva como su pronóstico puntual ( consulte aquí ). Por supuesto, esto siempre se incluirá en un intervalo de predicción (central).

— Stephan Kolassa

Stephan Tu comentario ayuda a un BUNCH. Creo que esto es lo que debe suceder en el futuro de estas estimaciones. Realmente creo que el problema es que la media era el lugar equivocado para comenzar con el uso de distribuciones tan asimétricas ... Pero como empezaron aquí, estaba confundido con lo que podía hacer ... ¿Es comúnmente 'aceptable' usar una mediana? como una 'estimación puntual del pronóstico' y le da límites? Soy muy nuevo a la previsión y no estoy seguro de si eso se hace comúnmente con distribuciones asimétricas ..

— Anotherdream

Considere la distribución de posibles retornos en la paradoja de San Petersburgo:

Prob (1) = 1/2

Prob (2) = 1/4

Prob (4) = 1/8 ... Prob (2 ^ n) = 1/2 ^ (n + 1)

La media diverge y está fuera de cualquier intervalo de predicción razonable. (La mediana es 1 en este caso, pero no sé qué usaría para mi pronóstico de puntos. Quizás Stephan Kolassa, vea más arriba, tenga una sugerencia).

Hay otra complicación: supongamos que desea un intervalo de predicción del 95% para alguna distribución (distinta de la que acabo de mencionar). ¿Pasas del mosaico del 2.5% al mosaico del 97.5% o del 0 al 95 o del 5 al 100 o ...? La respuesta probablemente depende de por qué haces la pregunta.

— Emil Friedman
fuente