¿Cuál es la diferencia entre estimación y predicción?

46

Por ejemplo, tengo datos de pérdidas históricas y estoy calculando cuantiles extremos (valor en riesgo o pérdida máxima probable). ¿Los resultados obtenidos son para estimar la pérdida o predecirlos? ¿Dónde se puede dibujar la línea? Estoy confundido.

estimation predictor prediction-interval

— melón
fuente

44

Muy relacionado está una discusión sobre la diferencia entre los intervalos de confianza y los intervalos de predicción en stats.stackexchange.com/questions/16493 .

— whuber

65

De hecho, "predicción" y "estimación" a veces se usan indistintamente en la escritura no técnica y parecen funcionar de manera similar, pero existe una clara distinción entre ellas en el modelo estándar de un problema estadístico. Un estimador usa datos para adivinar un parámetro, mientras que un predictor usa los datos para adivinar algún valor aleatorio que no es parte del conjunto de datos. Para aquellos que no están familiarizados con el significado de "parámetro" y "valor aleatorio" en las estadísticas, a continuación se ofrece una explicación detallada.

En este modelo estándar, se supone que los datos constituyen una observación (posiblemente multivariada) de una variable aleatoria cuya distribución se sabe que solo se encuentra dentro de un conjunto definido de posibles distribuciones, los "estados de la naturaleza". Un estimador es un procedimiento matemático que asigna a cada valor posible de alguna propiedad de un estado de naturaleza , como su media . Así, una estimación es una conjetura sobre el verdadero estado de la naturaleza. Podemos determinar qué tan buena es una estimación comparando con . $\mathbf{x}$ $X$ $t$ $\mathbf{x}$ $t(\mathbf{x})$ $\theta$ $\mu(\theta)$ $t(\mathbf{x})$ $\mu(\theta)$

Un predictor refiere a la observación independiente de otra variable aleatoria cuya distribución está relacionada con el verdadero estado de la naturaleza. Una predicción es una suposición sobre otro valor aleatorio. Podemos decirle lo bien que una predicción en particular sólo mediante la comparación de al valor realizado por . Esperamos que, en promedio, el acuerdo sea bueno (en el sentido de promediar todos los resultados posibles y simultáneamente sobre todos los valores posibles de ). $p(\mathbf{x})$ $Z$ $p(\mathbf{x})$ $Z$ $\mathbf{x}$ $Z$

Los mínimos cuadrados ordinarios proporcionan el ejemplo estándar. Los datos consisten en pares asocian los valores de la variable dependiente a los valores de la variable independiente. El estado de la naturaleza se especifica mediante tres parámetros , y : dice que cada es como un dibujo independiente de una distribución normal con media y desviación estándar . , y son parámetros (números) que se consideran fijos e invariables. El interés se centra en $(x_i,y_i)$ $y_i$ $x_i$ $\alpha$ $\beta$ $\sigma$ $y_i$ $\alpha + \beta x_i$ $\sigma$ $\alpha$ $\beta$ $\sigma$ $\alpha$ (la intersección) y (la pendiente). La estimación OLS, escrita , es buena en el sentido de que tiende a estar cerca de y tiende a ser cerca de , no importa lo que los verdaderos (pero desconocidos) valores de y podrían ser . $\beta$ $(\hat{\alpha}, \hat{\beta})$ $\hat{\alpha}$ $\alpha$ $\hat{\beta}$ $\beta$ $\alpha$ $\beta$

La predicción de MCO consiste en observar un nuevo valor de la variable dependiente asociada con algún valor de la variable independiente. podría o no estar entre en el conjunto de datos; Eso es irrelevante. Una predicción intuitivamente buena es que es probable que este nuevo valor esté cerca de . Las mejores predicciones dicen cuán cerca podría estar el nuevo valor (se llaman intervalos de predicción ). Explican el hecho de que y son inciertos (porque dependen matemáticamente de los valores aleatorios $Z = Y(x)$ $x$ $x$ $x_i$ $\hat{\alpha} + \hat{\beta}x$ $\hat{\alpha}$ $\hat{\beta}$ $(y_i)$ ), que no se conoce con certeza (y, por lo tanto, debe estimarse), así como el supuesto de que tiene una distribución normal con desviación estándar y media ( tenga en cuenta la ausencia de sombreros!). $\sigma$ $Y(x)$ $\sigma$ $\alpha + \beta x$

Tenga en cuenta especialmente que esta predicción tiene dos fuentes separadas de incertidumbre: la incertidumbre en los datos conduce a la incertidumbre en la pendiente estimada, la intersección y la desviación estándar residual ( ); Además, existe incertidumbre sobre qué valor de ocurrirá. Esta incertidumbre adicional, porque es aleatoria, caracteriza las predicciones. Una predicción puede parecer una estimación (después de todo, estimaciones :-) e incluso puede tener la misma fórmula matemática ( veces puede ser lo mismo que $(x_i,y_i)$ $\sigma$ $Y(x)$ $Y(x)$ $\hat{\alpha} + \hat{\beta}x$ $\alpha+\beta x$ $p(\mathbf{x})$ $t(\mathbf{x})$ ), pero vendrá con una mayor incertidumbre que la estimación.

Aquí, entonces, en el ejemplo de OLS, vemos claramente la distinción: una estimación adivina los parámetros (que son números fijos pero desconocidos), mientras que una predicción adivina el valor de una cantidad aleatoria. La fuente de confusión potencial es que la predicción generalmente se basa en los parámetros estimados e incluso podría tener la misma fórmula que un estimador.

En la práctica, puede distinguir los estimadores de los predictores de dos maneras:

propósito : un estimador busca conocer una propiedad del verdadero estado de la naturaleza, mientras que una predicción busca adivinar el resultado de una variable aleatoria; y
incertidumbre : un predictor generalmente tiene mayor incertidumbre que un estimador relacionado, debido a la incertidumbre adicional en el resultado de esa variable aleatoria. Por lo tanto, los predictores bien documentados y descritos generalmente vienen con bandas de incertidumbre (intervalos de predicción) que son más anchas que las bandas de incertidumbre de los estimadores, conocidas como intervalos de confianza. Un rasgo característico de los intervalos de predicción es que pueden (hipotéticamente) reducirse a medida que crece el conjunto de datos, pero no se reducirán a un ancho cero, la incertidumbre en el resultado aleatorio es "irreducible", mientras que los intervalos de confianza tenderán a reducirse. reducir a cero, lo que corresponde a nuestra intuición de que la precisión de una estimación puede ser arbitrariamente buena con cantidades suficientes de datos.

Al aplicar esto para evaluar la pérdida potencial de inversión, primero considere el propósito: ¿desea saber cuánto podría realmente perder con esta inversión (o esta canasta particular de inversiones) durante un período determinado, o realmente solo está adivinando cuál es la pérdida esperada (en un gran universo de inversiones, tal vez)? El primero es una predicción, el segundo una estimación. Entonces considere la incertidumbre. ¿Cómo cambiaría su respuesta si tuviera recursos casi infinitos para recopilar datos y realizar análisis? Si fuera muy preciso, probablemente esté estimando el rendimiento esperado de la inversión, mientras que si sigue siendo muy incierto acerca de la respuesta, está haciendo una predicción.

Por lo tanto, si aún no está seguro de con qué animal está tratando, pregúntele a su estimador / predictor: ¿qué tan equivocado es probable que sea y por qué? Mediante ambos criterios (1) y (2) sabrás lo que tienes.

— whuber
fuente

Muy interesante respuesta! ¿Puede proporcionarnos algunas referencias al respecto?

— user1420303

2

@ user1420303 Aquí hay dos. (1) Kiefer, Introducción a la inferencia estadística (1987), p. 30. ( "Un problema de predicción es uno en el que la decisión es una suposición no de alguna propiedad de , sino más bien de alguna propiedad de una variable aleatoria ....") (2) Hahn & Meeker, Intervalos de Estadística (1991) . Vea la sección 2.3 para ejemplos e interpretaciones.

F

$F$

— whuber

+1. Encontré su respuesta porque estoy tratando de entender la diferencia terminológica entre BLUE y BLUP en modelos mixtos, y todavía no estoy seguro de haberlo entendido. En el caso de un modelo mixto , donde las intercepciones aleatorias , estimamos y . Entonces podemos predecir . Esta diferencia la entiendo. ¿Pero qué hay de ? Se calculan con un BLU P , es decir, con un "predictor"; pero parece que con desaparece cualquier incertidumbre, por lo que no deberíamos decir que se estiman

y = α + β x + u_{i} + ϵ

$y=\alpha+\beta x + u_i + \epsilon$

u_{i} \sim N (0, σ_{u}^{2})

$u_i \sim \mathcal N(0, \sigma^2_u)$

α, β, σ,

$\alpha, \beta, \sigma,$

σ_{u}

$\sigma_u$

y

$y$

u_{i}

$u_i$

n \to \infty

$n \to \infty$

u_{i}

$u_i$ ?

— ameba dice Reinstate Monica

2

@amoeba Podría ser útil entender esta situación como un modelo jerárquico: en un nivel de la jerarquía es aleatorio (por lo que las declaraciones al respecto serían predictores ) mientras que en un nivel posterior se ha realizado y la estimación posterior está condicionada a la realización (haciendo declaraciones sobre los estimadores ).

u_{i}

$u_i$

— whuber

2

@whuber El punto más importante que señaló es que los estimadores siempre tienen como objetivo aproximar una cantidad con parámetros de naturaleza no estocástica / no aleatoria en un modelo SLR; Los predictores siempre tienen como objetivo aproximar una cantidad con naturaleza estocástica / aleatoria como la variable de respuesta (incluido el término de error) en un modelo SLR. Este punto se destaca en los primeros trabajos de Rao.

— Henry.L

8

La estimación es siempre para parámetros desconocidos, mientras que la predicción es para variables aleatorias.

— Arif
fuente

55

Usted predice la realización de una variable aleatoria mientras estima un parámetro de una variable aleatoria (por ejemplo, su valor esperado).

— Richard Hardy

@CowboyTrader, no sé lo suficiente sobre la estimación de la densidad del kernel para comentar su reclamo.

— Richard Hardy

2

No hay diferencia en los modelos. De hecho, hay una (leve) diferencia en la acción realizada. La estimación es la calibración de su modelo probabilístico utilizando datos ("aprendizaje" en la terminología de IA). La predicción es "adivinar" una observación futura. Suponiendo que esta "suposición" se base en datos pasados, este podría ser un caso de estimación; como la predicción de la altura de la próxima persona que está a punto de conocer utilizando una estimación de la altura media en la población. Sin embargo, tenga en cuenta que la predicción no siempre es una instancia de estimación. El género de la próxima persona que está por conocer no es un parámetro de la población en el sentido clásico; Predecir el género, puede requerir alguna estimación, pero requerirá algo más ...

En el caso del valor en riesgo, la predicción y la estimación coinciden ya que su pérdida prevista es la expectativa estimada de la pérdida.

— JohnRos
fuente

2

Comienzas bien con una distinción correcta entre estimación y predicción, pero luego los últimos dos tercios de la respuesta parecen confundir la predicción con la estimación una vez más. Introducir el ejemplo de género se vuelve aún más confuso, porque no está relacionado con la distinción inicial (de hecho, no tiene sentido, porque subyace un cambio de modelo estadístico entre el paso de estimación y el de predicción).

— whuber

0

La predicción es el uso de la función de regresión de muestra para estimar un valor para la variable dependiente condicionada por algunos valores no observados de la variable independiente.

La estimación es el proceso o la técnica de calcular un parámetro o cantidad desconocida de la población.

— usuario82419
fuente

3

La brevedad es loable, pero aquí puede generar confusión. La predicción no se limita a las aplicaciones de regresión: es tan general como la estimación. En cualquier caso, ¿qué quiere decir exactamente con "condicionado por algunos valores no observados de la variable independiente"? ¿Es solo una forma de decir que la predicción requiere datos? En caso afirmativo, ¿qué pasa con la estimación, para la cual no proporciona tal requisito? Su descripción lo hace sonar como un ejercicio de libro de texto, como "¿cuál es la media de una distribución normal cuya SD es y el cuartil superior es ?" ¿La estimación necesita datos o no?

1

$1$

2

$2$

— whuber

0

Por lo general, "estimación" está reservada para parámetros y la "predicción" es para valores. Sin embargo, a veces la distinción se vuelve borrosa, por ejemplo, puede haber visto algo como "estimar el valor mañana" en lugar de "predecir el valor mañana".

El valor en riesgo (VaR) es un caso interesante. VaR no es un parámetro, pero no decimos "predecir VaR". Decimos "estimar VaR". ¿Por qué?

La razón en que VaR no es una cantidad aleatoria SI conoce la distribución, Y necesita saber la distribución para calcular VaR. Entonces, si está utilizando el enfoque paramétrico de VaR, primero estima los parámetros de la distribución y luego calcula VaR. Si está utilizando el VaR no paramétrico, entonces estima directamente el VaR de forma similar a cómo calcularía los parámetros. En este sentido, es similar al cuantil.

Por otro lado, el monto de la pérdida es un valor aleatorio. Por lo tanto, si se le pide que pronostique pérdidas, estaría pronosticando que no calcularán. Nuevamente, a veces decimos "estimar" la pérdida. Entonces, la línea está borrosa, como escribí anteriormente.

— Aksakal
fuente

Dices que VaR no es un parámetro, pero me pregunto si ese es realmente el caso. VaR es el cuantil (condicional o incondicional) de la distribución de la variable dependiente. Como tal, me parece un parámetro de distribución, o al menos una función de otros parámetros más fundamentales, que no parecen cambiar la esencia. No parece una realización de una variable aleatoria.

— Richard Hardy

Además, cuando dice que la predicción es para valores, se aplica tanto a los valores de los parámetros como a la realización de variables aleatorias (que también son valores). Por lo tanto, sugiero reemplazar los valores con la realización de variables aleatorias; entonces tendría la dicotomía a la que apunta.

— Richard Hardy

-3

Las siguientes definiciones me parecen más explicativas:

La estimación es la aproximación calculada de un resultado. Este resultado puede ser un pronóstico, pero no necesariamente. Por ejemplo, puedo estimar que la cantidad de autos en el Golden Gate Bridge a las 5 PM de ayer fue de 900 suponiendo que los tres carriles que iban hacia Marin estaban llenos, cada auto ocupa 30 pies de espacio y el puente tiene 9000 pies de largo ( 9000/30 x 3 = 900).

La extrapolación es estimar el valor de una variable fuera de un rango conocido de valores al suponer que el valor estimado sigue algún patrón de los conocidos. La forma más simple y más popular de extrapolación es estimar una tendencia lineal basada en los datos conocidos. Las alternativas a la extrapolación lineal incluyen la polinomia y la extrapolación cónica. Al igual que la estimación, la extrapolación se puede usar para pronosticar, pero no se limita al pronóstico.

La predicción es simplemente decir algo sobre el futuro. Las predicciones generalmente se centran en los resultados y no en el camino hacia esos resultados. Por ejemplo, podría predecir que para 2050 todos los vehículos funcionarán con motores eléctricos sin explicar cómo pasamos de una baja adopción en 2011 a una adopción completa en 2050. Como puede ver en el ejemplo anterior, las predicciones no se basan necesariamente en datos.

El pronóstico es el proceso de hacer un pronóstico o predicción. Los términos pronóstico y predicción a menudo se usan indistintamente, pero a veces los pronósticos se distinguen de las predicciones en que los pronósticos a menudo proporcionan explicaciones de los caminos hacia un resultado. Por ejemplo, un pronóstico de adopción de vehículos eléctricos podría incluir el camino hacia la adopción de vehículos eléctricos completos siguiendo un patrón de adopción en forma de S donde pocos automóviles son eléctricos antes de 2025, un punto de inflexión ocurre en 2030 con una adopción rápida, y la mayoría de los automóviles son eléctricos después 2040.

Estimación, extrapolación, predicción y pronóstico no son términos mutuamente exhaustivos y colectivamente exhaustivos. Los buenos pronósticos a largo plazo para problemas complejos a menudo necesitan utilizar técnicas distintas a la extrapolación para producir resultados plausibles. Los pronósticos y las predicciones también pueden ocurrir sin ningún tipo de estimaciones calculadas.

ver enlaces definiciones1 definiciones2

— sso
fuente

2

La predicción no necesariamente tiene que ver con el futuro.

— miura

léalo completo: la predicción es simplemente decir algo sobre el futuro. Las predicciones generalmente se centran en los resultados y no en el camino hacia esos resultados.

— sso

Sí, pero los resultados no necesitan ser en el futuro. Por ejemplo, también puede predecir resultados pasados desconocidos.

— miura

1

Esta es una explicación razonable de cómo se usan las palabras "estimación" y "predicción" en un sentido no técnico ni estadístico . Como sugiere @miura, de las otras respuestas aquí se desprende que esos sentidos coloquiales difieren de los estadísticos convencionales. Veo un argumento válido a favor de interpretar la pregunta original de una manera no estadística. Sin embargo, esa interpretación introduce una limitación incómoda e innecesaria al no permitir que la "predicción" se aplique a eventos pasados (completos) con resultados desconocidos.

— whuber

Si lo aplica al filtro Kalman de varianza mínima de ega anterior y se puede usar un suavizador de varianza mínima para recuperar datos de interés de mediciones ruidosas. Las técnicas antes mencionadas se basan en predictores de un paso adelante ... por lo tanto, aún predicción un paso adelante (el futuro) :)

— sso