Inferencia estadística bajo especificación errónea

El tratamiento clásico de la inferencia estadística se basa en el supuesto de que existe una estadística correctamente especificada. Es decir, la distribución $\mathbb{P}^*(Y)$ que generó los datos observados $y$ es parte del modelo estadístico $\mathcal{M}$ :

$$\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\}$$ Sin embargo, en la mayoría de las situaciones no podemos Supongamos que esto es realmente cierto. Me pregunto qué sucede con los procedimientos de inferencia estadística si abandonamos la suposición especificada correctamente.

$$\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)$$ $\mathbb{P}^*$

¿Qué les sucede a los estimadores de conjuntos de confianza? Vamos a recapitular estimadores de conjuntos de confianza. Deje que sea ​​un estimador de conjunto, donde es el espacio muestral y 2 ^ \ Theta la potencia establecida sobre el espacio de parámetros \ Theta . Lo que nos gustaría saber es la probabilidad de que los conjuntos producidos por \ delta incluyan la distribución verdadera \ mathbb {P} ^ * , es decir \ mathbb {P} ^ * (\ mathbb {P} ^ * \ en \ {P_ \ theta: \ theta \ in \ delta (Y) \}): = A.$\delta:\Omega_Y \rightarrow 2^\Theta$$\Omega_Y$$2^\Theta$$\Theta$$\delta$$\mathbb{P}^*$

$$\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A.$$

Sin embargo, por supuesto, no conocemos la verdadera distribución $\mathbb{P}^*$ . La suposición especificada correctamente nos dice que $\mathbb{P}^* \in \mathcal{M}$ . Sin embargo, todavía no sabemos qué distribución del modelo es. Pero,

$$\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B$$ es un límite inferior para la probabilidad $A$ . La ecuación $B$ es la definición clásica del nivel de confianza para un estimador de conjunto de confianza.

Si descartamos la suposición especificada correctamente, $B$ ya no es necesariamente un límite inferior para $A$ , el término que realmente nos interesa. De hecho, si suponemos que el modelo está mal especificado, lo cual podría decirse que es el caso para la mayoría de las situaciones realistas, $A$ es 0, porque la distribución verdadera $P^*$ no está contenida dentro del modelo estadístico $\mathcal{M}$ .

Desde otra perspectiva, uno podría pensar en qué se relaciona $B$ cuando el modelo está mal especificado. Esta es una pregunta más específica. ¿ $B$ todavía tiene un significado si el modelo está mal especificado? Si no, ¿por qué nos molestamos con las estadísticas paramétricas?

Supongo que White 1982 contiene algunos resultados sobre estos temas. Desafortunadamente, mi falta de conocimientos matemáticos me impide comprender mucho de lo que está escrito allí.

Sean $y_1, \ldots, y_n$ los datos observados que se supone que son una realización de una secuencia de iid variables aleatorias $Y_1, \ldots, Y_n$ con función de densidad de probabilidad común $p_e$ definida con respecto a una medida sigma-finita $\nu$ . La densidad $p_e$ se denomina densidad del Proceso de generación de datos (DGP).

En el modelo de probabilidad del investigador ${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$ es una colección de funciones de densidad de probabilidad que están indexadas por un vector de parámetros $\theta$ . Suponga que cada densidad en ${\cal M}$ está definida con respecto a una medida sigma-finita común $\nu$ (por ejemplo, cada densidad podría ser una función de masa de probabilidad con el mismo espacio muestral $S$ ).

Es importante mantener la densidad $p_e$ que realmente generó los datos conceptualmente distintos del modelo de probabilidad de los datos. En los tratamientos estadísticos clásicos, una cuidadosa separación de estos conceptos se ignora, no se realiza, o se supone desde el principio que el modelo de probabilidad está correctamente especificado.

Un modelo ${\cal M}$ correctamente especificado con respecto a $p_e$ se define como un modelo donde $p_e \in {\cal M}$ $\nu$ casi en todas partes. Cuando ${\cal M}$ está mal especificado con respecto a $p_e$ esto corresponde al caso en el que el modelo de probabilidad no está correctamente especificado.

Si el modelo de probabilidad se especifica correctamente, entonces existe un $\theta^*$ en el espacio de parámetros $\Theta$ tal que $p_e(y) = p(y ; \theta^*)$ $\nu$ -casi en todas partes. Tal vector de parámetro se llama el "vector de parámetro verdadero". Si el modelo de probabilidad está mal especificado, entonces el vector de parámetro verdadero no existe.

En el marco errores de modelo de White el objetivo es encontrar la estimación del parámetro θ n que minimiza ℓ n ( θ ) ≡ ( 1 / n ) Σ n i = 1 log P ( Y i ; θ ) sobre algunos compacto espacio de parámetros Θ . Se supone que un minimizador global estricto único, , del valor esperado de en se encuentra en el interior de$\hat{\theta}_n$$\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$$\Theta$$\theta^*$$\hat{\ell}_n$$\Theta$$\Theta$. En el caso de suerte donde el modelo de probabilidad se especifica correctamente, $\theta^*$ puede interpretarse como el "valor del parámetro verdadero".

En el caso especial donde se especifica correctamente el modelo de probabilidad, a continuación, θ n es la estimación de máxima verosimilitud familiar. Si no es así que sabemos tener conocimiento absoluto de que el modelo de probabilidad se especifica correctamente, entonces θ n se llama una estimación de probabilidad cuasi-máxima y el objetivo es estimar θ * . Si tenemos suerte y el modelo de probabilidad se especifica correctamente, entonces la estimación de probabilidad cuasi máxima se reduce como un caso especial a la estimación de máxima probabilidad familiar y θ ∗ se convierte en el verdadero valor del parámetro.$\hat{\theta}_n$$\hat{\theta}_n$$\theta^*$$\theta^*$

La consistencia dentro del marco de White (1982) corresponde a la convergencia a $\theta^*$ sin requerir que $\theta^*$ sea ​​necesariamente el verdadero vector de parámetro. Dentro del marco de White, nunca estimaríamos la probabilidad del evento de que los conjuntos producidos por δ incluyan la distribución VERDADERA P *. En cambio, siempre estimaríamos la distribución de probabilidad P **, que es la probabilidad del evento de que los conjuntos producidos por δ incluyan la distribución especificada por la densidad $p(y ; \theta^*)$ .

Finalmente, algunos comentarios sobre la especificación incorrecta del modelo. Es fácil encontrar ejemplos donde un modelo mal especificado es extremadamente útil y muy predictivo. Por ejemplo, considere un modelo de regresión no lineal (o incluso lineal) con un término de error residual gaussiano cuya varianza es extremadamente pequeña, pero el error residual real en el entorno no es gaussiano.

También es fácil encontrar ejemplos en los que un modelo especificado correctamente no sea útil y no sea predictivo. Por ejemplo, considere un modelo de caminata aleatoria para predecir los precios de las acciones que predice el precio de cierre de mañana es una suma ponderada del precio de cierre de hoy y algo de ruido gaussiano con una variación extremadamente grande.

El propósito del marco de especificación errónea del modelo no es garantizar la validez del modelo, sino más bien garantizar la confiabilidad. Es decir, asegúrese de que el error de muestreo asociado con las estimaciones de sus parámetros, los intervalos de confianza, las pruebas de hipótesis, etc., se estimen correctamente a pesar de la presencia de una pequeña o gran cantidad de especificación errónea del modelo. Las estimaciones de probabilidad cuasi máxima son asintóticamente normales centradas en $\theta^*$ con un estimador de matriz de covarianza que depende tanto de la primera como de la segunda derivada de la función de probabilidad logarítmica negativa. En el caso especial en el que tiene suerte y el modelo es correcto, todas las fórmulas se reducen al marco estadístico clásico familiar donde el objetivo es estimar los valores de los parámetros "verdaderos".

En primer lugar, permítanme decir que esta es una pregunta realmente fascinante; felicitaciones a Julian por publicarlo. Tal como lo veo, el problema fundamental que enfrenta en este tipo de análisis es que cualquier inferencia de cualquier subconjunto de es una inferencia sobre la clase restringida de medidas de probabilidad en el modelo M , por lo que cuando comienza a preguntar acerca de las probabilidades de inferir el verdadero modelo, bajo el modelo, esto degenera en una pregunta trivial de si hay o no una especificación errónea para empezar. White evita esto al observar qué tan cerca se acerca el modelo a la verdadera medida de probabilidad, utilizando una métrica de distancia apropiada. Esto lo lleva a la medida de probabilidad P θ 1 , que es el proxy más cercano para P ∗ en$\Theta$$\mathcal{M}$$\mathbb{P}_{\theta_1}$$\mathbb{P}^*$ . Este método de mirar P θ 1 puede extenderse para proporcionar cantidades interesantes relacionadas con su pregunta sobre los conjuntos de confianza.$\mathcal{M}$$\mathbb{P}_{\theta_1}$

Antes de llegar a esto, vale la pena señalar que los valores y B están matemáticamente bien definidos en su análisis (es decir, existen), y todavía tienen un significado; simplemente no es necesariamente un significado muy útil. El valor A en su análisis está bien definido; Es la probabilidad real de que el conjunto inferido de medidas de probabilidad incluya la medida de probabilidad verdadera. Tiene razón en que P ∗ ∉ M implica A = 0 , lo que significa que esta cantidad es trivial en el caso de una especificación errónea. Siguiendo el ejemplo de White, quizás sea más interesante observar la cantidad:$A$$B$$A$$\mathbb{P}^* \notin \mathcal{M}$$A = 0$

$$A^* \equiv A^*(Y) \equiv \mathbb{P}^* (\mathbb{P}_{\theta_1} \in \{P_\theta | \theta \in \delta(Y) \} ).$$

Aquí hemos reemplazado la ocurrencia interior de con su proxy de más cercana en el modelo M , de modo que la cantidad ya no se vuelve trivial cuando P * ∉ M . Ahora estamos pidiendo la probabilidad real de que el conjunto inferido de medidas de probabilidad incluya el proxy más cercano para la medida de probabilidad verdadera en el modelo. La especificación incorrecta del modelo ya no trivializa esta cantidad, ya que tenemos P θ 1 ∈ M por construcción.$\mathbb{P}^*$$\mathcal{M}$$\mathbb{P}^* \notin \mathcal{M}$$\mathbb{P}_{\theta_1} \in \mathcal{M}$

$\mathbb{P}_{\theta_1}$$\delta$$A^*$$n \rightarrow \infty$. Si puede establecer un límite inferior (positivo) o un resultado de convergencia (positivo), esto le da cierto valor para garantizar que, incluso si hay una especificación errónea, todavía estima correctamente el proxy más cercano con algún nivel de probabilidad. Le recomendaría que explore esos problemas, siguiendo el tipo de análisis realizado por White.