Contraejemplo para la condición suficiente requerida para la consistencia

Sabemos que si un estimador es un estimador imparcial de theta y si su varianza tiende a 0 cuando n tiende al infinito, entonces es un estimador consistente para theta. Pero esta es una condición suficiente y no necesaria. Estoy buscando un ejemplo de un estimador que sea consistente pero cuya varianza no tienda a 0 ya que n tiende al infinito. ¿Alguna sugerencia?

— usuario22546
fuente

Ver, por ejemplo, este comentario y la discusión relacionada.

— cardenal

Me alegra ver que mi respuesta (incorrecta) generó dos más, y convirtió una pregunta muerta en un animado hilo de preguntas y respuestas. Entonces es hora de intentar ofrecer algo que valga la pena, supongo) .

Considere un proceso estocástico estacionario de covarianza, correlacionado en serie , con media y autocovarianzas . Suponga que (esto limita la "fuerza" de la autocorrelación ya que dos realizaciones del proceso están cada vez más lejos en el tiempo). Entonces tenemos eso $\{y_t\},\;\; t=1,...,n$ $\mu$ $\{\gamma_j\},\;\; \gamma_j\equiv \operatorname{Cov}(y_t,y_{t-j})$ $\lim_{j\rightarrow \infty}\gamma_j= 0$

{\bar{y}}_{n} = \frac{1}{n} \sum_{t = 1}^{n} y_{t} \to_{m . s} μ, as n \to \infty

$\bar y_n = \frac 1n\sum_{t=1}^ny_t\rightarrow_{m.s} \mu,\;\; \text{as}\; n\rightarrow \infty$

es decir, la media de la muestra converge en la media cuadrática a la media real del proceso y, por lo tanto, también converge en la probabilidad: por lo tanto, es un estimador consistente de . $\mu$

Se puede encontrar que la varianza de es $\bar y_n$

Var ({\bar{y}}_{n}) = \frac{1}{n} γ_{0} + \frac{2}{n} \sum_{j = 1}^{n - 1} (1 - \frac{j}{n}) γ_{j}

$\operatorname{Var}(\bar y_n) = \frac 1n \gamma_0+\frac 2n \sum_{j=1}^{n-1}\left(1-\frac {j}{n}\right)\gamma_j$

que se muestra fácilmente para ir a cero cuando va al infinito. $n$

Ahora, haciendo uso del comentario de Cardinal, aleatoricemos aún más nuestro estimador de la media, al considerar el estimador

{\tilde{μ}}_{n} = {\bar{y}}_{n} + z_{n}

$\tilde \mu_n = \bar y_n + z_n$

donde es un proceso estocástico de variables aleatorias independientes que también son independientes de las 's, tomando el valor (parámetro a ser especificado por nosotros) con probabilidad , el valor con una probabilidad de , y cero en caso contrario. Entonces tiene el valor esperado y la varianza $\{z_t\}$ $y_i$ $at$ $a>0$ $1/t^2$ $-at$ $1/t^2$ $\{z_t\}$

E (z_{t}) = a t \frac{1}{t^{2}} - a t \frac{1}{t^{2}} + 0 \cdot (1 - \frac{2}{t^{2}}) = 0, Var (z_{t}) = 2 a^{2}

$E(z_t) = at\frac 1{t^2} -at\frac 1{t^2} + 0\cdot \left (1-\frac 2{t^2}\right)= 0,\;\;\operatorname{Var}(z_t) = 2a^2$

El valor esperado y la varianza del estimador es por lo tanto

E (\tilde{μ}) = μ, Var (\tilde{μ}) = Var ({\bar{y}}_{n}) + 2 a^{2}

$E(\tilde \mu) = \mu,\;\;\operatorname{Var}(\tilde \mu) = \operatorname{Var}(\bar y_n) + 2a^2$

Considere la distribución de probabilidad de, :toma el valor con probabilidad y el valor con probabilidad . Entonces $|z_n|$ $P\left(|z_n| \le \epsilon\right),\;\epsilon>0$ $|z_n|$ $0$ $(1-2/n^2)$ $an$ $2/n^2$

P (| z_{n} | < ϵ) \geq 1 - 2 / n^{2} = lim_{n \to \infty} P (| z_{n} | < ϵ) \geq 1 = 1

$P\left(|z_n| <\epsilon\right) \ge 1-2/n^2 = \lim_{n\rightarrow \infty}P\left(|z_n| < \epsilon\right) \ge 1 = 1$

lo que significa que converge en probabilidad a (mientras su varianza sigue siendo finita). Por lo tanto $z_n$ $0$

plim {\tilde{μ}}_{n} = plim {\bar{y}}_{n} + plim z_{n} = μ

$\operatorname{plim}\tilde \mu_n = \operatorname{plim}\bar y_n+\operatorname{plim} z_n = \mu$

entonces este estimador aleatorio del valor medio del proceso estocástico permanece consistente. Pero su varianza no va a cero cuando va al infinito, ni va al infinito. $y$ $n$

Cierre, ¿por qué toda la elaboración aparentemente inútil con un proceso estocástico autocorrelacionado? Debido a que Cardinal calificó su ejemplo llamándolo "absurdo", como "solo para mostrar eso matemáticamente, podemos tener un estimador consistente con varianza finita y no nula".
Quería dar una pista de que no es necesariamente una curiosidad, al menos en espíritu: hay momentos en la vida real que comienzan nuevos procesos, procesos creados por el hombre, que tienen que ver con cómo organizamos nuestras vidas y actividades. Si bien generalmente los hemos diseñado y podemos decir mucho sobre ellos, aún así, pueden ser tan complejos que razonablemente se los trata como estocásticos (la ilusión de un control completo sobre tales procesos, o de un conocimiento a priori completo sobre su evolución, procesos) eso puede representar nuevas formas de comerciar o producir, u organizar la estructura de derechos y obligaciones entre humanos, es solo eso, una ilusión). Siendo también nuevo, no tenemos suficientes realizaciones acumuladas de ellos para hacer una inferencia estadística confiable sobre cómo evolucionarán. Entonces, las correcciones ad hoc y quizás "subóptimas" son, sin embargo, un fenómeno real, cuando, por ejemplo, tenemos un proceso en el que creemos firmemente que su presente depende del pasado (de ahí el proceso estocástico auto-correlacionado), pero realmente no lo hacemos. saber cómo todavía (de ahí la aleatorización ad hoc, mientras esperamos que se acumulen los datos para estimar las covarianzas). Y tal vez un estadístico encuentre una mejor manera de lidiar con este tipo de incertidumbre severa, pero muchas entidades tienen que funcionar en un entorno incierto sin el beneficio de tales servicios científicos.

Lo que sigue es la respuesta inicial (incorrecta) (ver especialmente el comentario de Cardinal)

Existen estimadores que convergen en probabilidad a una variable aleatoria: viene a la mente el caso de "regresión espuria", donde si intentamos hacer retroceder dos caminatas aleatorias independientes (es decir, procesos estocásticos no estacionarios) entre sí mediante la estimación de mínimos cuadrados ordinarios , el estimador OLS convergerá a una variable aleatoria.

Pero no existe un estimador consistente con varianza diferente de cero, porque la consistencia se define como la convergencia en la probabilidad de un estimador a una constante , que, por concepción, tiene varianza cero.

— Alecos Papadopoulos
fuente

@cardinal Gracias por la intervención, y estaré encantado de corregirlo. ¿Puedo dar una pista sobre cómo podría comenzar a buscar un estimador consistente cuya varianza converja a un número finito? (El caso de varianza infinito / indefinido es un caso conocido y debería haber sido mencionado, pero el caso finito distinto de cero es realmente interesante). ¿O describí la propiedad de consistencia incorrectamente?

— Alecos Papadopoulos

El ejemplo que di en el comentario vinculado en mi nota al OP tiene una variación limitante finita. La consistencia trata con la convergencia en la probabilidad, que has notado correctamente. Pero para que la varianza llegue a cero, tenemos que controlar las colas (también). Esto está relacionado con la relación entre la convergencia y la convergencia en la probabilidad.

L_{p}

$L_p$

— cardenal

Aquí también pongo un ejemplo de convergencia en la probabilidad con una varianza finita y siempre positiva.

— ekvall

@cardinal Si ya no cree que la respuesta actual es incorrecta, ¿tal vez podría eliminar su comentario o publicar un comentario nuevo para confirmar que la respuesta actual ya no es incorrecta? Desde el punto de vista del lector, tener una respuesta votada que dice que una respuesta es incorrecta es confuso (y obliga a uno a comenzar a verificar las cronologías de edición).

— Silverfish

El comentario de @Silverfish Cardinal de hecho se refiere a mi respuesta inicial (la parte debajo de la barra gris cerca del final de la publicación). Exactamente porque esta respuesta inicial generó comentarios que todavía están presentes, la he dejado sin eliminar, debajo de la nueva respuesta. Agregué algo en la barra gris para ayudar un poco con la confusión.

— Alecos Papadopoulos

Tome cualquier muestra de la distribución con expectativa finita y varianza infinita ( Pareto con por ejemplo). Entonces la media de la muestra convergerá a la expectativa debido a la ley o números grandes (lo cual requiere solo la existencia de media) y la varianza será infinita. $\alpha\in(1,2]$

— mpiktas
fuente

¿La varianza es infinita cuando, por ejemplo, ? ¿O es indefinido en tal caso?

α = 1.5

$\alpha = 1.5$

— Alecos Papadopoulos

Bueno, es infinito, si miramos el área debajo de la curva para la interpretación de la integral.

— mpiktas

Permítanme dar un ejemplo de una secuencia de variable aleatoria que converge a cero en probabilidad pero con varianza infinita. En esencia, un estimador es solo una variable aleatoria, por lo que con un poco de abstracción, puede ver que la convergencia de la probabilidad a una constante no implica una varianza cercana a cero.

Considere la variable aleatoria en donde la medida de probabilidad considerada es la medida de Lebesgue. Claramente, pero para todo entonces su varianza no llega a cero. $\xi_n(x):=\chi_{[0,1/n]}(x)x^{-1/2}$ $[0,1]$ $P(\xi_n(x)>0)=1/n\to0$

\int ξ_{n}^{2} d P = \int_{0}^{1 / n} x^{- 1} d x = \log (x) ∣_{0}^{1 / n} = \infty,

$\int\xi_n^2dP=\int_{0}^{1/n}x^{-1}dx=\log(x)\mid _{0}^{1/n}=\infty,$

n

$n$

Ahora, solo invente un estimador donde a medida que su muestra crezca, calcule el valor verdadero mediante un sorteo de . Tenga en cuenta que este estimador no es imparcial para 0, pero para hacerlo imparcial puede configurar con igual probabilidad 1/2 y usarlo como su estimador. El mismo argumento para la convergencia y la varianza se mantiene claramente. $\mu=0$ $\xi_n$ $\eta_n:=\pm\xi_n$

Editar: si desea un ejemplo en el que la varianza sea finita, tome y nuevamente considere wp 1/2.

ξ_{n} (x) := χ_{[0, 1 / n]} (x) \sqrt{n},

$\xi_n(x):=\chi_{[0,1/n]}(x)\sqrt{n},$

η_{n} := \pm ξ_{n}

$\eta_n:=\pm\xi_n$

— ekvall
fuente