Normalidad asintótica de una forma cuadrática

Deje $\mathbf{x}$ ser un vector aleatorio extraído de $P$ . Considere una muestra $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ . Definir $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ , y $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ . Seay. $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

Según el teorema del límite central, suponga que

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

donde es una matriz de covarianza de rango completo. $C$

Pregunta : ¿Cómo pruebo (o desmito) que

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

para algunos , y para algunos modo que ? Esto se ve simple. Pero no pude entender exactamente cómo mostrar esto. Esta no es una pregunta de tarea. $v>0$ $\gamma_n \ge 0$ $\lim_{n\to \infty} \gamma_n =0$

Tengo entendido que el método delta nos permitiría concluir fácilmente

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} I)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} I)^{- 1} μ) \overset{d}{\to} N (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

Estos son un poco diferentes de lo que quiero. Observe las matrices de covarianza en los dos términos. Siento que extraño algo muy trivial aquí. Alternativamente, si simplifica las cosas, también podemos ignorar , es decir, establecer y asumir que es invertible. Gracias. $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— wij
fuente

Necesitamos saber algo sobre cómo va a 0. ¿Es una secuencia de constantes? Creo que primero debe mostrar que creo que es el resultado de Slutsky's. Luego escribiría como . tiene una distribución limitante que se puede encontrar con el método . Por último, puede intentar mostrar que va a 0 en probabilidad. Aunque no estoy seguro de si eso vale ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— Adamo

γ_{n}

$\gamma_n$ es una secuencia de constantes (no aleatoria). La secuencia se puede establecer en cualquier cosa que haga funcionar la convergencia (si existe tal secuencia) Creo que es verdadero. No entendí por qué primero necesitamos esto. Pero déjame pensarlo y el resto más. :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— wij

No mencioné: su vacilación para aplicar directamente el método y llamarlo está bien garantizado. Creo que puedes escribir esto con cuidado. Los teoremas útiles para este tipo de pruebas son Slutsky, el teorema de mapeo continuo de Mann-Wald y el teorema de Cramer-Wold.

δ

$\delta$

— AdamO

Estoy de acuerdo en que los resultados que mencionas podrían ser útiles. Aunque todavía no veo cómo. En realidad, también empiezo a pensar que la distribución asintótica puede no ser una distribución normal.

— wij

Parece que esto es más complicado de lo que parece. El artículo de arXiv aquí describe lo que sucede en grandes dimensiones. No puedo encontrar un análogo de dimensión fija, pero tienen un argumento de dimensión finita en la Sección 3.

— Greenparker

Hay alguna dificultad al usar el método Delta. Es más conveniente derivarlo a mano.

Por ley de los grandes números, . Por lo tanto . Aplica el teorema de Slutsky, tenemos Por teorema de mapeo continuo, tenemos Por lo tanto, Según el teorema de Slutsky, tenemos La combinación de los dos anteriores rendimientos de igualdad $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} \sum_{i = 1}^{p} λ_{i}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ La tarea restante es tratar con Desafortunadamente, este término dosis NO converge a . El comportamiento se vuelve complicado y depende del tercer y cuarto momento.

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

Para ser simple, a continuación asumimos que está distribuido normalmente y . Es un resultado estándar que donde es una matriz aleatoria simétrica con elementos diagonales como y elementos diagonales como . Por lo tanto, por expansión taylor de matriz , tenemos $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} I - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} I)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} I) C^{- 1 / 2})^{- 1} - I) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} I - C) C^{- 1} + O_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ Por lo tanto,

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ \sim N (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

Por lo tanto,

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— kfeng123
fuente

Gracias por tu respuesta. Es exactamente ese término que no converge a 0 lo que hace que todo sea difícil. Lamentablemente, no puedo suponer que se distribuye normalmente. Pero todavía aprecio la respuesta. Si pudiera comentar cómo depende de los momentos tercero y cuarto (quizás con referencias), eso sería útil. Además, no puedo explicar por el momento. Pero siento que tiene que decaer más lentamente que . Tengo que pensar en la razón con más cuidado.

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— wij

Olvidé agregar que en mi caso se puede suponer que vive en un conjunto compacto (si es necesario). Esto podría ayudar con las condiciones del momento.

X_{i}

$X_i$

— wij