¿Por qué los grados de libertad para un par emparejado prueban el número de pares menos 1?

Estoy acostumbrado a conocer los "grados de libertad" como , donde tienes el modelo lineal con , la matriz de diseño con rango , , con , . $n - r$

y = X β + ϵ

$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

y \in R^{n}

$\mathbf{y} \in \mathbb{R}^n$

X \in M_{n \times p} (R)

$\mathbf{X} \in M_{n \times p}(\mathbb{R})$

r

$r$

β \in R^{p}

$\boldsymbol{\beta} \in \mathbb{R}^p$

ϵ \in R^{n}

$\boldsymbol{\epsilon} \in \mathbb{R}^n$

ϵ \sim N (0, σ^{2} I_{n})

$\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma^2 \mathbf{I}_n)$

σ^{2} > 0

$\sigma^2 > 0$

Por lo que recuerdo de las estadísticas elementales (es decir, modelos pre-lineales con álgebra lineal), los grados de libertad para la prueba pares coincidentes $t$ es el número de diferencias menos $1$ . Entonces esto implicaría que $\mathbf{X}$ tenga rango 1, tal vez. ¿Es esto correcto? Si no, ¿por qué es $n-1$ los grados de libertad para la prueba pares emparejados $t$ ?

Para comprender el contexto, supongamos que tengo un modelo de efectos mixtos

y_{i j k} = μ_{i} + some random effects + e_{i j k}

$y_{ijk} = \mu_i + \text{ some random effects} + e_{ijk}$ donde

i = 1, 2

$i = 1, 2$ ,

j = 1, \dots, 8

$j = 1, \dots, 8$ y

k = 1, 2

$k = 1, 2$ . No hay nada especial sobre

μ_{i}

$\mu_i$ aparte de que es un efecto fijo, y

e_{i j k} \overset{i i d}{\sim} N (0, σ_{e}^{2})

$e_{ijk} \overset{iid}{\sim}\mathcal{N}(0, \sigma^2_e)$ . Supongo que los efectos aleatorios son irrelevantes para este problema, ya que solo nos preocupamos por los efectos fijos en este caso.

Me gustaría proporcionar un intervalo de confianza para $\mu_1 - \mu_2$ .

Ya he demostrado que $\bar{d}_\cdot = \dfrac{1}{8}\sum d_j$ es un estimador imparcial de $\mu_1 - \mu_2$ , donde $d_j = \bar{y}_{1j\cdot} - \bar{y}_{2j\cdot}$ , $\bar{y}_{1j\cdot} = \dfrac{1}{2}\sum_{k}y_{1jk}$ y $\bar{y}_{21\cdot}$ se define de manera similar. Se calculó la estimación puntual $\bar{d}_{\cdot}$ .

Ya he demostrado que

s_{d}^{2} = \frac{\sum_{j} (d_{j} - {\bar{d}}_{\cdot})^{2}}{8 - 1}

$s^2_d = \dfrac{\sum_{j}(d_j - \bar{d}_{\cdot})^2}{8-1}$ es un estimador imparcial de la varianza de

d_{j}

$d_j$ , y por lo tanto,

\sqrt{\frac{s_{d}^{2}}{8}}

$\sqrt{\dfrac{s^2_d}{8}}$ es el error estándar de

{\bar{d}}_{\cdot}

$\bar{d}_{\cdot}$ . Esto ha sido calculado.

Ahora la última parte es descubrir los grados de libertad. Para este paso, generalmente trato de encontrar la matriz de diseño, que obviamente tiene rango 2, pero tengo la solución a este problema, y dice que los grados de libertad son . $8-1$

En el contexto de encontrar el rango de una matriz de diseño, ¿por qué los grados de libertad son ? $8-1$

Editado para agregar: Quizás útil en esta discusión es cómo se define la estadística de prueba. Supongamos que tengo un vector de parámetros . En este caso, (a menos que me falte algo por completo). Básicamente estamos realizando la prueba de hipótesis where . Luego, el estadístico de prueba viene dado por que se probaría contra una distribución central con $\boldsymbol{\beta}$

β = [\begin{matrix} μ_{1} \\ μ_{2} \end{matrix}]

$\boldsymbol{\beta} = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix}$

c^{'} β = 0

$\mathbf{c}^{\prime}\boldsymbol{\beta} = 0$

c^{'} = [\begin{matrix} 1 & - 1 \end{matrix}]

$\mathbf{c}^{\prime} = \begin{bmatrix} 1 & -1 \end{bmatrix}$

t = \frac{c^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} c^{'} (X^{'} X)^{- 1} c}}

$t = \dfrac{c^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2c^{\prime}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{c}}}$

t

$t$

n - r

$n - r$ grados de libertad, donde es la matriz de diseño como arriba, y donde .

X

$\mathbf{X}$

{\hat{σ}}^{2} = \frac{y^{'} (I - P_{X}) y}{n - r}

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r}$

P_{X} = X (X^{'} X)^{- 1} X^{'}

$\mathbf{P}_{\mathbf{X}} = \mathbf{X}(\mathbf{X}^{\prime}\mathbf{X})^{-1}\mathbf{X}^{\prime}$

t-test degrees-of-freedom

— Clarinetista
fuente

Respuestas:

La prueba pares emparejados con pares es en realidad solo una prueba una muestra con una muestra de tamaño . Tiene diferencias , y estas son iid y normalmente se distribuyen. La primera columna después de tiene $t$ $n$ $t$ $n$ $n$ $d_1,\ldots,d_n$

\begin{array}{ccccc} [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}] & = & [\begin{matrix} \bar{d} \\ ⋮ \\ \bar{d} \end{matrix}] & + & [\begin{matrix} d_{1} - \bar{d} \\ ⋮ \\ d_{1} - \bar{d} \end{matrix}] \\ n d.f. & 1 d.f. & (n - 1) d.f. \end{array}

$\begin{array}{ccccc} \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} & = & \begin{bmatrix} \bar d \\ \vdots \\ \bar d \end{bmatrix} & + & \begin{bmatrix} d_1 - \bar d \\ \vdots \\ d_1 - \bar d \end{bmatrix} \\[10pt] n \text{ d.f.} & & 1 \text{ d.f.} & & (n-1) \text{ d.f.} \end{array}$

“ =''

$\text{“}{=}\text{''}$

1

$1$ grado de libertad debido a la restricción lineal que dice que todas las entradas son iguales; el segundo tiene grados de libertad debido a la restricción lineal que dice que la suma de las entradas es .

n - 1

$n-1$

0

$0$

— Michael Hardy
fuente

En otras palabras, la razón por la que tenemos grados de libertad aquí no tiene nada que ver con el modelo lineal ?

n - 1

$n-1$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon}$

— Clarinetista

Tiene que ver con ese modelo, donde la matriz es una columna de sy es una matriz cuya única entrada es la diferencia entre las dos medias de población.

X

$\mathbf X$

1

$1$

β

$\boldsymbol{\beta}$

1 \times 1

$1\times1$

$\qquad$

— Michael Hardy

¡Ajá! Entonces, su sería ese vector de s, ¿correcto? ¡Muchas gracias! ¡No puedo creer lo difícil que ha sido encontrar una respuesta sobre esto!

y

$\mathbf{y}$

d_{i}

$d_i$

— Clarinetista

Si. Es el vector de las diferencias observadas en los pares emparejados.

n

$n$

$\qquad$

— Michael Hardy

Muchas, muchas gracias a Michael Hardy por responder mi pregunta.

La idea es esta: let y . Entonces nuestro modelo lineal es entonces donde es el vector de todos, y Obviamente tiene rango , entonces tenemos grados de libertad .

y = [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}]

$\mathbf{y} = \begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix}$

β = [μ_{1} - μ_{2}]

$\boldsymbol{\beta} = [\mu_1 - \mu_2]$

y = 1_{n \times 1} β + ϵ

$\mathbf{y} = \mathbf{1}_{n \times 1}\boldsymbol{\beta} + \boldsymbol{\epsilon}$

1_{n \times 1}

$\mathbf{1}_{n \times 1}$

n

$n$

ϵ = [\begin{matrix} ϵ_{1} \\ ⋮ \\ ϵ_{n} \end{matrix}] \sim N (0, σ^{2} I_{n}) .

$\boldsymbol{\epsilon} = \begin{bmatrix} \epsilon_1 \\ \vdots \\ \epsilon_n \end{bmatrix} \sim \mathcal{N}(\mathbf{0}, \sigma^2\mathbf{I}_n)\text{.}$

X = 1_{n \times 1}

$\mathbf{X} = \mathbf{1}_{n \times 1}$

1

$1$

n - 1

$n-1$

¿Cómo sabemos establecer igual a ? Recuerde que y como se puede ver fácilmente, para todos . Dado nuestro , es obvio lo que debería ser . Esto es porque $\boldsymbol{\beta}$ $[\mu_1 - \mu_2]$

E [y] = X β

$\mathbb{E}[\mathbf{y}] = \mathbf{X}\boldsymbol{\beta}$

E [d_{j}] = μ_{1} - μ_{2}

$\mathbb{E}[d_j] = \mu_1 - \mu_2$

j

$j$

X

$\mathbf{X}$

β

$\boldsymbol{\beta}$

E [y] = E [[\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}]] = [\begin{matrix} E [d_{1}] \\ ⋮ \\ E [d_{n}] \end{matrix}] = [\begin{matrix} μ_{1} - μ_{2} \\ ⋮ \\ μ_{1} - μ_{2} \end{matrix}] = X β = 1_{n \times 1} β = [\begin{matrix} 1 \\ ⋮ \\ 1 \end{matrix}] β

$\mathbb{E}[\mathbf{y}] = \mathbb{E}\left[\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} \right] = \begin{bmatrix} \mathbb{E}[d_1] \\ \vdots \\ \mathbb{E}[d_n] \end{bmatrix} = \begin{bmatrix} \mu_1 - \mu_2 \\ \vdots \\ \mu_1 - \mu_2 \end{bmatrix} = \mathbf{X}\boldsymbol\beta = \mathbf{1}_{n \times 1}\boldsymbol\beta = \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix}\boldsymbol\beta$ so debe ser una matriz con .

β

$\boldsymbol\beta$

1 \times 1

$1 \times 1$

β = [μ_{1} - μ_{2}]

$\boldsymbol\beta = [\mu_1 - \mu_2]$

Establezca . Entonces nuestra prueba de hipótesis es Nuestra estadística de prueba es, por lo tanto, Tenemos Después de algún trabajo, se puede demostrar que También se puede demostrar que $\mathbf{c}^{\prime} = [1]$

H_{0} : c^{'} β = 0 .

$H_0: \mathbf{c}^{\prime}\boldsymbol{\beta} = 0\text{.}$

\frac{c^{'} \hat{β}}{\sqrt{{\hat{σ}}^{2} c^{'} {(X^{'} X)}^{- 1} c}} .

$\dfrac{\mathbf{c}^{\prime}\hat{\boldsymbol{\beta}}}{\sqrt{\hat{\sigma}^2\mathbf{c}^{\prime}\left(\mathbf{X}^{\prime}\mathbf{X}\right)^{-1}\mathbf{c}}}\text{.}$

{\hat{σ}}^{2} = \frac{y^{'} (I - P_{X}) y}{n - r (X)} .

$\hat{\sigma}^2 = \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})}\text{.}$

P_{X} = P_{1_{n \times 1}} = 1_{n \times 1} (\frac{1}{n}) 1^{'} .

$\mathbf{P}_\mathbf{X} = \mathbf{P}_{\mathbf{1}_{n \times 1}} = \mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\text{.}$

I - P_{X}

$\mathbf{I}-\mathbf{P}_{\mathbf{X}}$ Es simétrico e idempotente. Entonces, y

\begin{aligned} {\hat{σ}}^{2} & = \frac{y^{'} (I - P_{X}) y}{n - r (X)} \\ = \frac{y^{'} (I - P_{X})^{'} (I - P_{X}) y}{n - r (X)} \\ = \frac{‖ (I - P_{X}) y ‖^{2}}{n - r (X)} \\ = \frac{{‖ [I - 1_{n \times 1} (\frac{1}{n}) 1^{'}] y ‖}^{2}}{n - 1} \\ = \frac{{‖ [\begin{matrix} d_{1} \\ ⋮ \\ d_{n} \end{matrix}] - [\begin{matrix} {\bar{d}}_{\cdot} \\ ⋮ \\ {\bar{d}}_{\cdot} \end{matrix}] ‖}^{2}}{n - 1} \\ = \frac{\sum_{i = 1}^{n} (d_{i} - {\bar{d}}_{\cdot})^{2}}{n - 1} \\ = s_{d}^{2} \end{aligned}

$\begin{align} \hat{\sigma}^2 &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\mathbf{y}^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})^{\prime}(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}}{n-r(\mathbf{X})} \\ &= \dfrac{\|(\mathbf{I}-\mathbf{P}_{\mathbf{X}})\mathbf{y}\|^{2}}{n-r(\mathbf{X})} \\ &=\dfrac{\left\|\left[\mathbf{I}-\mathbf{1}_{n \times 1}\left(\dfrac{1}{n}\right)\mathbf{1}^{\prime}\right]\mathbf{y} \right\|^2}{n-1} \\ &= \dfrac{\left\|\begin{bmatrix} d_1 \\ \vdots \\ d_n \end{bmatrix} - \begin{bmatrix} \bar{d}_\cdot \\ \vdots \\ \bar{d}_\cdot \end{bmatrix} \right\|^2}{n-1} \\ &= \dfrac{\sum_{i=1}^{n}(d_i-\bar{d}_{\cdot})^2}{n-1} \\ &= s^2_d \end{align}$

X^{'} X = 1_{n \times 1}^{'} 1_{n \times 1} = n

$\mathbf{X}^{\prime}\mathbf{X} = \mathbf{1}_{n \times 1}^{\prime}\mathbf{1}_{n \times 1} = n$ que obviamente tiene inversa , dando así una estadística de prueba que se probaría en una distribución central con grados de libertad como se desee.

1 / n

$1/n$

\frac{{\hat{μ}}_{1} - {\hat{μ}}_{2}}{\sqrt{s_{d}^{2} / n}}

$\dfrac{\hat\mu_1-\hat\mu_2}{\sqrt{s^2_d/n}}$

t

$t$

n - 1

$n - 1$

— Clarinetista
fuente