Definición de pesos mínimos cuadrados ponderados: función R lm vs.

¿Alguien podría decirme por qué obtengo resultados diferentes de Rmínimos cuadrados ponderados y solución manual por operación de matriz ?

Específicamente, estoy tratando de resolver manualmente , donde es la matriz diagonal en los pesos, es la matriz de datos, es la respuesta vector. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Estoy tratando de comparar los resultados con la R lmfunción usando el weightsargumento.

— Haitao Du
fuente

Edité etiquetas: esto definitivamente no era [autoestudio]. Tampoco se trata realmente de GLS (sino de un caso muy especial), así que también eliminé ese.

— ameba

Como puede ver en las expresiones matemáticas para sus cálculos, está obteniendo

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Evidentemente sus pesos son , no . Por lo tanto, debe comparar su respuesta con la salida de $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

El acuerdo es perfecto (dentro del error de coma flotante, internamente, Rutiliza un algoritmo numéricamente más estable).

— whuber
fuente

Podría decirse que solo estamos hablando de convenciones de software aquí: cuando el software espera "pesos", ¿quiere que le des o ? Pensé que esta era una pregunta valiosa porque el problema podría afectar cualquier paquete estadístico. Independientemente de las convenciones, el breve análisis en esta respuesta sugiere qué interpretaciones alternativas de "pesos" podrían ser razonables y vale la pena experimentar en cualquier circunstancia.

W

$W$

W^{2}

$W^2$

— whuber

Sí, creo que es confuso, obtuve la expresión del libro de álgebra lineal de Gilbert Strang Capítulo 8.6, donde dice que el mínimo cuadrado ponderado es solo un ajuste de a

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Strang tiene razón, pero tiene la orientación pedagógica al revés: comienza con la respuesta en lugar del problema. El problema se refiere a cómo realizar el análogo de un procedimiento de mínimos cuadrados cuando las variaciones de los residuos tienen valores conocidos pero diferentes . Por varias razones teóricas (pero simples), los datos deben ser ponderados por las variaciones inversas (a veces llamadas "precisiones"). De eso se puede deducir que debe ser la raíz cuadrada de los pesos.

W

$W$

— whuber