¿Por qué una prueba de razón de verosimilitud se distribuye chi-cuadrado?

¿Por qué el estadístico de prueba de una prueba de razón de verosimilitud se distribuye chi-cuadrado?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Como mencionó @Nick, esto es una consecuencia del teorema de Wilks . Pero tenga en cuenta que el estadístico de prueba es asintóticamente -distribuido, no -distribuido.$\chi^2$$\chi^2$

Estoy muy impresionado por este teorema porque se mantiene en un contexto muy amplio. Considere un modelo estadístico con probabilidad donde es el vector de observaciones de observaciones replicadas independientes de una distribución con parámetro pertenece a un de con dimensión . Deje ser un submanifold con dimensión . Imagine que está interesado en probar .y n θ B 1 R d dim ( B 1 ) = s B 0 ⊂ B 1 dim ( B 0 ) = m H 0 : { θ ∈ B 0$l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$$\dim(B_0)=m$$H_0\colon\{\theta \in B_0\}$

La razón de probabilidad es Defina la desviación . Luego de Wilks teorema dice que, bajo supuestos usuales de regularidad, es asintóticamente -distribuidos con grados de libertad a la hora es válido.

Está comprobado en el artículo original de Wilk mencionado por @Nick. Creo que este documento no es fácil de leer. Wilks publicó un libro más tarde, quizás con una presentación más fácil de su teorema. Una breve prueba heurística se da en el excelente libro de Williams .

Respaldo el duro comentario de Nick Sabbe, y mi respuesta corta es: No lo es . Quiero decir, solo está en el modelo lineal normal. Para absolutamente cualquier otro tipo de circunstancias, la distribución exacta no es un . En muchas situaciones, puede esperar que se cumplan las condiciones del teorema de Wilks, y luego asintóticamente las estadísticas de prueba de relación de probabilidad logarítmica convergen en distribución a . Las limitaciones y violaciones de las condiciones del teorema de Wilks son demasiado numerosas para ignorarlas.$\chi^2$$\chi^2$

1. El teorema supone que los datos iid esperan problemas con los datos dependientes, como series de tiempo o muestras de encuestas de probabilidad desigual (para las cuales las probabilidades están mal definidas, de todos modos; las pruebas "regulares" , como las pruebas de independencia en tablas de contingencia , comience a comportarse como una suma ( Rao & Scott ). Para los datos de iid, , y la suma se convierte en Pero para no independientes de datos, este ya no es el caso.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. El teorema supone que el parámetro verdadero está en el interior del espacio de parámetros. Si tiene un espacio euclídeo para trabajar, eso no es un problema. Sin embargo, en algunos problemas, pueden surgir restricciones naturales, como la varianza 0 o la correlación entre -1 y 1. Si el parámetro verdadero es uno de los límites, entonces la distribución asintótica es una mezcla de con diferentes grados de libertad, en el sentido de que el cdf de la prueba es la suma de dichos cdfs ( Andrews 2001 , más dos o tres de sus documentos del mismo período, con una historia que se remonta a Chernoff 1954 ).$\ge$$\chi^2$
3. El teorema supone que todas las derivadas relevantes no son cero. Esto puede ser cuestionado con algunos problemas y / o parametrizaciones no lineales, y / o situaciones en las que un parámetro no se identifica bajo nulo. Suponga que tiene un modelo de mezcla gaussiana, y su nulo es un componente frente a la alternativa de dos componentes distintos con una fracción de mezcla . El nulo aparentemente está anidado en la alternativa, pero esto puede expresarse de varias maneras: como (en cuyo caso los parámetros no están identificados), (en cuyo caso$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$$f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$no se identifican), o (en cuyo caso no se identifica). Aquí, ni siquiera puede decir cuántos grados de libertad debería tener su prueba, ya que tiene diferentes restricciones dependiendo de cómo parametrice el anidamiento. Vea el trabajo de Jiahua Chen sobre esto, por ejemplo, CJS 2001 .$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$
4. El puede funcionar bien si la distribución se ha especificado correctamente. Pero si no fuera así, la prueba se descompondrá nuevamente. En la subárea (en gran parte descuidada por los estadísticos) del análisis multivariado conocido como modelado de covarianza de ecuaciones estructurales, a menudo se supone una distribución normal multivariada, pero incluso si la estructura es correcta, la prueba se comportará mal si la distribución es diferente. Satorra y Bentler 1995 muestran que la distribución se convertirá en , la misma historia que con datos no independientes en mi punto 1, pero también han demostrado cómo s dependen de la estructura del modelo y los cuartos momentos de la distribución.$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k$
5. Para muestras finitas, en una gran clase de situaciones, la razón de probabilidad es corregible para Bartlett : mientras que para una muestra de tamaño , y es la función de distribución de la distribución , para los problemas de probabilidad regular puede encontrar una constante tal que , es decir, a un orden superior de exactitud. Por lo tanto, la aproximación para muestras finitas puede mejorarse (y podría decirse que debería mejorarse si sabe cómo hacerlo). La constante${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$$b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$$b$ depende de la estructura del modelo y, a veces, de los parámetros auxiliares, pero si puede estimarse de manera consistente, eso también funciona para mejorar el orden de cobertura.

Para una revisión de estos y otros problemas esotéricos similares en la inferencia de probabilidad, ver Smith 1989 .