¿Por qué estabilizamos la varianza?

Encontré la transformación de estabilización de varianza mientras leía el método Kaggle Essay Eval . Utilizan una transformación de estabilización de varianza para transformar los valores de kappa antes de tomar su media y luego transformarlos nuevamente. Incluso después de leer el wiki sobre transformaciones de estabilización de varianza que no puedo entender, ¿por qué estabilizamos las varianzas? ¿Qué beneficio obtenemos con esto?

variance mathematical-statistics

— Pushpendre
fuente

Por lo general, la intención es hacer que la varianza (asintótica) sea independiente del parámetro de interés. Esto es particularmente importante en inferencia cuando necesitamos conocer la distribución de referencia para calcular cantidades de interés relacionadas.

— cardenal

Aquí hay una respuesta: por lo general, la forma más eficiente de realizar una inferencia estadística es cuando sus datos están identificados. Si no lo están, obtiene diferentes cantidades de información de diferentes observaciones, y eso es menos eficiente. Otra forma de ver eso es decir que si puede agregar información adicional a su inferencia (es decir, la forma funcional de la varianza, a través de la transformación de estabilización de varianza), generalmente mejorará la precisión de sus estimaciones, al menos asintóticamente. En muestras muy pequeñas, molestarse con el modelado de la varianza puede aumentar el sesgo de la muestra pequeña. Este es un tipo de argumento econométrico de tipo GMM: si agrega momentos adicionales, su varianza asintótica no puede aumentar; y su sesgo de muestra finita aumenta con los grados de libertad sobreidentificados.

El cardenal dio otra respuesta: si tiene una varianza desconocida en su expresión de varianza asintótica, la convergencia en la distribución asintótica será más lenta y tendrá que estimar esa varianza de alguna manera. Girar previamente sus datos o sus estadísticas generalmente ayuda a mejorar la precisión de las aproximaciones asintóticas.

— StasK
fuente

Creo que entiendo la primera oración en su respuesta y me atrae intuitivamente. ¿Hay un nombre para esta observación que podría googlear? Me gustaría encontrar algunos experimentos mentales o ejemplos que muestran lo que sucede cuando se tiene diferente cantidad de información en diferentes observaciones y cómo es ineficiente

— Pushpendre

El texto de Korn y Graubard (1999) sobre estadísticas de encuestas discute eso.

— StasK

Pero aquí la transformación se usa para calcular una media por

f^{- 1} (\frac{1}{n} \sum_{i} f (κ_{i}))

$f^{-1}\left( {1\over n} \sum_i f(\kappa_i) \right)$ . Realmente no veo el punto. Para mí, este sería el camino a seguir para la estimación del intervalo de confianza, pero para la estimación puntual simplemente introduce un sesgo.

— Elvis

@PushpendreRastogi es posible que desee leer el artículo de Wikipedia sobre esta misma transformación. Fue introducido por Fisher para estabilizar la varianza de un coeficiente de correlación empírica (entre variables normales). En ese caso, la variable transformada será aproximadamente normal, con una varianza que dependerá solo del tamaño de la muestra y no del coeficiente de correlación desconocido (es por eso que esto "estabiliza" la varianza).

— Elvis

@Elvis, di el ejemplo de correlación en el artículo de wikipedia sobre estadística fundamental ( en.wikipedia.org/wiki/Pivotal_statistic ). [¿Cómo diablos proporcionaste el bonito enlace en el comentario?

— Probé