Mejorando el estimador mínimo


9

Supongamos que tengo n parámetros positivos para estimar μ1,μ2,...,μn y sus correspondientes n estimaciones insesgadas producidos por los estimadores μ1^,μ2^,...,μn^ , es decir, E[μ1^]=μ1 , E[μ2^]=μ2 y así sucesivamente.

Me gustaría estimar min(μ1,μ2,...,μn) utilizando las estimaciones a la mano. Es evidente que el ingenuo estimador min(μ1^,μ2^,...,μn^) es parcial inferior como

E[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)

Supongamos que también tengo la matriz de covarianza de la correspondiente estimadores Cov(μ1^,μ2^,...,μn^)=Σ a la mano. ¿Es posible obtener una estimación imparcial (o menos sesgada) del mínimo utilizando las estimaciones dadas y la matriz de covarianza?


¿Está dispuesto a utilizar el enfoque Bayesian MCMC o necesita alguna fórmula de forma cerrada?
Martin Modrák

¿Pero un enfoque de muestreo simple está bien? (además, no se necesitan estrictamente antecedentes para el análisis bayesiano, pero esa es otra historia)
Martin Modrák

@ MartinModrák No tengo experiencia con los enfoques de muestreo. Si hago bayesiano, generalmente hago cosas conjugadas simples. Pero si crees que este es el camino a seguir, seguiré y aprenderé.
Cagdas Ozgenc

¿Qué más sabes sobre estas estimaciones? ¿Conoces las expresiones? ¿Conoces la distribución de los datos utilizados para estimar estos parámetros?
wij

@wij Puedo intentar estimar algunos otros momentos de los estimadores si es necesario. No tengo una expresión analítica para la distribución de los estimadores. La solución no debería depender (como requisito mío) de la distribución de los datos en sí.
Cagdas Ozgenc

Respuestas:


4

No tengo una respuesta clara sobre la existencia de estimador imparcial. Sin embargo, en términos de error de estimación, estimar es un problema intrínsecamente difícil en general.min(μ1,,μn)

Por ejemplo, sea y μ = ( μ 1 , ... , μ n ) . Vamos θ = min i μ i ser la cantidad objetivo y θ es una estimación de θ . Si utilizamos el "naive" estimador θ = min i ( ˉ Y i ) dondeY1,,YNN(μ,σ2I)μ=(μ1,,μn)θ=miniμiθ^θθ^=mini(Y¯i)Yi¯=1Nj=1NYi,jL2 μiσ2

E[θ^θ]2σ2lognN
μi μiσσ2σ2Nμiσ θinf θ sup μ 1 ,..., μ n E[ θ -θ]2sigma2lognσ2Nθfunciona mejor que el estimador ingenuo. Puede mostrar con precisión que donde el infimum toma todo el estiamte posible de basado en la muestra y el supremum toma todas las configuraciones posibles de 's. θY1,...,YNμi
infθ^supμ1,,μnE[θ^θ]2σ2lognN
θY1,,YNμi

Por lo tanto, el estimador ingenuo es minimax óptimo hasta constante, y no hay mejor estimación de en este sentido.θ


¿La información adicional suministrada no está ayudando en absoluto? ¿Qué estadísticas adicionales pueden ser útiles?
Cagdas Ozgenc

Perdón por hacer un punto confuso. No quise decir que la información adicional (covarianza) no sea útil. Solo quería señalar que estimar un mínimo de varios medios de población es de naturaleza difícil. La información de covarianza debería ser útil. Por ejemplo, en el caso Normal, si tenemos correlaciones perfectas para todos los pares posibles, significa que las observaciones aleatorias provienen de una media diferente + un término de ruido común. En este caso, el estimador ingenuo (mínimo de medias muestrales) es imparcial.
JaeHyeok Shin

3

EDITAR: lo siguiente responde a una pregunta diferente a la que se hizo: se enmarca como si se considera aleatorio, pero no funciona cuando se considera fijo, que es probablemente lo que el OP tenía en mente. Si se soluciona , no tengo una mejor respuesta queμ μ min ( μ 1 , . . . , μ n )μμμmin(μ^1,...,μ^n)


Si solo consideramos las estimaciones de la media y la covarianza, podemos tratar como una sola muestra de distribución normal multivariada. Una manera simple de obtener una estimación del mínimo es extraer una gran cantidad de muestras de , calcular el mínimo de cada muestra y luego tomar la media de esos mínimos.M V N ( μ , Σ )(μ1,...,μn)MVN(μ^,Σ)

El procedimiento anterior y sus limitaciones se pueden entender en términos bayesianos: tomando la notación de Wikipedia en MVN , si es la covarianza conocida de los estimadores y tenemos una observación, la distribución posterior conjunta es , donde y se derivan de la anterior en la que, antes de observar cualquier dato tomamos la previa ). Como probablemente no esté dispuesto a poner prioridades en , podemos tomar el límite como , lo que da como resultado una prioridad plana y la posterior se convierte enμ ~ M V N ( μ + m λ 0ΣλμMVN(μ^+mλ01+m,1n+mΣ) m μ ~ M V N ( λ 0 , m - 1 Σ μ m 0 μ ~ M V N ( μ , Σ ) μλ0mμMVN(λ0,m1Σμm0μMVN(μ^,Σ). Sin embargo, dado el plano anterior, suponemos implícitamente que los elementos de difieren mucho (si todos los números reales son igualmente probables, es muy poco probable obtener valores similares).μ

Una simulación rápida muestra que la estimación con este procedimiento sobreestima ligeramente cuando los elementos de difieren mucho y subestima cuando los elementos son similares. Se podría argumentar que sin ningún conocimiento previo este es un comportamiento correcto. Si está dispuesto a indicar al menos alguna información previa (por ejemplo, ), los resultados podrían comportarse un poco mejor para su caso de uso.μ m i n ( μ ) m = 0.1min(μ)μmin(μ)m=0.1

Si está dispuesto a asumir más estructura, podría elegir una mejor distribución que la multivariete normal. También podría tener sentido usar Stan u otro muestreador MCMC para ajustar las estimaciones de en primer lugar. Esto le dará un conjunto de muestras de que reflejan la incertidumbre en los estimadores mismos, incluida su estructura de covarianza (posiblemente más rica de lo que MVN puede proporcionar). Una vez más, puede calcular el mínimo para cada muestra para obtener una distribución posterior sobre mínimos, y tomar la media de esta distribución si necesita una estimación puntual.( μ 1 , . .μ(μ1,...,μn)


Tenga en cuenta que no estoy tratando de estimar el mínimo de N variables aleatorias. Estoy tratando de estimar el mínimo de N parámetros. Parece que su sugerencia es una estimación para mientras que necesito una estimación paraE[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)
Cagdas Ozgenc

Traté de editar la respuesta para explicar la lógica, espero que ayude.
Martin Modrák

Entonces, ¿este método de muestreo arroja mejores resultados en comparación con el estimador , que también funciona bien cuando está lejos separados y subestiman cuando están cerca. Para que sea útil, debería funcionar cuando están cerca. min(μ1^,μ2^,...,μn^)μi
Cagdas Ozgenc

También tenga en cuenta que todos son números positivos, por lo que realmente no necesita la parte negativa de la línea real. μi
Cagdas Ozgenc

1
Tienes razón en que ignoro los signos y no veo una manera simple de acomodarlos. Además, el estimador que propuse funciona mejor cuando se considera aleatorio, pero es peor que para fijo . No creo que pueda salvar esto y no estoy seguro de cuál es el mejor camino a seguir: me inclino a tratar de eliminar la respuesta, ya que en realidad no responde la pregunta, pero (espero) la respuesta también contiene algunas ideas que puede ser útil para alguien m i n ( μ ) μμmin(μ^)μ
Martin Modrák
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.