Intervalos de confianza para un polinomio

Tengo una variable aleatoria que toma valores en los enteros no negativos , llama a las probabilidades para cada resultado . Puedo tomar muestras de la distribución de independiente y económica; Actualmente tengo un tamaño de muestra de . Parece que , con una disminución aproximadamente exponencial.$Z$$\{ 0,1,2,\dots \}$$z_k:=P[Z=k]$$Z$$2^{28}$$z_0\approx 0.24, z_1\approx 0.18,\dots$

Tengo una secuencia de formas cuadráticas con coeficientes positivos:

• $Q_0(z_0) = \frac14 z_0^2$
• $Q_1(z_0,z_1) = \frac 12 {z_0 z_1}$
• ...
• $Q_7(z_0,z_1,\dots,z_7) = \frac{1}{8} \left(2 z_0 z_1+3 z_2 z_1+4 z_4 z_1+4 z_6 z_1+3 z_0 z_3 + \right.$ $\qquad\qquad\qquad\qquad\qquad\qquad \left. +4 z_2 z_3+4 z_3 z_4+4 z_0 z_5+4 z_2 z_5+4 z_0 z_7\right)$
• ...

Lo que me gustaría tener es un intervalo de confianza para las que tenga menos de ancho, pero tomaré lo que pueda conseguir.$Q_i$$10^{-4}$

Tengo límites rigurosos en , y dado que los coeficientes de las son todos positivos, es sencillo convertirlos en límites rigurosos para las 's. Pero no sé cómo hacer esto correctamente con intervalos de confianza.$z_i$$Q$$Q$

---

¿De qué se trata esto? Encontré un fenómeno extraño en la teoría de números, y sé cómo demostrar que realmente sucede, pero hacerlo requerirá un esfuerzo de programación de mi parte y una cantidad considerable de tiempo en nuestro clúster local. Antes de invertir ese tiempo y obstruir nuestra máquina, me gustaría estar más seguro de que el fenómeno es real.

Quiero cuantificar la razonabilidad de mi afirmación de que y . Mis estimaciones indican que es de alrededor de , razón por la cual quería CI en esa resolución.$Q_7<Q_6$$Q_7<Q_8$$Q_6-Q_7$$5\cdot 10^{-4}$

Fije un número entero grande , y deje que sea ​​un subconjunto elegido uniformemente de (es decir, cada subconjunto particular tiene una probabilidad de ser elegido). Sea la probabilidad de que exactamente de los números de no puedan escribirse como la suma de dos elementos de ; deje . Es un poco difícil de probar, pero existen esos límites y . Ahora no sorprende que sea ​​pequeño, y a medida que aumenta$n$$A$$\{1,2,\dots,n\}$$2^{-n}$$Q_k(n)$$k$$\{2,3,\dots,2n\}$$A$$Q_k = \lim_n Q_k(n)$$\sum_{k} Q_k =1$$Q_0$$k$$Q_k$aumenta, tiene un pico y luego decae exponencialmente. La parte extraña es que hay un sesgo contra 7. Es decir, experimentalmente y . Es decir, lo que no fue una sorpresa en realidad no es cierto: la distribución es bimodal.$Q_7< Q_6$$Q_7<Q_8$

Puedo expresar las '(usando alguna teoría) como arriba sin el límite en términos de esta otra distribución, definida por las ' s. Eso es útil porque tengo una manera de vincular rigurosamente los usando, como mencioné anteriormente, algunos cálculos grandes. Además, tengo un conjunto de datos muy grande para la variable$Q_i$$z_i$$z_i$$Z$

En mi respuesta, proporciono muchos enlaces a material de fondo para ahorrar espacio aquí. Voy a escribir mi respuesta tomando la información en los enlaces como se indica.

Creo que un enfoque bayesiano es un ajuste natural para este problema, especialmente porque solo buscas convencerte a ti mismo. Es un poco complicado usar intervalos de confianza para responder a la pregunta que realmente le interesa, a saber, cuán plausible es que y dada la muestra de distribución? El enfoque bayesiano le permite abordar esta pregunta directamente.$Q_{7}<Q_{6}$$Q_{7}<Q_{8}$$z_{i}$

Función de probabilidad

Sea la frecuencia observada del resultado entero en su muestra y sea el tamaño de la muestra. La función de probabilidad es proporcional a la distribución multinomial . Tiene la forma$f_k$$k$$N$

$L(z_{0},...z_{8};f_{0},...f_{8})=\prod_{i=0}^{8}{z_{i}}^{Nf_{i}}$ .

Distribución previa

La distribución de Dirichlet es la elección natural para la distribución previa porque es el conjugado anterior para la probabilidad multinomial. Tiene la forma

$p(z_{0},...z_{8};\alpha_{0},...,\alpha_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}-1}$

Este anterior tiene nueve hiperparámetros (los valores ), y son un poco difíciles de manejar. En este contexto de "muestra grande", cualquier elección razonable de valores de hiperparámetro tendrá una influencia insignificante en el resultado, pero aun así, creo que vale la pena dedicar un poco de esfuerzo a seleccionar valores razonables.$\alpha_i$

Así es como recomiendo configurar los hiperparámetros. Primero, tenga en cuenta que bajo esta distribución . A continuación, tenga en cuenta que la distribución de entropía máxima más simple sobre los naturales es la distribución geométrica . Así que establece$\mathrm{E}(z_{i})=\frac{\alpha_{i}}{\sum_{i=0}^{8}\alpha_{i}}$

$\alpha_{i+1}=r\alpha_{i}=r^{i}\alpha_{0},\,0<r<1,$

$\alpha_{0}=A\left(\frac{1-r}{1-r^{9}}\right).$

Entonces , por lo que la distribución de Los valores se centran en una distribución geométrica (truncada). Además, , por lo que el valor de controla la dispersión alrededor de esta expectativa pero no tiene ningún efecto sobre la expectativa sí mismo.$\mathrm{E}(z_{i})=r^{i}\left(\frac{1-r}{1-r^{9}}\right)$$z_{i}$$\mathrm{Var}\left(z_{i}\right)\propto\frac{1}{(A+1)}$$A$

Esta especificación reduce el número de hiperparámetros de los nueve valores de a poco y . Aplazaré la discusión de valores específicos de y por ahora.$\alpha_{i}$$r$$A$$r$$A$

Probabilidad posterior de la propuesta de interés.

La distribución posterior de los valores es la siguiente distribución de Dirichlet:$z_{i}$

$p(z_{0},...z_{8}|f_{0},...,f_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_{i}-1}.$

Deje que . La probabilidad posterior que le interesa es$\mathbb{Y}=\left\{ z_{0},...z_{8}|Q_7<Q_6 \text{ and } Q_7<Q_8\right\}$

$\Pr(Q_7<Q_6 \text{ and } Q_7<Q_8|f_0,...,f_8) \propto \int_{\mathbb{Y}}\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_i-1}dz_{i}.$

Esta integral es intractible, pero puede calcular numéricamente la probabilidad de interés utilizando el siguiente algoritmo de Monte Carlo.

Para de a ,$j$$1$$J$

1. Muestra un conjunto de valores de su distribución posterior.$z_i$

2. Use los valores muestreados para calcular donde es la función del indicador.$y_j=I(Q_{7}<Q_{6})I(Q_{7}<Q_{8})$$I(\cdot)$

Entonces .$\Pr(Q_7<Q_6 \text{ and }Q_7<Q_8|f_{0},...,f_{8})\approx \frac{\sum_{j=0}^Jy_j}{J}$

La precisión de la aproximación de Monte Carlo es como : le dará al menos dos decimales de precisión 19 veces de 20, le dará al menos tres lugares decimales de precisión 19 veces de 20, etc.$\sqrt{J}$$J=10^4$$J=10^6$

Y si su probabilidad posterior de interés no está cerca de 0 o 1, simplemente muestree más datos, enjuague y repita.

Hiperparámetros anteriores, segunda parte

El exponente de en la expresión para la densidad posterior es$z_i$

$\alpha_i + Nf_i - 1 = Ar^{i}\left(\frac{1-r}{1-r^{9}}\right) +Nf_i - 1 = A\mathrm{E}(z_i) +Nf_i - 1$

Se puede ver que el hiperparámetro juega el mismo papel en la distribución previa que juega en la probabilidad: es una especie de "tamaño de muestra anterior". Para asegurarse de que lo anterior tenga una influencia insignificante en la conclusión, simplemente elija un valor de tal que ; por ejemplo, .$A$$N$$A$$A\ll N$$A = 1$

Para establecer , tenga en cuenta que puede calcular la probabilidad previa de la proposición utilizando el mismo algoritmo de Monte Carlo descrito anteriormente pero con la distribución previa en lugar de la distribución posterior en el paso 1 del lazo. Intente encontrar un valor de que ofrezca una probabilidad previa de 0.5 (o menor, si cree que es más razonable).$r$$Q_7<Q_6 \text{ and } Q_7<Q_8$$r$

Supongo que z_k no son probabilidades sino frecuencias de muestra. Esto se debe a que, de lo contrario, Q_i (z_0, ..., z_i) no es una variable aleatoria. En ese caso, calcular la varianza de Q_i es álgebra directa. Primero defina los indicadores de evento Z_i, que es 1 si Z == i, 0 de lo contrario. Es una variable aleatoria de Bernoulli con probabilidad p_i. Puede calcular el primer y el segundo momento de cualquiera de estas variables y deben proporcionarle todos los términos necesarios para calcular la varianza de Q_i.

Kevin, ten cuidado ya que tendré que cambiar un poco tu notación: tus no son mis 's.$z_i$$z_i$

Creo que vale la pena probar la siguiente solución bayesiana. Cocine un parámetro aleatorio y deje que sea ​​condicionalmente iid, dado , con . Use la notación . Ya tiene una muestra de las 's, con . Defina las variables aleatorias Para (si esto no está claro, échale un vistazo ). Ahora, en esta formulación tus formas cuadráticas$\Lambda>0$$Z_1,\dots,Z_n$$\Lambda=\lambda$$Z_i\mid\Lambda = \lambda \sim \textrm{Poisson}(\lambda)$$Z=(Z_1,\dots,Z_n)$$z=(z_1,\dots,z_n)$$Z_i$$n=2^{28}$

$$\Theta_i = P\{Z_i=k\mid \Lambda\} = \frac{e^{-\Lambda}\Lambda^k }{k!} \, ,$$ $i\geq 0$$Q_i=Q_i(\Theta_0,\dots,\Theta_i) = Q_i(\Lambda)$ son funciones de . Entonces, los son aleatorios y desea determinar la probabilidad posterior Con un , usando el Teorema de Bayes tenemos Usted calcula generando iid partir de la distribución anterior (use R !) Y calculando $\Lambda$$Q_i$ $$P\{Q_7<Q_6 \,\,\,\textrm{and}\,\,\, Q_7<Q_8\mid Z=z\} \, . \qquad (*)$$ $\Lambda\sim\textrm{Gamma}(a,b)$ $$\Lambda\mid Z=z \sim \, \textrm{Gamma}\left( a + \sum_{i=1}^n z_i, b + n\right) \, .$$ $(*)$$\lambda_i$ $$\frac{1}{N} \sum_{i=1}^N I_{(-\infty,Q_6(\lambda_i))\cap(Q_8(\lambda_i),\infty)}(Q_7(\lambda_i)) \, ,$$ que converge, por la fuerte ley de los grandes números, a casi con seguridad. Para obtener un "sí" a su pregunta original, esta probabilidad posterior debe ser "lo suficientemente grande". Con una muestra tan grande ( ), creo que es posible jugar con los valores de y para que su elección previa no sea "informativa".$(*)$$n=2^{28}$$a$$b$