¿Límite inferior para probar la cercanía en la norma

11

Me preguntaba si había algún límite inferior (en términos de complejidad de la muestra) conocido por el siguiente problema:

Dado el acceso al oráculo de muestra a dos distribuciones desconocidas $D_1$ , $D_2$ en $\{1,\dots,n\}$ , prueba (whp) si

$D_1=D_2$
$\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu y col. [BFR + 00] mostró que las muestras eran suficientes, pero no he encontrado ninguna mención de un límite inferior. $O\left(\frac{1}{\epsilon^4}\right)$

Creo que uno siempre podría mostrar un límite inferior reduciendo la tarea de distinguir una moneda justa vs. imparcial a este problema (simulando una distribución soportada en solo dos puntos, y respondiendo las consultas del probador de acuerdo con los lanzamientos de monedas iid), pero eso todavía deja un vacío cuadrático ... $\Omega(\frac{1}{\epsilon^2})$ $\epsilon$

(Otro punto que me interesaría es un límite inferior para estimar (hasta un aditivo $\epsilon$ ) esta distancia $L_2$ ; nuevamente, no he encontrado ninguna referencia a dicho resultado en la literatura)

Gracias por tu ayuda,

— Clemente C.
fuente

Este problema prometedor parece muy similar al llamado diferencia estadística por Sahai y Vadhan, que es un problema completo para la clase SZK (conocimiento estadístico cero); sin embargo, usan distancia. cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Editar: también creo que están asumiendo que tienes un circuito que computa las distribuciones, no el acceso al oráculo)

L_{1}

$L_1$

— Usul

Hola, como se ha mencionado en otro comentario, la diferencia entre y norma es realmente crucial aquí - más lejos, en su de papel, establecieron una explícita (y no arbitraria) umbral (en una de las observaciones, explican que este umbral necesita satisfacer alguna restricción particular); y quiere distinguir vs. (que de alguna manera está más cerca de la prueba tolerante / estimación de distancia que "prueba habitual", donde desea probar vs. (pero para cualquier fijo )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clement C.

6

Parece que las muestras , como usul mostró a continuación, son suficientes para las pruebas, de modo que la complejidad de la muestra es exactamente ; en realidad, resulta que este número de muestras nos alcanza incluso lo suficiente para aprender hasta un aditivo wrt la norma . $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Sea la función de densidad empírica obtenida dibujando iid muestras y configurando Entonces donde . El $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ 's (para ) no son independientes, pero podemos escribir para que , y aplicando la desigualdad de Markov

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clemente C.
fuente

(Me refería a la respuesta de usul comenzando con "Intentaré reparar mi error anterior mostrando algo opuesto" , que en realidad está por encima de este. No esperaba esto :)) En cuanto al aprendizaje límite superior, se puede demostrar que el algoritmo más ingenuo (es decir, el que dibuja muestras y genera la densidad empírica que define) produce una distribución que es, con probabilidad constante, cerca de en la distancia .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clement C.

@DW Acabo de editar mi respuesta.

— Clement C.

3

Trataré de reparar mi error anterior mostrando algo opuesto: que las muestras son suficientes (el límite inferior de es casi apretado)! Mira lo que piensas ... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

La intuición clave comienza con dos observaciones. Primero, para que las distribuciones tengan una distancia de , debe haber puntos con alta probabilidad ( ). Por ejemplo, si tuviéramos puntos de probabilidad , tendríamos . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Segundo, considere distribuciones uniformes con una distancia de . Si tuviéramos puntos de probabilidad , entonces cada uno de ellos sería diferente en y serían suficientes muestras. Por otro lado, si tuviéramos puntos , cada uno necesitaría diferir por y nuevamente muestras (un número constante por punto) es suficiente. Así que podríamos esperar que, entre los puntos de alta probabilidad mencionados anteriormente, siempre haya algún punto que difiera "lo suficiente" como para que dibuje lo distinga. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algoritmo. Dado y un parámetro de confianza , dejemos que . Dibuje muestras de cada distribución. Deje ser el número de muestras más alto y más bajo respectivo para el punto . Si hay algún punto para el cual y , declare el distribuciones diferentes. De lo contrario, declare lo mismo. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Los límites de corrección y confianza ( ) dependen del siguiente lema que dice que toda la desviación en la distancia proviene de puntos cuyas probabilidades difieren en . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Reclamación. Supongamos que . Let. Deje . Entonces $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Prueba . Tenemos Atemos la segunda suma; deseamos maximizar sujeto a . Dado que la función es estrictamente convexa y aumenta, podemos aumentar el objetivo tomando cualquier y aumentando en mientras disminuimos en . Por lo tanto, el objetivo se maximizará con tantos términos como sea posible en sus valores máximos, y el resto en

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . El valor máximo de cada término es , y hay como máximo términos de este valor (ya que suman máximo ). Entonces

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Reclamo . Deje . Si , existe al menos un punto con y . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Prueba . Primero, todos los puntos en tienen por definición (y no puede estar vacío para en el reclamo anterior). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

Segundo, porque , tenemos o, reorganizando, entonces la desigualdad mantiene durante al menos un punto en . Ahora elige . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Reclamación (falsos positivos) . Si , nuestro algoritmo los declara diferentes con probabilidad como máximo . $D_1 = D_2$ $e^{-\Omega(M)}$

Esbozo . Considere dos casos: y . En el primer caso, el número de muestras de no excederá de ninguna de las distribuciones: el número medio de muestras es y un límite de cola dice que con probabilidad , las muestras de no exceden su media por un aditivo ; Si tenemos cuidado de mantener el valor en el límite de la cola, podemos unir el límite sobre ellos sin importar cuántos puntos haya (intuitivamente, el límite disminuye exponencialmente en el número de puntos posibles). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

En el caso , podemos usar un límite de Chernoff: dice que, cuando tomamos muestras y se dibuja un punto con probabilidad , la probabilidad de diferir de su media por es como máximo . Aquí, deje que , por lo que la probabilidad está limitada por . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Entonces, con probabilidad , (para ambas distribuciones) el número de muestras de está dentro de de su media . Por lo tanto, nuestra prueba no captará estos puntos (están muy cerca el uno del otro), y podemos unir los . $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Reclamación (falsos negativos) . Si , nuestro algoritmo los declara idénticos con probabilidad a lo sumo . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Esbozo . Hay algún punto con y . El mismo límite de Chernoff que en el reclamo anterior dice que con probabilidad , el número de muestras de difiere de su media como máximo . Eso es para (WLOG) distribución que tiene ; pero hay una probabilidad aún menor de la cantidad de muestras de de la distribución $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ difiere de su media por esta cantidad aditiva (ya que la media y la varianza son más bajas).

Entonces, con alta probabilidad, el número de muestras de de cada distribución está dentro de de su media; pero sus probabilidades difieren en , por lo que sus medias difieren en $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Entonces, con alta probabilidad, para el punto , el número de muestras difiere en al menos . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Para completar los bocetos, tendríamos que mostrar más rigurosamente que, para suficientemente grande, el número de muestras de es lo suficientemente cercano a su media que, cuando el algoritmo usa lugar de , no cambia nada (lo que debería ser sencillo al dejar margen de maniobra en las constantes). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
fuente

Hola, gracias por esto: tengo algunas preguntas sobre el algoritmo y el análisis (con respecto a un par de puntos que no estoy seguro de obtener): suponiendo que solo quiero al final una probabilidad constante de de éxito, eso significa que constante, si entiendo correctamente (a menos que no obtuve lo que era )? Entonces, en este caso, volviendo a : de acuerdo con el algoritmo, se convierte en , ¿es correcto?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clement C.

@ClementC. Lo siento, no estaba muy claro! La afirmación es que si muestras , entonces la probabilidad de estar equivocado es , entonces para una probabilidad constante de estar equivocado, sus muestras .

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

OK, eso es lo que reuní. Revisaré la prueba con esto en mente. ¡Gracias nuevamente por el tiempo que dedicó a esto!

— Clement C.

1

Puede comenzar tratando de resolver esto para el caso . Estoy bastante seguro de que las muestras serán necesarias y suficientes, en ese caso. $n=2$ $\Theta(1/\epsilon^2)$

Es posible que le puede resultar útil observar la conversión entre el distancia y la distancia (distancia total variación). $L_2$ $L_1$

Se sabe que, con una muestra, si se conocen las distribuciones, la distancia de variación total caracteriza perfectamente la ventaja con la que se puede distinguir de . Por lo tanto, si la distancia de variación total es grande y se conocen las distribuciones, se puede construir una prueba que sea correcta con alta probabilidad; Si la distancia de variación total es pequeña, no se puede. No sé qué se puede decir sobre el caso donde la distancia de variación total es grande pero las distribuciones son desconocidas. $D_1$ $D_2$
A continuación lo podría hacer en las distribuciones de productos, y . Usando la distancia de variación total (distancia ), no parece haber ningún bueno que se relacione con . Sin embargo, cuando distancia , creo que hay buenas estimaciones de en función de . (Desafortunadamente, parece que no puedo desenterrar una referencia específica a esos estimados / límites, así que espero no estar recordando mal). También hay límites conocidos que le permiten estimar la distancia en función de la distancia . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Por lo tanto, un enfoque que podría intentar sería vincular , y luego obtener un límite en . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

No sé si esto llevará a algún lugar bueno o no; Es solo una idea. Probablemente los autores del artículo que cita ya hayan intentado o considerado algo como esto.

Posiblemente referencias útiles:

— DW
fuente

¡Hola, gracias por su respuesta! Sin embargo, estoy interesado en un límite inferior asintótico, cuando . En particular, la relación entre y normas implica una el factor - lo que significa que son de hecho equivalentes para constante, pero asintóticamente muy diferente; usar la L_1 como proxy no es una opción, por lo que puedo decir (en cuanto a la prueba de cercanía en la distancia de , se sabe que la complejidad exacta es [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clemente C.

0

EDITAR: esto es incorrecto! Vea la discusión en los comentarios. Señalaré la falla a continuación.

Creo que podemos decir que se requieren . $\frac{1}{\epsilon^4}$

Establezca . Deje que sea la distribución uniforme (probabilidad de cada punto ) y deje que difiera del uniforme por una cantidad aditiva en cada punto. Compruebe que la distancia es . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Así que tenemos que distinguir una moneda impar de caras de una moneda impar de caras . Creo que esto debería ser al menos tan difícil como decirle a un moneda al aire -sided de un -sided la moneda -biased, lo que requeriría muestras. Editar: esto es incorrecto! La moneda es aditiva imparcial, pero está sesgada multiplicativamente por un factor constante. Como señala DW, eso significa que un número constante de muestras por punto distingue a de . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Tenga en cuenta que es lo más lejos que podemos empujar esta línea de argumento. Concretamente, supongamos que intentamos aumentar a, digamos, . En la distribución uniforme, cada punto tiene probabilidad . Pero en , necesitaríamos que cada punto varíe del uniforme por . Eso no es posible desde . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Más abstractamente, supongamos que queremos que cada punto varíe del uniforme por . Entonces, lo máximo que podemos establecer sería . Para obtener una distancia de , debemos asegurarnos de que la raíz cuadrada de la suma de las distancias es , entonces , entonces entonces , y obtenemos . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Además, creo que el mismo argumento dice que, si estamos interesados en la distancia con , requerimos , por lo que elegiríamos , por lo que el número de muestras sería . Creo que esto tiene sentido como un límite que es independiente de . Se acerca al infinito como . Si intentara distinguir dos distribuciones a distancia de sin límite en , yo haría ilimitadamente grande y distribuiría la diferencia arbitrariamente delgada, por lo que nunca podría distinguirlos ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ es decir, no es suficiente un número fijo de muestras para todas las ). También se acerca a como ; esto tiene sentido como un límite porque, para la norma , podemos establecer y dejar que cada punto difiera en ; necesitamos muestrear algunos puntos veces para asegurarnos de que difiere del uniforme, que tomará muestras . $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
fuente

1. ¿Realmente quiere decir que difiere del uniforme en en cada punto? Sospecho que es un error tipográfico y querías decir .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. No compro que distinguir de requiera muestras. Me parece que las muestras son suficientes. Explicación (intuición): supongamos que reunimos muestras y contamos cuántas veces ocurre cada valor posible. Si vinieron de , cada uno debería ocurrir 100 veces (con std dev 10). Si vinieron de , cada uno debería ocurrir 200 veces (std dev 14) para la mitad de ellos, / 0 veces (std dev 0) para la otra mitad. Eso es bastante fácil de distinguir entre los dos, si sabes que estás tratando con o .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) tienes razón! Fijo. (2) Como usted lo expresa, estoy de acuerdo, pero creo que con diferentes opciones de constantes es más difícil. Me imagino algo como esto: , entonces pone la probabilidad en cada punto. Entonces difiere en en cada punto (verifique que la distancia sea ), por lo que pone la probabilidad o en cada punto.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Creo que las muestras siguen siendo suficientes. Reúna muestras y cuente cuántas veces ocurre cada valor posible. Para , cada uno debe ocurrir 1,000,000 de veces (std dev ). Para , cada uno debe aparecer 900,000 veces (std dev ) o 1,100,000 veces (std dev ). Es bastante fácil distinguir entre los dos, si sabemos que estamos tratando con o , porque la diferencia entre 1,000,000 y 1,100,000 es 100 desviaciones estándar, es decir, enorme.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Lo pensé más, tienes razón. Si sus medias difieren en un factor multiplicativo constante, entonces un número constante de muestras por punto debería distinguirlas. Es el factor multiplicativo no aditivo lo que importa. Este enfoque solo da un límite inferior de .

1 / ϵ^{2}

$1/\epsilon^2$

— usul