Algoritmo eficiente para generar dos permutaciones difusas y desordenadas de un multiset al azar

Antecedentes

$\newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\gr$ Supongamos que tengo dos lotes idénticos de canicas. Cada canica puede ser uno de los colores , donde . Deje denotar el número de canicas de color en cada lote. $n$ $c$ $c≤n$ $n_i$ $i$

Sea $\msS$ el multiset $\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}$ representando un lote. En la representación de frecuencia , $\msS$ también se puede escribir como $(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c})$ .

El número de permutaciones distintas de $\msS$ viene dado por el multinomio :

| S S | = (n n 1 , n 2 , \dots , n c) = n ! n 1 ! n 2 ! \dots n c ! = n! \prod i = 1 c 1 n i ! .

$\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}.$

Pregunta

¿Existe un algoritmo eficiente para generar dos permutaciones difusas y desordenadas $P$ y $Q$ de $\msS$ al azar? (La distribución debe ser uniforme).

Una permutación $P$ es difusa si para cada elemento distinto $i$ de $P$ , las instancias de $i$ están espaciados a cabo más o menos uniformemente en $P$ .
Por ejemplo, supongamos que $\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}$ .
- $\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}$ no es difuso
- $\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}$ es difuso
Más rigurosamente:
- Si , solo hay una instancia de para “espaciar” en , así que dejemos . $n_i=1$ $i$ $P$ $\Delta(i)=0$
- De lo contrario, y mucho ser la distancia entre instancia y la instancia de en . Reste de ella la distancia esperada entre las instancias de , definiendo lo siguiente: Si está espaciada de manera uniforme en , entonces debe ser cero, o muy cerca de cero si . $d(i,j)$ $j$ $j+1$ $i$ $P$ $i$ $δ (i, j) = d (i, j) - n n i Δ (i) = \sum j = 1 n i - 1 δ (i, j) 2$ $\delta(i,j)=d(i,j)-\frac n{n_i}\qquad\qquad\Delta(i)=\sum_{j=1}^{n_i-1} \delta(i,j)^2$ $i$ $P$ $\Delta(i)$ $n_i\nmid n$
Ahora definir la estadística de para medir la cantidad de cada está espaciada de manera uniforme en . Llamamos difuso si está cerca de cero, o aproximadamente . (Se puede elegir un umbral específico para para que sea difuso si ) $s(P)=\sum_{i=1}^c\Delta(i)$ $i$ $P$ $P$ $s(P)$ $s(P)\ll n^2$ $k\ll1$ $\msS$ $P$ $s(P)<kn^2$

Esta restricción recuerda un problema de programación en tiempo real más estricto llamado problema del molinete con multiset (de modo que ) y densidad . El objetivo es programar una secuencia infinita cíclica manera que cualquier subsecuencia de longitud contenga al menos una instancia de . En otras palabras, un programa factible requiere todo ; si es denso ( ), entonces y . El problema del molinete parece ser NP-completo. $\ms A=n/\msS$ $a_i=n/n_i$ $\rho=\sum_{i=1}^c n_i/n=1$ $P$ $a_i$ $i$ $d(i,j)≤a_i$ $\ms A$ $\rho= 1$ $d(i,j)=a_i$ $s(P)=0$
Dos permutaciones y se alteran si es un trastorno de ; es decir, para cada índice . $P$ $Q$ $P$ $Q$ $P_i ≠ Q_i$ $i\in[n]$
Por ejemplo, supongamos que . $\msS=(\po^2\;\pt^2)=\{\po,\po,\pt,\pt\}$
- $\{\po, \pt, \po, \pt\}$ y no están alterados $\{\po, \po, \pt, \pt\}$
- $\{\po, \pt, \po, \pt\}$ y están alterados $\{\pt, \po, \pt, \po\}$

Análisis exploratorio

Estoy interesado en la familia de multisets con y para . En particular, dejemos . $n=20$ $n_i=4$ $i\lesssim4$ $\msD=(\gr1^4\,\gr2^4\,\gr3^4\,\gr4^3\,\gr5^2\,\gr6^1\,\gr7^1\,\gr8^1)$

La probabilidad de que dos permutaciones aleatorias y de están trastornados es de aproximadamente 3%. $P$ $Q$ $\msD$

Esto se puede calcular de la siguiente manera, donde es el polinomio th Laguerre: Vea aquí para una explicación. $L_k$ $k$
$| D D | | S D | p = \int \infty 0 d t e - t \prod i = 1 c L n i (t) = \int \infty 0 d t e - t (L 4 (t)) 3 (L 3 (t)) (L 2 (t)) (L 1 (t)) 3 = 4.5 \times 1011 = n! \prod i = 1 c 1 n i ! = 20 ! ( 4 ! ) 3 ( 3 ! ) ( 2 ! ) ( 1 ! ) 3 = 1.5 \times 1013 = | D D | / | S D | \approx 0.03$ $\begin{align*} \left|{\mathfrak D}_{\msD}\right| &=\int_0^\infty \!\!dt\; e^{-t}\, \prod_{i=1}^c L_{n_i}(t) =\int_0^\infty \!\!dt\; e^{-t}\, \bigl(L_4(t)\bigr)^3\bigl(L_3(t)\bigr)\bigl(L_2(t)\bigr)\bigl(L_1(t)\bigr)^3\\ &=4.5\times10^{11}\\ \left|\mfS_{\msD}\right| &=n!\prod_{i=1}^c \frac1{n_i!} =\frac{20!}{(4!)^3\,(3!)\,(2!)\,(1!)^3} =1.5\times10^{13}\\ p&=\left|{\mathfrak D}_{\msD}\right|/ \left|\mfS_{\msD}\right|\approx0.03\end{align*}$
La probabilidad de que una permutación aleatoria de sea difusa es de aproximadamente 0.01%, estableciendo el umbral arbitrario en aproximadamente . $P$ $\msD$ $s(P)<25$

A continuación se muestra una gráfica de probabilidad empírica de 100,000 muestras de donde es una permutación aleatoria de . $s(P)$ $P$ $\msD$

En tamaños de muestra medios, . $s(P)\sim \text{Gamma}(\alpha\approx8,\beta\approx18)$

$P {1, 8, 2, 3, 4, 1, 5, 2, 3, 6, 1, 4, 2, 3, 7, 1, 5, 2, 4, 3} {8, 2, 3, 4, 1, 6, 5, 2, 3, 4, 1, 7, 1, 2, 3, 5, 4, 1, 2, 3} {3, 6, 5, 1, 3, 4, 2, 1, 2, 7, 8, 5, 2, 4, 1, 3, 3, 2, 1, 4} {3, 1, 3, 4, 8, 2, 2, 1, 1, 5, 3, 3, 2, 6, 4, 4, 2, 1, 7, 5} {4, 1, 1, 4, 5, 5, 1, 3, 3, 7, 1, 2, 2, 4, 3, 3, 8, 2, 2, 6} s (P) 11 9 \approx 1 140 9 \approx 16 650 9 \approx 72 1223 9 \approx 136 1697 9 \approx 189 cdf (s (P)) < 10 - 5 < 10 - 4 < 1 0.05 < 1 0.45 < 1 0.80$ $\begin{array}{ccl}\renewcommand\mfm[1]{\textbf{#1}} \hline P & s(P) & \text{cdf}(s(P)) \\ \hline \{\po, \ss8, \pt, \pth, \pf, \po, \pv, \pt, \pth, \ss6, \po, \pf, \pt, \pth, \ss7, \po, \pv, \pt, \pf, \pth\} & \frac{11}9\approx1\, & <10^{-5} \\ \{\ss8, \pt, \pth, \pf, \po, \ss6, \pv, \pt, \pth, \pf, \po, \ss7, \po, \pt, \pth, \pv, \pf, \po, \pt, \pth\} & \frac{140}9\approx16 & <10^{-4} \\ \{\pth, \ss6, \pv, \po, \pth, \pf, \pt, \po, \pt, \ss7, \ss8, \pv, \pt, \pf, \po, \pth, \pth, \pt, \po, \pf\} & \frac{650}9\approx72 & \phantom{<1}0.05 \\ \{\pth, \po, \pth, \pf, \ss8, \pt, \pt, \po, \po, \pv, \pth, \pth, \pt, \ss6, \pf, \pf, \pt, \po, \ss7, \pv\} & \frac{1223}9\approx136 & \phantom{<1}0.45 \\ \{\pf, \po, \po, \pf, \pv, \pv, \po, \pth, \pth, \ss7, \po, \pt, \pt, \pf, \pth, \pth, \ss8, \pt, \pt, \ss6\} & \frac{1697}9\approx189 & \phantom{<1}0.80 \\ \hline \end{array}$

La probabilidad de que dos permutaciones aleatorias sean válidas (difusas y desordenadas) es de alrededor de . $v\approx(0.03)(0.0001)^2\approx10^{-10}$

Algoritmos ineficientes

Un algoritmo común "rápido" para generar un desorden aleatorio de un conjunto se basa en el rechazo:

hacer
     P ← aleatorio_permutación ( D )
hasta que is_derangement ( D , P )
volver P

lo que requiere aproximadamente iteraciones, ya que existen aproximadamente posibles alteraciones. Sin embargo, un algoritmo aleatorio basado en rechazo no sería eficiente para este problema, ya que tomaría el orden de iteraciones. $e$ $n!/e$ $1/v\approx10^{10}$

En el algoritmo utilizado por Sage , un desorden aleatorio de un conjunto múltiple "se forma al elegir un elemento al azar de la lista de todos los desordenes posibles". Sin embargo, esto también es ineficiente, ya que hay permutaciones válidas para enumerar, y además, uno necesitaría un algoritmo para hacerlo de todos modos. $v\,|\mfS_{\msD}|^2\approx10^{16}$

Mas preguntas

¿Cuál es la complejidad de este problema? ¿Se puede reducir a cualquier paradigma familiar, como el flujo de red, la coloración de gráficos o la programación lineal?

— hftf
fuente

Con respecto a su definición de "espaciado", ¿no quiere para con como centinelas? Es decir, un solo elemento debe estar en el medio, dos deben dividir la permutación en tercios, y así sucesivamente.

d(i,j)−n/(ni+1) $d(i,j) - n/(n_i + 1)$

0≤i≤j≤n+1 $0 \leq i \leq j \leq n+1$

P0=Pn+1=i $P_0 = P_{n+1} = i$

— Raphael

¿Qué sucede si para mal (pequeño, pero lo suficientemente grande); Cómo podemos siquiera tenemos difusas permutaciones que? ¡Ciertamente no soportamos un cambio para encontrar dos trastornados! Parece que ningún elemento puede ocurrir más de veces.

S={1n−k,2k} $S = \{ 1^{n-k}, 2^k\}$

k $k$

n/2 $n/2$

— Raphael

¿Cuál es la proporción de todos los pares de permutaciones desordenadas entre todos los pares de permutaciones difusas ? Del mismo modo, de todos los pares de permutaciones trastornadas, ¿cuántas consisten en dos difusas? (Si cualquiera de las proporciones es "alta", podemos concentrar nuestro esfuerzo en la mitad del proceso, dejando la otra en rechazo.)

— Rafael

@Raphael (# 3a) De 1 millón de permutaciones aleatorias de , estas 561 difusas tenían . de los pares están alterados.

D $\mathsf D$

s(P)≤30 $s(P)\le 30$

6118/(5612)=6118/157080≈3.9% $6118/\binom{561}{2}=6118/157080\approx3.9\%$

— hftf

@Raphael (# 3b) De 10 millones de pares aleatorios de permutaciones de , 306893 pares se alteraron. Solo 29 de esos pares tenían ambas permutaciones con . Aquí hay un histograma ( valores ).

D $\mathsf D$

s(P)≤50 $s(P)\le50$

— hftf

Respuestas:

Un enfoque: puede reducir esto al siguiente problema: Dada una fórmula booleana , elija una asignación uniformemente al azar entre todas las asignaciones satisfactorias de . Este problema es NP-hard, pero existen algoritmos estándar para generar una que se distribuye de manera aproximadamente uniforme, tomando prestados métodos de los algoritmos #SAT. Por ejemplo, una técnica es elegir una función hash $\varphi(x)$ $x$ $\varphi(x)$ $x$ $h$ cuyo rango tenga un tamaño cuidadosamente elegido (aproximadamente el mismo tamaño que el número de asignaciones satisfactorias de ), elegir uniformemente al azar un valor dentro del rango de $\varphi$ $y$ $h$ , y luego use un solucionador SAT para encontrar una asignación satisfactoria a la fórmula . Para hacerlo eficiente, puede elegir como un mapa lineal disperso. $\varphi(x) \land (h(x)=y)$ $h$

Esto podría ser disparar una pulga con un cañón, pero si no tiene otros enfoques que parezcan factibles, este es uno que podría probar.

— DW
fuente

encontrando esto difícil de seguir. es un valor booleano y es una cadena binaria (conjunto de variables binarias)? entonces la ecuación final significa ...

φ(x) $\varphi(x)$

h(x) $h(x)$

— vzn

en el chat de cs se inició una discusión / análisis extendido de este problema con antecedentes adicionales que descubrieron cierta subjetividad en los complejos requisitos del problema pero no encontraron errores o descuidos directos. ¹

Aquí hay un código probado / analizado que, en comparación con la otra solución basada en SAT, es relativamente "rápido y sucio", pero no fue trivial / difícil de depurar. se basa libremente en un esquema local de optimización pseudoaleatorio / codicioso algo similar a, por ejemplo, 2-OPT para TSP . la idea básica es comenzar con una solución aleatoria que se ajuste a alguna restricción, y luego perturbarla localmente para buscar mejoras, buscar codiciosamente las mejoras e iterar a través de ellas, y finalizar cuando se hayan agotado todas las mejoras locales. Un criterio de diseño fue que el algoritmo debería ser tan eficiente / evitar el rechazo tanto como sea posible.

Hay algunas investigaciones sobre algoritmos de trastorno [4], por ejemplo, utilizados en SAGE [5], pero no están orientados a múltiples conjuntos.

la perturbación simple es solo "intercambios" de dos posiciones en la tupla (s). La implementación es en rubí. A continuación se presenta una descripción general / notas con referencias a números de línea.

qb2.rb ( gist -github)

El enfoque aquí es comenzar con dos tuplas trastornadas (# 106) y luego mejorar localmente / con avidez la dispersión (# 107), combinada en un concepto llamado derangesperse(# 97), preservando el desorden. tenga en cuenta que intercambiar dos mismas posiciones en el par de tuplas preserva el desorden y puede mejorar la dispersión y ese es (parte de) el método / estrategia de dispersión.

el derange subrutina funciona de izquierda a derecha en la matriz (multiset) y se intercambia con elementos más adelante en la matriz donde el intercambio no es con el mismo elemento (# 10). el algoritmo tiene éxito si, sin más intercambios en la última posición, las dos tuplas todavía están alteradas (# 16).

Hay 3 enfoques diferentes para alterar las tuplas iniciales. la segunda tupla p2siempre se baraja. se puede comenzar con la tupla 1 ( p1) ordenada por a."potencias más altas de primer orden" (# 128), b.orden aleatorio (# 127) c.y "potencias más bajas de primer orden" ("potencias más altas de último orden") (# 126).

La rutina de dispersión dispersees más complicada pero conceptualmente no es tan difícil. nuevamente usa swaps. en lugar de tratar de optimizar la dispersión en general sobre todos los elementos, simplemente trata de aliviar de manera iterativa el peor de los casos actuales. la idea es encontrar los ^primeros elementos menos dispersos, de izquierda a derecha. la perturbación es intercambiar los elementos izquierdos o derechos ( x, yíndices) del par menos disperso con otros elementos pero nunca ninguno entre el par (lo que siempre disminuiría la dispersión), y también omitir el intento de intercambiar con los mismos elementos ( selecten # 71) . mes el índice del punto medio del par (# 65).

sin embargo, la dispersión se mide / optimiza sobre ambas tuplas en el par (# 40) usando la dispersión "menor / más a la izquierda" en cada par (# 25, # 44).

el algoritmo intenta intercambiar los elementos "más lejanos" 1 ^° ( sort_by / reverse# 71).

existen dos estrategias diferentes true, falsepara decidir si se intercambia el elemento izquierdo o derecho del par menos disperso (# 80), ya sea el elemento izquierdo para la posición de intercambio al elemento izquierdo / derecho al lado derecho, o el elemento más alejado a la izquierda o derecha en el par disperso del elemento de intercambio.

el algoritmo termina (# 91) cuando ya no puede mejorar la dispersión (ya sea moviendo la peor ubicación de dispersión hacia la derecha o aumentando la dispersión máxima en todo el par de tuplas (# 85)).

se generan estadísticas para rechazos superiores a c= 1000 desordenes en los 3 enfoques (# 116) y c= 1000 desordenadores (# 97), observando los 2 algoritmos dispersos para un par trastornado del rechazo (# 19, # 106). el último rastrea la dispersión promedio total (después del desorden garantizado). un ejemplo de ejecución es el siguiente

c       0.661000
b       0.824000
a       0.927000
[2.484, 2, 4]
[2.668, 2, 4]

esto muestra que el a-truealgoritmo proporciona mejores resultados con ~ 92% de no rechazo y una distancia de dispersión peor promedio de ~ 2.6, y un mínimo garantizado de 2 sobre 1000 ensayos, es decir, al menos 1 elemento intermedio no igual entre todos los pares del mismo elemento. Encontró soluciones tan altas como 3 elementos intermedios no iguales.

el algoritmo de desorden es el rechazo de tiempo lineal, y el algoritmo de dispersión (que se ejecuta en una entrada desordenada) parece ser posiblemente ~ . $O(n \log n)$

¹ el problema es encontrar arreglos de paquetes quizbowl que satisfagan el llamado "feng shui" [1] o un ordenamiento aleatorio "agradable" donde "agradable" es algo subjetivo y aún no cuantificado "oficialmente"; el autor del problema lo analizó / redujo a los criterios de desorden / dispersión basados en investigaciones realizadas por la comunidad de preguntas y "expertos en feng shui". [2] Hay diferentes ideas sobre las "reglas del feng shui". se ha realizado alguna investigación "publicada" sobre algoritmos, pero aparece en etapas tempranas. [3]

[1] Paquete feng shui / QBWiki

[2] Paquetes de Quizbowl y feng shui / Lifshitz

[3] Colocación de preguntas , foro del centro de recursos HSQuizbowl

[4] Generando desordenes al azar / Martinez, Panholzer, Prodinger

[5] Algoritmo de trastorno de salvia (python) / McAndrew

— vzn
fuente

Además, pensé, hay un problema técnico en la rutina de alteración y no siempre se modifica. la posición de intercambio puede avanzar sin intercambiar nada. Hay una solución simple para probar el éxito correctamente.

— vzn