Complejidad del circuito OR de un operador lineal denso

Considere el siguiente modelo de circuito monótono simple: cada puerta es solo un OR binario. ¿Cuál es la complejidad de una función $f(x)=Ax$ donde $A$ es una matriz booleana $n \times n$ con $O(n)$ 0? ¿Se puede calcular mediante circuitos OR de tamaño lineal?

Más formalmente, $f$ es una función de $n$ a $n$ bits. La $i$ -ésima salida de $f$ es $\bigvee_{j=1}^{n}(A_{ij} \land x_j)$ (es decir, un OR del subconjunto de bits de entrada dado por la $i$ -ésima fila de $A$ ).

Tenga en cuenta que los $O(n)$ 0 dividen las filas de $A$ en rangos $O(n)$ (subconjuntos que consisten en elementos consecutivos de $[n]$ ). Esto hace posible emplear estructuras de datos de consulta de rango conocidas. Por ejemplo, una estructura de datos de tabla dispersa se puede convertir en un circuito OR de tamaño $O(n\log n)$ . El algoritmo de Yao para consultas de operador de semigrupo de rango se puede convertir en un circuito casi lineal (de tamaño $O(\alpha(n) \cdot n)$ donde$\alpha(n)$ es inverso Ackermann)

En particular, ni siquiera sé cómo construir un circuito de tamaño lineal para un caso especial donde cada fila de $A$ contiene exactamente dos ceros. Si bien el caso de exactamente un cero en cada fila es fácil. (Cada función de salida puede calcularse mediante un OR de un prefijo $[1..k-1]$ y un sufijo $[k+1..n]$ , que puede calcularse previamente con $2n$ compuertas OR).

Esta es una respuesta parcial (afirmativa) en el caso cuando tenemos un límite superior en el número de ceros en cada fila o en cada columna.

Un rectángulo es una matriz booleana que consiste en una submatriz todo-1 y tiene ceros en otro lugar. Un rango OR r k ( A ) de una matriz booleana es el número más pequeño r de rectángulos, de modo que A se puede escribir como un OR (componente) de estos rectángulos. Es decir, cada entrada 1 de A es una entrada 1 en al menos uno de los rectángulos, y cada entrada 0 de A (donde Alice obtiene filas y columnas Bob). Como OP escribió, cada matriz booleana m × n A = ( a i , j ) define un mapeo $rk(A)$$r$$A$$A$$A$ es una entrada 0 en todos los rectángulos. Tenga en cuenta que log r k ( A ) es exactamente la complejidad de comunicación no determinista de la matriz $\log rk(A)$$A$$m\times n$$A=(a_{i,j})$ = A x , donde y i = ⋁ n j = 1 a i , j x j para i = 1 , ... , m . Es decir, tomamos un producto de matriz-vector sobre el semisele booleano. $y=Ax$$y_i=\bigvee_{j=1}^na_{i,j}x_j$$i=1,\ldots,m$

El siguiente lema se debe a Pudlák y Rödl; vea la Proposición 10.1 en este documento o el Lema 2.5 en este libro para una construcción directa.

Lema 1: Para cada matriz booleana n × n A , el mapeo y = A x puede calcularse mediante un circuito OR de ventilador sin límites de profundidad-3 utilizando como máximo cables O ( r k ( A ) ⋅ n / log n ) . $n\times n$$A$$y=Ax$$O(rk(A)\cdot n/\log n)$

También tenemos el siguiente límite superior en el rango OR de matrices densas. El argumento es una variación simple de la utilizada por Alon en este artículo .

Lema 2: si cada columna o cada fila de una matriz booleana A contiene como máximo d ceros, entonces r k ( A ) = O ( d ln | A | ) , donde | A | es el número de 1 s en A . $A$$d$$rk(A)=O(d\ln|A|)$$|A|$$1$$A$

Prueba: Construya una submatriz R aleatoria de todo 1 seleccionando cada fila independientemente con la misma probabilidad p = 1 / ( d + 1 ) . Deje que yo sea ​​el subconjunto aleatorio de filas obtenido. A continuación, dejar que R = I × J , donde J es el conjunto de todas las columnas de A que no tienen ceros en las filas de I . $1$$R$$p=1/(d+1)$$I$$R=I\times J$$J$$A$$I$

A 1 -entry ( i , j ) de A está cubierto por R si i fue elegido en I y ninguno de (como máximo d ) filas con un 0 en la j columna -ésimo fue elegido en I . Por lo tanto, la entrada ( i , j ) está cubierta con probabilidad al menos p ( 1 - p ) d ≥ p e - p d - p 2 d$1$$(i,j)$$A$$R$$i$$I$$d$$0$$j$$I$$(i,j)$p / e . Si aplicamos este procedimiento r veces para obtener r rectángulos, entonces la probabilidad de que ( i , j ) no esté cubierta por ninguno de estos rectángulos no excede ( 1 - p / e ) r ≤ e - r p / e . Por el límite de la unión, la probabilidad de que algunaentrada de 1 de A permanezca descubierta es como máximo | A | ⋅ e - r p /$p(1-p)^{d}\geq pe^{-pd-p^2d}\geq p/e$$r$$r$$(i,j)$$(1-p/e)^r\leq e^{-rp/e}$$1$$A$$|A|\cdot e^{-rp/e}$, que es menor que 1 para r = O ( d ln |$1$$r=O(d\ln|A|)$. $\Box$

Corollary: If every column or every row of a boolean matrix $A$ contains at most $d$ zeros, then the mapping $y=Ax$ can be computed by an unbounded fanin OR-circuit of depth-3 using $O(dn)$ wires.

I guess that a similar upper bound as in Lemma 2 should also hold when $d$ is the average number of $1$s in a column (or in a row). It would be interesting to show this.

Remark: (added 04.01.2018) An analogue $rk(A)=O(d^2\log n)$ of Lemma 2 also holds when $d$ is the maximum average number of zeros in a submatrix of $A$, where the average number of zeros in an $r\times s$ matrix is the total number of zeros divided by $s+r$. This follows from Theorem 2 in N. Eaton and V. Rödl;, Graphs of small dimension, Combinatorica 16(1) (1996) 59-85. A slightly worse upper bound $rk(A)=O(d^2\ln^2 n)$ can be derived directly from Lemma 2 as follows.

Lemma 3: Let $d\geq 1$. If every spanning subgraph of a bipartite graph $G$ has average degree $\leq d$, then $G$ can be written as a union $G=G_1\cup G_2$, where the maximum left degree of $G_1$ and the maximum right degree of $G_2$ are $\leq d$.

Proof: Induction on the number $n$ of vertices. The base cases $n=1$ and $n=2$ are obvious. For the induction step, we will color the edges in blue and red so that the maximum degree in both blue and red subgraphs are $\leq d$. Take a vertex $u$ of degree $\leq d$; such a vertex must exists because also the average degree of the entire graph must be $\leq d$. If $u$ belongs to the left part, then color all edges incident to $u$ in blue, else color all these edges in red. If we remove the vertex $u$ then the average degree of the resulting graph $G$ is also at most $d$, and we can color the edges of this graph by the induction hypothesis. $\Box$

Lemma 4: Let $d\geq 1$. If the maximum average number of zeros in a boolean $n\times n$ matrix $A=(a_{i,j})$ is at most $d$, then $rk(A)=O(d^2\ln^2 n)$.

Proof: Consider the bipartite $n\times n$ graph $G$ with $(i,j)$ being an edge iff $a_{i,j}=0$. Then the maximum average degree of $G$ is at most $d$. By Lemma 3, we can write $G=G_1\cup G_2$, where the maximum degree of the vertices on the left part of $G_1$, and the maximum degree of the vertices on the right part of $G_2$ is $\leq d$. Let $A_1$ and $A_2$ be the complements of the adjacency matrices of $G_1$ and $G_2$. Hence, $A= A_1\land A_2$ is a componentwise AND of these matrices. The maximum number of zeros in every row of $A_1$ and in every column of $A_2$ is at most $d$. Since $rk(A)\leq rk(A_1)\cdot rk(A_2)$, Lemma 2 yields $rk(A)=O(d^2\ln^2 n)$. $\Box$

N.B. The following simple example (pointed by Igor Sergeev) shows that my "guess" at the end of the answer was totally wrong: if we take $d=d(A)$ to be the average number of zeros in the entire matrix $A$ (not the maximum of averages over all submatrices), then Lemma 2 can badly fail. Let $m=\sqrt{n}$, and put an identity $m\times m$ matrix in, say left upper corner of $A$, and fill the remaining entries by ones. Then $d(A)\leq m^2/2n < 1$ but $rk(A)\geq m$, which is exponentially larger than $\ln|A|$. Note, however, that the OR complexity of this matrix is very small, is $O(n)$. So, direct arguments (not via rank) can yield much better upper bounds on the OR complexity of dense matrices.

(I tried to post this as a comment to Stasys' answer above, but this text is too long for a comment, so posting it as an answer.) Ivan Mihajlin (@ivmihajlin) came up with the following construction. Similarly to Stasys' proof, it works for the case when the maximum (rather than average) number of 0’s in each row is bounded.

First, consider the case when every row contains exactly two zeros. Consider the following undirected graph: the set of vertices is $[n]$; two nodes $i$ and $j$ are joined by an edge, if there is a row having zeros in columns $i$ and $j$. The graph has $n$ edges and hence it contains a cut $(L,R)$ of size at least $n/2$. This cut splits the columns of the matrix into two parts ($L$ and $R$). Let now also split the rows into two parts: the top part $T$ contains all columns that have exactly one zero in both $L$ and $R$; the bottom part $B$ contains all the remaining rows. What is nice about the top part of the matrix ($T \times (L \cup R)$) is that it can be computed by $O(n)$ gates. For the bottom part, let’s cut all-1 columns out of it and make a recursive call. The corresponding recurrence relation is $C(n) \le an + C(n/2)$ implying $C(n)=O(n)$.

Now, generalize it to the case of at most $d$ zeros in every row. Let $C_d(n)$ be the complexity of an $n \times (\le dn)$ matrix with at most $d$ zeros per row (if there are more than $dn$ columns, then some of them are all-1). Partition the columns into two parts $L$ and $R$ such that at least $n(1-2^{-d})$ rows (call them $T$) satisfy the following property: if there are exactly $d$ zeroes in a row, then not all of them belong to the same part (denote the remaining rows by $B$). Then make three recursive calls: $T \times L$, $T \times R$, and $B \times (L \cup R)$. This gives a recurrence relation $C_d(n) \le an + 2\cdot C_{d-1}(n(1-2^{-d}))+C_d(2^{-d}n)$. This, in turn, implies that $C_d(n) \le f(d)\cdot n$. The function $f(d)$ is exponential, but still.