Los anteriores desafíos de golf de redes neuronales ( esto y aquello ) me inspiraron a plantear un nuevo desafío:

El reto

Encuentra la red neuronal feedforward más pequeño de tal manera que, dado cualquier vector 4-dimensional de entrada $(a,b,c,d)$ con las entradas de número entero en $[-10,10]$ , las salidas de la red $\textrm{sort}(a,b,c,d)$ con Un error de coordenadas estrictamente menor que $0.5$ .

Admisibilidad

Para este desafío, una red neuronal de avance se define como una composición de capas . Una capa es una función $L\colon\mathbf{R}^n\to\mathbf{R}^m$ que se especifica mediante una matriz $A\in\mathbf{R}^{m\times n}$ de pesos , un vector $b\in\mathbf{R}^m$ de sesgos y una función de activación $f\colon\mathbf{R}\to\mathbf{R}$ que se aplica coordenada- sabio:

Dado que las funciones de activación pueden ajustarse para cualquier tarea dada, necesitamos restringir la clase de funciones de activación para mantener este desafío interesante. Se permiten las siguientes funciones de activación:

• Identidad. $f(t)=t$

• ReLU. $f(t)=\operatorname{max}(t,0)$

• Softplus. $f(t)=\ln(e^t+1)$

• Tangente hiperbólica. $f(t)=\tanh(t)$

• Sigmoideo. $f(t)=\frac{e^t}{e^t+1}$

En general, una red neuronal admisible toma la forma $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ para algunos $k$ , donde cada capa $L_i$ está especificada por los pesos $A_i$ , sesgos $b_i$ , y una función de activación $f_i$ de la lista anterior. Por ejemplo, la siguiente red neuronal es admisible (aunque no satisface el objetivo de rendimiento de este desafío, puede ser un gadget útil):

Este ejemplo exhibe dos capas. Ambas capas tienen sesgo cero. La primera capa usa activación ReLU, mientras que la segunda usa activación de identidad.

Puntuación

Tu puntaje es el número total de cero pesos y sesgos .

(Por ejemplo, el ejemplo anterior tiene una puntuación de 16 ya que los vectores de sesgo son cero).

Octava , 96 88 87 84 76 54 50 pesos y sesgos

Esta red neuronal de 6 capas es esencialmente una red de clasificación de 3 pasos construida a partir de una red min/ maxcomponente muy simple . Es básicamente la red de ejemplo de wikipedia como se muestra a continuación, con una pequeña modificación: las dos primeras comparaciones se realizan en paralelo. Para evitar números negativos a través de ReLU, solo sumamos 100 primero, y luego restamos 100 nuevamente al final.

Entonces, esto solo debe considerarse como una línea de base, ya que es una implementación ingenua. Sin embargo, ordena todos los números posibles que no tienen una magnitud demasiado grande perfectamente. (Podemos ajustar el rango reemplazando 100 con otro número).

Pruébalo en línea!

componente max / min

Hay una manera ( considerablemente menos elegante , más elegante ahora, ¡gracias @xnor!) De encontrar el mínimo y el máximo de dos números usando menos parámetros:

Esto significa que tenemos que usar muchos menos pesos y sesgos.

Gracias @Joel por señalar que es suficiente hacer que todos los números sean positivos en el primer paso y revertirlo en el último, lo que hace -8 pesos. ¡Gracias @xnor por señalar un método máximo / mínimo aún más corto que genera -22 pesos! ¡Gracias @ DustinG.Mixon por la sugerencia de combinar ciertas matrices que resultan en otros -4 pesos!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

Pruébalo en línea!