¿Puede el aprendizaje automático aprender una función como encontrar el máximo de una lista?

Tengo una entrada que es una lista y la salida es el máximo de los elementos de la lista de entrada.

¿Puede el aprendizaje automático aprender una función que siempre selecciona el máximo de los elementos de entrada presentes en la entrada?

Esto puede parecer una pregunta bastante básica, pero podría darme una idea de lo que el aprendizaje automático puede hacer en general. ¡Gracias!

Tal vez , pero tenga en cuenta que este es uno de esos casos en los que el aprendizaje automático no es la respuesta . Existe una tendencia a intentar el aprendizaje automático de calzador en casos donde realmente, las soluciones basadas en reglas estándar son más rápidas, más simples y, en general, la elección correcta: P

Solo porque puedas, no significa que debas

Editar : Originalmente escribí esto como "Sí, pero tenga en cuenta que ...", pero luego comencé a dudar de mí mismo, ya que nunca lo había visto. Lo probé esta tarde y ciertamente es factible:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

La salida es 0.74576, por lo que está encontrando correctamente el máximo 74.5% del tiempo. No tengo dudas de que eso podría mejorarse, pero como digo, este no es un caso de uso que recomendaría para ML.

EDIT 2 : en realidad volví a ejecutar esta mañana usando el RandomForestClassifier de sklearn y funcionó significativamente mejor:

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Y la puntuación aquí es del 94,4% de las muestras con el máximo correctamente identificado, lo cual es bastante bueno.

Sí. Muy importante, USTED decide la arquitectura de una solución de aprendizaje automático. Las arquitecturas y los procedimientos de capacitación no se escriben solos; deben diseñarse o crearse una plantilla y la capacitación sigue como un medio para descubrir una parametrización de la arquitectura que se ajusta a un conjunto de puntos de datos.

Puede construir una arquitectura muy simple que realmente incluya una función máxima:

net(x) = a * max(x) + b * min(x)

donde a y b son parámetros aprendidos.

Dadas suficientes muestras de entrenamiento y una rutina de entrenamiento razonable, esta arquitectura muy simple aprenderá muy rápidamente a establecer a 1 yb a cero para su tarea.

El aprendizaje automático a menudo toma la forma de entretener múltiples hipótesis sobre la creación y transformación de puntos de datos de entrada, y aprender a preservar solo aquellas hipótesis que están correlacionadas con la variable objetivo. Las hipótesis se codifican explícitamente en la arquitectura y las subfunciones disponibles en un algoritmo parametrizado, o como los supuestos codificados en un algoritmo "sin parámetros".

Por ejemplo, la elección de usar productos de punto y no linealidades, como es común en la red neuronal de vainilla ML, es algo arbitraria; expresa la hipótesis general de que una función puede construirse utilizando una estructura de red composicional predeterminada de transformaciones lineales y funciones de umbral. Las diferentes parametrizaciones de esa red incorporan diferentes hipótesis sobre qué transformaciones lineales utilizar. Se puede usar cualquier caja de herramientas de funciones y el trabajo de un aprendiz de máquina es descubrir mediante diferenciación o prueba y error o alguna otra señal repetible qué funciones o características en su conjunto minimizan mejor una métrica de error. En el ejemplo dado anteriormente, la red aprendida simplemente se reduce a la función máxima en sí misma, mientras que una red indiferenciada podría "aprender" alternativamente una función mínima. Estas funciones se pueden expresar o aproximar por otros medios, como en la función de regresión neta lineal o neural en otra respuesta. En resumen, realmente depende de qué funciones o piezas de LEGO tenga en su caja de herramientas de arquitectura ML.

Sí, el aprendizaje automático puede aprender a encontrar el máximo en una lista de números.

Aquí hay un ejemplo simple de aprender a encontrar el índice del máximo:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

Algoritmos de aprendizaje

En lugar de aprender una función como un cálculo realizado por una red neuronal de retroalimentación, hay todo un dominio de investigación sobre algoritmos de aprendizaje a partir de datos de muestra. Por ejemplo, uno podría usar algo como una Máquina Neural de Turing o algún otro método en el que la ejecución de un algoritmo esté controlada por el aprendizaje automático en sus puntos de decisión. Los algoritmos de juguete como encontrar un máximo, ordenar una lista, revertir una lista o filtrar una lista se usan comúnmente como ejemplos en la investigación de aprendizaje de algoritmos.

Excluiré los diseños educados de mi respuesta. No, no es posible utilizar una salida de la máquina de aprendizaje caja (ML) a totalmente representar la función máxima para arbitrarias listas con precisión arbitraria. ML es un método basado en datos y está claro que no podrá aproximar una función en regiones donde no tiene ningún punto de datos. Por lo tanto, el espacio de posibles observaciones (que es infinito) no puede ser cubierto por observaciones finitas.

Mis declaraciones tienen una base teórica con el Teorema de aproximación universal de Cybeko para redes neuronales. Citaré el teorema de Wikipedia:

$\mathbb{R}^n$

$\mathbb{R}^n$$x\in \mathbb{R}$

Si su espacio de observaciones es compacto, entonces podría aproximar la función máxima con un conjunto de datos finito. Como la respuesta más votada dejó en claro, ¡no debes reinventar la rueda!

Aquí hay una expansión de mi comentario. Como prefacio, absolutamente @DanScally tiene razón en que no hay razón para usar ML para encontrar el máximo de una lista. Pero creo que su "podría darme una idea de lo que el aprendizaje automático puede hacer en general" es una razón suficiente para profundizar en esto.

$\max$$\max$

Los comentarios y la respuesta de @ MachineLearner plantearon teoremas de aproximación universales: en un dominio acotado , una red neuronal puede aproximar cualquier función razonablemente agradable como , pero no podemos esperar a priori aproximar en una entrada arbitraria, ni exactamente calcular cualquier lugar.$\max$$\max$$\max$

Pero resulta que una red neuronal puede ordenar exactamente números de entrada arbitrarios. De hecho, enteros -bit se pueden ordenar por una red con sólo dos capas ocultas de tamaño cuadrática. Profundidad de redes neuronales eficientes para problemas de división y relacionados , Teorema 7 en la página 955; Muchas gracias a @MaximilianJanisch en esta respuesta por encontrar esta referencia.$n$ $n$

Describiré brevemente una simplificación del enfoque en ese documento para producir la función para entradas distintas arbitrarias. La primera capa oculta consiste en neuronas, cada una representando la variable indicadora , para . Estos se construyen fácilmente como con un indicador de paso. La siguiente capa tiene neuronas, una para cada entrada ; comience con la suma ; es decir, el número de tal que , y por lo tanto la posición de$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$ en la lista ordenada. Para completar el argumento argmax, solo pon umbral a esta capa. En este punto, si pudiéramos multiplicar, obtendríamos el valor máximo real con bastante facilidad. La solución en el trabajo es usar la representación binaria de los números, en cuyo punto la multiplicación binaria es la misma que la suma de umbral. Para obtener el argmax, es suficiente tener una función lineal simple multiplicando el ésimo indicador por y sumando.ii
$i$$i$

Finalmente, para la siguiente pregunta: ¿podemos entrenar a un NN en este estado? @DanScally nos ayudó a comenzar; ¿Quizás conocer la arquitectura teórica nos pueda ayudar a engañarnos en la solución? (Tenga en cuenta que si podemos aprender / aproximar el conjunto particular de pesos anterior, la red realmente funcionará bien fuera del rango de las muestras de entrenamiento).

Cuaderno en github / Colab

Cambiando las cosas un poco, obtengo un mejor puntaje de prueba (0.838), e incluso las pruebas en una muestra fuera del rango de entrenamiento original obtienen un puntaje decente (0.698). Usando entradas escaladas a$[-1,1]$obtiene el puntaje de la prueba hasta 0.961, con un puntaje fuera de rango de 0.758. Pero, estoy puntuando con el mismo método que @DanScally, lo que parece un poco deshonesto: la función de identidad puntuará perfectamente en esta métrica. También imprimí algunos coeficientes para ver si aparece algo cercano al ajuste exacto descrito anteriormente (en realidad no); y algunos resultados en bruto, que sugieren que el modelo es demasiado tímido para predecir un máximo, errando por el lado de predecir que ninguna de las entradas es el máximo. Quizás modificar el objetivo podría ayudar, pero en este punto ya he dedicado demasiado tiempo; Si a alguien le interesa mejorar el enfoque, siéntase libre de jugar (en Colab si lo desea) y hágamelo saber.

Sí, incluso un aprendizaje automático tan simple como los mínimos cuadrados lineales comunes pueden hacer esto si utiliza cierta inteligencia aplicada.

(Pero la mayoría consideraría esta exageración bastante horrible).

(Asumiré que queremos encontrar el máximo de abs del vector de entrada):

1. Seleccione una función monotónicamente decreciente de valor absoluto, por ejemplo $$f(x) = \frac{1}{x^2}$$
2. Construya una matriz diagonal de . Llamémoslo$f({\bf r})$$\bf C_r$
3. Vector de generación completa de los .$\bf S$
4. Construye y resuelve el sistema de ecuaciones$(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. Llamemos vector de resultado , será una medida de probabilidad (sumas a 1), podemos volver a pesarlo de forma no lineal, por ejemplo$\bf p$ $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. Simplemente calcule el producto escalar con el vector índice y redondee.