¿Por qué los pesos de las redes RNN / LSTM se comparten a lo largo del tiempo?

Recientemente me interesé en los LSTM y me sorprendió saber que los pesos se comparten a lo largo del tiempo.

• Sé que si comparte los pesos a lo largo del tiempo, sus secuencias de tiempo de entrada pueden ser de longitud variable.

• Con los pesos compartidos tiene muchos menos parámetros para entrenar.

Según tengo entendido, la razón por la que uno recurriría a un LSTM frente a algún otro método de aprendizaje es porque cree que hay algún tipo de estructura / dependencia temporal / secuencial en sus datos que le gustaría aprender. Si sacrifica el 'lujo' de longitud variable y acepta un tiempo de cálculo prolongado, ¿un RNN / LSTM sin pesos compartidos (es decir, para cada paso de tiempo que tenga pesos diferentes) funcionaría mucho mejor o hay algo que me falta?

La respuesta aceptada se centra en el lado práctico de la pregunta: requeriría muchos recursos, si no se comparten los parámetros. Sin embargo, la decisión de compartir parámetros en un RNN se tomó cuando cualquier cálculo serio era un problema (1980 según wiki ), por lo que creo que no fue el argumento principal (aunque todavía es válido).

Hay razones puramente teóricas para compartir parámetros:

• Ayuda a aplicar el modelo a ejemplos de diferentes longitudes. Mientras lee una secuencia, si el modelo RNN usa parámetros diferentes para cada paso durante el entrenamiento, no se generalizará a secuencias invisibles de diferentes longitudes.

• A menudo, las secuencias operan de acuerdo con las mismas reglas en toda la secuencia. Por ejemplo, en PNL:

                                                     "El lunes estaba nevando"

                                                     "Estaba nevando el lunes"

... estas dos oraciones significan lo mismo, aunque los detalles están en diferentes partes de la secuencia. El intercambio de parámetros refleja el hecho de que estamos realizando la misma tarea en cada paso, como resultado, no tenemos que volver a aprender las reglas en cada punto de la oración.

LSTM no es diferente en este sentido, por lo tanto, también utiliza parámetros compartidos.

La perspectiva de los 'pesos compartidos' proviene de pensar en los RNN como redes de avance desplegadas a través del tiempo. Si los pesos fueran diferentes en cada momento en el tiempo, esto sería solo una red de avance. Pero, supongo que otra forma de pensarlo sería como un RNN cuyos pesos son una función que varía en el tiempo (y eso podría permitirle mantener la capacidad de procesar secuencias de longitud variable).

Si hiciera esto, el número de parámetros crecería linealmente con el número de pasos de tiempo. Eso sería una gran explosión de parámetros para secuencias de cualquier longitud apreciable. De hecho, haría que la red fuera más poderosa si tuviera los recursos computacionales masivos para ejecutarla y los datos masivos para restringirla. Para secuencias largas, probablemente sería computacionalmente inviable y obtendría un sobreajuste. De hecho, las personas generalmente van en la dirección opuesta al ejecutar la propagación hacia atrás truncada a través del tiempo, que solo desenrolla la red durante un corto período de tiempo, en lugar de a lo largo de toda la secuencia. Esto se hace por viabilidad computacional. Curiosamente, los RNN aún pueden aprender la estructura temporal que se extiende más allá de la longitud de truncamiento, porque las unidades recurrentes pueden almacenar memoria de antes.

Creo que, dado que las RNN con recurrencias ocultas u ocultas (y pesos compartidos en el tiempo) son equivalentes a las Máquinas Turing universales, dejarlas tener diferentes pesos para diferentes pasos de tiempo no las hace más poderosas.