¿Abandono en qué capas de LSTM?

Usando una capa múltiple LSTMcon caída, ¿es aconsejable colocar la caída en todas las capas ocultas, así como en las capas densas de salida? En el artículo de Hinton (que proponía Dropout) solo puso Dropout en las capas densas, pero eso fue porque las capas internas ocultas eran convolucionales.

Obviamente, puedo probar mi modelo específico, pero me preguntaba si había un consenso al respecto.

Prefiero no agregar abandono en las LSTMceldas por una razón específica y clara. LSTMsson buenos a largo plazo, pero una cosa importante acerca de ellos es que no son muy buenos para memorizar múltiples cosas simultáneamente. La lógica del abandono es agregar ruido a las neuronas para no depender de ninguna neurona específica. Al agregar el abandono de las LSTMcélulas, existe la posibilidad de olvidar algo que no debe olvidarse. En consecuencia, como CNNssiempre prefiero usar el abandono en capas densas después de las LSTMcapas.

No existe un consenso que pueda probarse en todos los tipos de modelos.

Pensando en el abandono como una forma de regularización, cuánto de él aplicar (y dónde) dependerá inherentemente del tipo y tamaño del conjunto de datos, así como de la complejidad de su modelo construido (qué tan grande es).