Un enfoque que puede adoptar para casi cualquier modelo de predicción es entrenar primero su modelo y encontrar su precisión, luego, para una entrada, agregue algo de ruido y verifique la precisión nuevamente. Repita esto para cada entrada y observe cómo el ruido empeora las predicciones. Si una entrada es importante, la incertidumbre adicional debida al ruido será perjudicial.
Recuerde configurar la varianza del ruido para que sea proporcional a la varianza de la entrada en cuestión.
Por supuesto, el ruido es aleatorio y no desea que una entrada parezca sin importancia debido a los efectos aleatorios. Si tiene pocos ejemplos de entrenamiento, considere calcular repetidamente el cambio en la precisión para cada ejemplo de entrenamiento con un nuevo ruido agregado cada vez.
En respuesta a los comentarios:
Este análisis también se puede hacer eliminando una variable por completo, pero esto tiene algunas desventajas en comparación con la adición de ruido.
Suponga que una de sus entradas es constante, actúa como un término de sesgo, por lo que tiene un papel que desempeñar en la predicción, pero no agrega información. Si eliminó esta entrada por completo, entonces la predicción sería menos precisa porque los perceptrones están obteniendo el sesgo incorrecto. Esto hace que la entrada parezca importante para la predicción, aunque no agrega información. Agregar ruido no causará este problema. Este primer punto no es un problema si ha estandarizado todas las entradas para que tengan una media cero.
Si dos entradas están correlacionadas, la información sobre una entrada proporciona información sobre la otra. Un modelo podría estar bien entrenado si usó solo una de las entradas correlacionadas, por lo que desea que el análisis descubra que una entrada no es útil. Si acaba de eliminar una de las entradas, como el primer punto hecho, la precisión de la predicción disminuiría mucho, lo que indica que es importante. Sin embargo, agregar ruido no causará este problema.