Me topé con el concepto de cobertura neuronal, que es la proporción de neuronas activadas y neuronas totales en una red neuronal. Pero, ¿qué significa que una neurona se "active"? Sé qué son las funciones de activación, pero ¿qué significa activarse, por ejemplo, en el caso de una ReLU o una función sigmoidea?
Respuestas:
Se dice que una neurona se activa cuando su salida es superior a un umbral, generalmente 0.
Lo mismo ocurre con las funciones sigmoideas u otras funciones de activación.
El término "activado" se usa principalmente cuando se habla de funciones de activación que solo generan un valor (excepto 0) cuando la entrada a la función de activación es mayor que un cierto umbral.
Especialmente cuando se habla de ReLU, se puede usar el término "activado". ReLU se "activará" cuando su salida sea mayor que 0, que también es cuando su entrada sea mayor que 0.
Otras funciones de activación, como sigmoide, siempre devuelve un valor mayor que 0 y no tiene ningún umbral especial. Por lo tanto, el término "activado" tiene menos significado aquí.
Aunque sabemos poco sobre ellas, las neuronas en el cerebro también parecen tener algo que se asemeja a una función de activación con algún tipo de "umbral de activación".