04- Funciones de Activación: El Umbral de Decisión

 

¿Qué es la Función de Activación?

La función de activación es el componente encargado de transformar la suma ponderada de las señales de entrada en un valor de salida específico. Su propósito principal es mantener la producción de la neurona dentro de límites manejables (usualmente entre 0 y 1, o -1 y 1), imitando la respuesta binaria de "todo o nada" de una neurona biológica.

La Función Sigmoidea

Es la función de activación más común en los modelos básicos de perceptrón. Se caracteriza por ser continuamente diferenciable, lo que facilita el proceso de entrenamiento de la red. Su comportamiento se define de la siguiente manera: 

• Si el valor de entrada tiende a infinito negativo, la salida se acerca a 0. 
• Si el valor es exactamente 0, la salida es 0,5. 
• Si el valor tiende a infinito positivo, la salida se acerca a 1.

Importancia en el Aprendizaje

Sin una función de activación, la red neuronal se comportaría simplemente como un modelo de regresión lineal simple, limitando su capacidad para aprender patrones complejos. Al introducir estas funciones, permitimos que la red tome decisiones más sofisticadas, priorizando ciertos datos sobre otros según la relevancia calculada en los pesos sinápticos.

En el siguiente material audiovisual se analizan las ventajas y desventajas de las funciones de activación más utilizadas en la actualidad, destacando la eficiencia computacional de modelos como ReLU sobre la tradicional Sigmoide