翟晓鹰 作品

第588章 激活函数,一个故事解释


激活函数包括阶跃函数,但也有其他函数,就像除了应急预案,还有日常处理程序。

 

故事比喻:魔法门与激活函数

 

在一个魔法世界里,有一座魔法学院,每位魔法师都要经过一道神秘的魔法门,才能进入更高级的修炼殿堂。

 

但这扇门不会让所有人随便通过,它会根据魔法师的魔力值来决定:

 

? 如果魔力值太低,门不会打开(相当于激活函数抑制无用信息)。

 

? 如果魔力值很高,门会全力打开(相当于激活函数放大有用信息)。

 

? 如果魔力值一般,门可能会半开半闭,让魔法师勉强通过(相当于某些平滑的激活函数)。

 

这个魔法门的决策过程,就像 Ai 里的激活函数,它决定哪些信息能进入下一层,哪些要被过滤掉!

 

激活函数的作用:筛选、放大、非线性化

 

想象 Ai 神经网络是一个“魔法训练过程”,每一层都需要做决策,而激活函数就像这个**“魔法门”**,决定哪些信息能继续往下走。

 

1. 魔力值的计算(输入信号加权求和)

 

? 每个魔法师的天赋不同,有些擅长火系魔法,有些擅长治愈术。

 

? 在进入魔法门之前,考官会给每个魔法师打分(相当于神经网络的加权求和)。

 

? 但这些分数本身没有用,必须经过魔法门筛选,才能决定是否晋级。

 

比喻: 这就像神经网络中的线性计算,只是单纯地累加输入信息,但还没有做真正的决策。

 

2. 通过魔法门(激活函数的选择)

 

不同的魔法门有不同的规则,对应不同的激活函数:

 

reLu 魔法门(reLu 激活函数):

 

? 如果魔力值 ≥ 0,门会打开,让魔法师进入。

 

? 如果魔力值 < 0,门会彻底关闭,不让任何人进入。

 

比喻: 这就像一个严格的守卫,没有天赋的魔法师(负值输入)直接被拒绝,只允许优秀的魔法师进入。

 

sigoid 魔法门(sigoid 激活函数):

 

? 如果魔力值很高,门会完全打开(接近 1)。


 

? 如果魔力值很低,门会完全关闭(接近 0)。