| 失效链接处理 |
|
一文看懂：深度学习激活函数 PDF 下载
相关截图：
 主要内容：
•
⽆法解决XOR等问题
•
表达能⼒极其受限
1.2 激活函数引⼊⾮线性
直观理解：激活函数就是神经元的“开关”，决定神经元是否被“激活”（传递信息 -> 神经元的触发
电位阈值）
2. 激活函数的核⼼作⽤
2.1 数学⻆度
激活函数 f(x) 使⽹络能够拟合任意复杂的函数：
y = f(W ⋅ x + b)
如果没有 f ，这就是简单的线性变换。
2.2 ⼏何⻆度
激活函数
⼏何意义
⽆
超平⾯（直线）
Sigmoid
S形曲线
1
2ReLU
折线
多个ReLU组合
可以逼近任意凸函数
2.3 神经科学⻆度
激活函数模拟了⽣物神经元“全有或全⽆”特性
•
当输⼊超过阈值时，神经元“激活”
•
否则保持“静默”
3. 常⽤激活函数详解
3.1 Sigmoid（S形函数）
数学公式
•
σ(x) = 1 + e−x
1
导数
•
|
苏公网安备 32061202001004号
