深度学习

神经网络

神经元

• 为各个输入的分量

• 为各个输入分量对应的权重参数

• 为偏置

• 为激活函数，常见的激活函数有tanh, sigmoid, relu

• 为神经元的输出

感知机

多层神经网络

• 输入层

• 输出层

• 隐藏层

激活函数

• 线性：

神经网络的学习

损失函数

mini-batch学习

梯度

误差反向传播法

反向传播

class AddLayer:
		def __init__(self):
				pass
		def forward(self, x, y):
				out = x + y
				return out
		def backward(self, dout):
				dx = dout * 1
				dy = dout * 1
				return dx, dy

class MulLayer:
		def __init__(self):
				self.x = None
				self.y = None
		def forward(self, x, y):
				self.x = x
				self.y = y
				out = x * y
				return out
		def backward(self, dout):
				dx = dout * self.y # 翻转x和y
				dy = dout * self.x
				return dx, dy

与学习相关的技巧

SGD

Momentum

AdaGrad

Adam

比较

权重的初始值

正则化

超参数的验证

卷积神经网络

梯度