mxnet参数优化
lr-schedure 包含在optimizer之内
在init_optimizer的时候，get_updater
def get_updater(optimizer):
states = dict()
def updater(index, grad, weight):
if index not in states:
states[index] = optimizer.create_state(index, weight)
optimizer.update(index, weight, grad, states[index])
return updater
训练的时候：
for nbatch, data_batch in enumerate(train_dataiter):
mod.forward(data_batch)
mod.update_metric(metric, data_batch.label) #计算误差
mod.backward() #计算当前批次的梯度
mod.update() #更新参数，因为当前梯度只是少量样本的梯度，所以不能完全按照梯度更新。需要设置学习率等
- forward
- backward
- update
- updater(index,grad, weight) 里面调用optimizer的update函数
每个optimizer需要实现的是__init__, create_state, update。 以SGD为例子：
class SGD(Optimizer):
def __init__(self, momentum=0.0, **kwargs):
super(SGD, self).__init__(**kwargs)
self.momentum = momentum
def create_state(self, index, weight):
if self.momentum == 0.0:
return None
else:
return zeros(weight.shape, weight.context, dtype=weight.dtype)
def update(self, index, weight, grad, state):
assert(isinstance(weight, NDArray))
assert(isinstance(grad, NDArray))
lr = self._get_lr(index)
wd = self._get_wd(index)
self._update_count(index)
grad = grad * self.rescale_grad
if self.clip_gradient is not None:
grad = clip(grad, -self.clip_gradient, self.clip_gradient)
if state:
mom = state #注意，这里并没有复制。更改mom会使得state也产生，变化。达到记录上一次更新的目的。
mom[:] *= self.momentum
mom[:] += -lr * (grad + wd * weight)
weight[:] += mom
else:
assert self.momentum == 0.0
weight[:] += -lr * (grad + wd * weight)
finetune的实现方式
通过args_grad来控制是否要进行梯度计算。不论在module init中的fixed_param_names还是通过model中的bind。其实最终都是转化成symbol 的bind。而symbol的bind可以指定args_grad用于控制是否需要梯度。
sgd，momentum理论
不需要把所有数据都加载到内存一起计算。而且在数据有冗余的情况下能够更快的收敛。
SGD:
\[\theta=\theta-\eta\nabla_{\theta}J(\theta;x^{(i)};y^{(i)})\]SGD的缺点是容易收到噪声的影响。更新不稳定。引入Momentum模拟物体的动量，在一定程度上保持当前更新方向，并且根据当前的batch进行调整，从而确定最终的更新方向。momentum的取值在0-1之间。在训练刚开始时，梯度的变化较大，一般选择较小的动量0.3或者0.5。而到了训练后期，避免的当前批量的噪声数据造成过大的影响，一般选择较大的动量，例如0.9, 与此同时，也会不断的减少学习率，避免震荡。
Momentum: 动量
\[v_t={\gamma}v_{t-1}-\eta\nabla_{\theta}J(\theta)\] \[\theta=\theta-v_{t}\]