导读

看到这个问题的时候，可能你会很直观地认为是等价的，其实等价不等价这个应该取决于在更新参数时所选择的优化算法。

因为无论是缩放loss还是learning rate最终的影响都是对更新参数时偏移量(Δ )的影响，而不同的优化算法会导致这个偏移量存在差别，下面我们来讨论一下不同优化算法之间的差别。

SGD

梯度下降优化算法，也是最常见的一种优化算法，公式如下：

η：学习率

Δ θ J ( θ ) ：loss对参数的一阶偏导，所以当我们对loss的尺度进行缩放的时候实际最终都会反应到梯度上面

结论：通过上面的公式不难看出，当loss乘以s时其实就等价于偏导数Δ θ J ( θ )乘以s，也就等价与学习率η乘以s。所以对于SGD而言，loss乘以s等价于learning rate乘以s。下面我们可以用代码来证明一下

import torch
from torch import nn

#保证每次产生的随机数(输入和输出都相同)
torch.manual_seed(28)

class ExampleModel(nn.Module):
    """定义一个简单的神经网络
    """
    def __init__(self):
        super(ExampleModel, self).__init__()
        self.linear_model = nn.Sequential(
            nn.Linear(10,10),
            nn.ReLU(),
            nn.Linear(10,1),
            nn.Sigmoid()
        )
    def forward(self,x):
        return self.linear_model(x**3+x**2+x)


def print_weight_info(input,label,model,opt,loss_scale):
    """输出网络的参数信息
    :param input: 输入
    :param label: 输出
    :param model: 模型
    :param opt: 优化器
    :param loss_scale: loss变化的尺度
    :return:
    """
    output = model(input)
    loss = (label - output) * loss_scale
    opt.zero_grad()
    loss.backward()
    opt.step()
    print(model.linear_model[0].weight)

model = ExampleModel()


input1 = torch.rand(1,10)
label1 = torch.rand(1,)
lr = 0.01

lr_sgd_opt = torch.optim.SGD(model.parameters(),lr=lr)
#lr设置为0.01,loss的尺度扩大10倍
print_weight_info(input1,label1,model,lr_sgd_opt,10)
#lr设置为0.01*10扩大10倍,loss的尺度不做处理
#lr_scale_sgd_opt = torch.optim.SGD(model.parameters(),lr=lr*10)
#print_weight_info(input1,label1,model,lr_scale_sgd_opt,1)

Momentum SGD

Momentum SGD是基于SGD的基础上做了修改，为了解决海森矩阵的不良条件数和随机梯度的方差问题导致训练模型时进入到局部极小值问题而改进的。Momentum SGD梯度的更新过程如下所示：

γ：动量参数，一般取0.5、0.9和0.99

vt ：t时刻的梯度

结论：通过上面的公式不难看出，对于Momentum SGD来说和SGD一样，loss乘以s等价于learning rate乘以s。

Adagrad

Adagrad能够自适应地调整不同参数的学习率,根据参数的历史所有梯度平方值总和的平方根来调整学习率的缩放比例，使得稀疏的特征得到大的学习率更新，对于非稀疏的特征得到较小的学习更新，所以该算法适合处理稀疏特征的数据。参数的更新公式如下：

接下来我们来讨论，对loss和learning rate乘以s对参数θ的更新会有什么影响，先讨论对loss乘以s

因为?是极小值，所以我们可以忽略它的影响。通过上式就能够说明，当使用Adagrad优化算法时，乘以s对于参数的更新没有影响。而对于learning rate而言，它会使得参数更新的更快(s大于1)或更慢(s小于1)，所以使用Adagrad优化算法的时候，loss乘以s不等价于learning rate乘以s

证明的代码如下：

RMSProp

RMSProp针对梯度平方和累积得越来越大的问题，而采用了历史梯度平方衰减平均值来代替梯度的平方和。动态的梯度平均值E[g2]t取决于当前时刻以及上一时刻的平均值，计算公式如下

不难看出RMSProp其实和Adagrad的计算公式差不多，所以对于RMSProp而言loss乘以s不等价于learning rate乘以s。

Adam

Adam：Adaptive Momnet Estimation，与Adagrad和RMSProp的区别在于计算历史梯度衰减的方法不同。Adam没有使用梯度的平方衰减，而是采用了类似于动量的梯度衰减，计算公式如下：

转换一下公式可以发现，对于Adam来说，loss乘以s不等价于learning rate乘以s。

总结

我们通过理论公式的推导以及实践的代码证明，最终发现对loss或learning rate乘以缩放尺度参数s是否等价，主要取决于优化器的选择。对于SGD和Moment SGD来说，loss乘以s等价于learning rate乘以s，而对于Adagrad、RMSProp和Adam来说loss乘以s不等价于learning rate乘以s。

注意：上面在讨论loss与learning rate乘以s之间的关系时，我们并不考虑weight decay的影响。