Dropout和标准化(Batch Normalization)

1.介绍

深度学习的世界不仅仅是致密层。有几十种类型的层可以添加到模型中(尝试浏览Keras文档以获取示例！）有些像致密层，定义了神经元之间的联系，有些则可以进行预处理或其他类型的转换。

这儿，我们将介绍两种特殊的层，它们本身不包含任何神经元，但它们添加了一些功能，有时可以以各种方式使模型受益。

2.Dropout

其中第一个是“dropout layer”，它可以帮助纠正过拟合。

在上一课中，我们讨论了网络学习训练数据中的模型是如何导致过度拟合的。为了识别这些模型，一个网络通常会依赖于一个非常特定的权重组合。如此具体，他们往往是脆弱的：删除一个将会分崩离析。

这就是dropout背后的想法。为了打破这些问题，我们在训练的每一步都会随机丢弃一层输入单元的一小部分，这使得网络很难从训练数据中学习到那些虚假的信息。相反，它必须寻找广泛的、一般的模式，这些模式的权重往往更为稳健。

你也可以把dropout看作是创造一种网络的集合。这些预测将不再由一个大的网络做出，而是由一个较小的网络组成的委员会做出。委员会中的个人往往会犯各种各样的错误，但同时使委员会作为一个整体比任何个人都好(如果你熟悉将随机林作为决策树的集合，则是相同的想法。）

3.Batch Normalization

我们将看到的下一个特殊层执行“批处理标准化”（“batch normalization”， “batchnorm”），这有助于纠正缓慢或不稳定的训练。

对于神经网络，将所有数据放在一个共同的尺度上通常是一个好主意，也许可以使用sciketlearn的StandardScaler或MinMaxScaler之类的工具。原因是SGD将根据数据产生的激活量按比例改变网络权重。倾向于产生不同大小激活的特性可能导致不稳定的训练行为。

现在，如果在数据进入网络之前对其进行规范化是好的，那么在网络内部进行规范化也会更好！事实上，我们有一种特殊的层可以做到这一点，批处理规范化层。批处理标准化层在每个批处理进入时查看它，首先用它自己的平均值和标准偏差对批处理进行标准化，然后用两个可训练的重缩放参数将数据放在一个新的尺度上。实际上，Batchnorm对其输入执行一种协调的重缩放。

大多数情况下，batchnorm是作为优化过程的辅助工具添加的（尽管有时也有助于预测性能）。具有batchnorm的模型往往需要较少的时间来完成训练。此外，batchnorm还可以解决各种可能导致训练“卡住”的问题。在训练过程中遇到问题时，可以考虑向模型添加批量规范化。

4.例子