百度飞桨paddle自动混合精度训练（AMP）

现在深度模型和数据都越来越大，估计地主家机器也越来越不够用。通常训练模型时默认使用的数据类型（dtype）是 float32，比较消耗内存，速度也慢。为了节约内存，提高速度，业界搞出个16位数据类型，据百度飞桨的测试V100 GPU 上 矩阵乘和卷积计算在 float16 的计算速度最大可达 float32 的 8 倍，带你飞。

以前做实验觉得16位精度有损失，发paper不好看，最近跑实验实在等的慌，发现只要设置得当，16位还真好用，精度损失非常小，而且速度还快，内存少batch_size小，体验非常的好。

按算子选择精度

paddle 里面可以设置不同算子的精度，这个非常的好。因为一些算子（OP）对数据精度的要求较高（如 softmax、cross_entropy），还有一些算子（如conv2d、matmul）对数据精度不敏感，可以采用 float16 / bfloat16 提升计算速度并降低存储空间，飞桨框架提供了自动混合精度（Automatic Mixed Precision）。只想说aile aile

代码

import paddle
import paddle.nn as nn
import paddle.vision.transforms as T


def run_example_code():
    device = paddle.set_device('gpu')
    # Using high level API to define neural network
    net = nn.Sequential(nn.Flatten(1), nn.Linear(
        784, 200), nn.Tanh(), nn.Linear(200, 10))
    model = paddle.Model(net)
    # Define optimizer
    optim = paddle.optimizer.SGD(
        learning_rate=1e-3, parameters=model.parameters())
    # Initialize neural network
    amp_configs = {
        "level": "O1",                    # Level corresponds to amp mode: O1, O2
        # Customize the white list and support custom_black_list
        "custom_white_list": {'conv2d'},
        "use_dynamic_loss_scaling": True  # Dynamic loss_scaling
    }
    model.prepare(optim,
                  paddle.nn.CrossEntropyLoss(),
                  paddle.metric.Accuracy(),
                  amp_configs=amp_configs)
    # prepare data
    transform = T.Compose([T.Transpose(), T.Normalize([127.5], [127.5])])
    data = paddle.vision.datasets.MNIST(mode='train', transform=transform)
    # use AMP training
    model.fit(data, epochs=2, batch_size=32, verbose=1)


if paddle.is_compiled_with_cuda():
    run_example_code()

基本就改一行代码，非常方便。快试试吧，可能有意想不到的结果。