Dropout和标准化(Batch Normalization)
ztj100 2025-07-20 00:02 48 浏览 0 评论
1.介绍
深度学习的世界不仅仅是致密层。有几十种类型的层可以添加到模型中(尝试浏览Keras文档以获取示例！）有些像致密层，定义了神经元之间的联系，有些则可以进行预处理或其他类型的转换。
这儿，我们将介绍两种特殊的层，它们本身不包含任何神经元，但它们添加了一些功能，有时可以以各种方式使模型受益。
2.Dropout
其中第一个是“dropout layer”，它可以帮助纠正过拟合。
在上一课中，我们讨论了网络学习训练数据中的模型是如何导致过度拟合的。为了识别这些模型，一个网络通常会依赖于一个非常特定的权重组合。如此具体，他们往往是脆弱的：删除一个将会分崩离析。
这就是dropout背后的想法。为了打破这些问题，我们在训练的每一步都会随机丢弃一层输入单元的一小部分，这使得网络很难从训练数据中学习到那些虚假的信息。相反，它必须寻找广泛的、一般的模式，这些模式的权重往往更为稳健。
你也可以把dropout看作是创造一种网络的集合。这些预测将不再由一个大的网络做出，而是由一个较小的网络组成的委员会做出。委员会中的个人往往会犯各种各样的错误，但同时使委员会作为一个整体比任何个人都好(如果你熟悉将随机林作为决策树的集合，则是相同的想法。）
3.Batch Normalization
我们将看到的下一个特殊层执行“批处理标准化”（“batch normalization”， “batchnorm”），这有助于纠正缓慢或不稳定的训练。
对于神经网络，将所有数据放在一个共同的尺度上通常是一个好主意，也许可以使用sciketlearn的StandardScaler或MinMaxScaler之类的工具。原因是SGD将根据数据产生的激活量按比例改变网络权重。倾向于产生不同大小激活的特性可能导致不稳定的训练行为。
现在，如果在数据进入网络之前对其进行规范化是好的，那么在网络内部进行规范化也会更好！事实上，我们有一种特殊的层可以做到这一点，批处理规范化层。批处理标准化层在每个批处理进入时查看它，首先用它自己的平均值和标准偏差对批处理进行标准化，然后用两个可训练的重缩放参数将数据放在一个新的尺度上。实际上，Batchnorm对其输入执行一种协调的重缩放。
大多数情况下，batchnorm是作为优化过程的辅助工具添加的（尽管有时也有助于预测性能）。具有batchnorm的模型往往需要较少的时间来完成训练。此外，batchnorm还可以解决各种可能导致训练“卡住”的问题。在训练过程中遇到问题时，可以考虑向模型添加批量规范化。
4.例子
相关推荐
- Linux集群自动化监控系统Zabbix集群搭建到实战
-
自动化监控系统...
- systemd是什么如何使用_systemd/system
-
systemd是什么如何使用简介Systemd是一个在现代Linux发行版中广泛使用的系统和服务管理器。它负责启动系统并管理系统中运行的服务和进程。使用管理服务systemd可以用来启动、停止、...
- Linux服务器日常巡检脚本分享_linux服务器监控脚本
-
Linux系统日常巡检脚本，巡检内容包含了，磁盘，...
- 7，MySQL管理员用户管理_mysql 管理员用户
-
一、首次设置密码1.初始化时设置（推荐）mysqld--initialize--user=mysql--datadir=/data/3306/data--basedir=/usr/local...
- Python数据库编程教程:第 1 章 数据库基础与 Python 连接入门
-
1.1数据库的核心概念在开始Python数据库编程之前，我们需要先理解几个核心概念。数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它就像一个电子化的文件柜，能让我们高效...
- Linux自定义开机自启动服务脚本_linux添加开机自启动脚本
-
设置WGCloud开机自动启动服务init.d目录下新建脚本在/etc/rc.d/init.d新建启动脚本wgcloudstart.sh，内容如下...
- linux系统启动流程和服务管理，带你进去系统的世界
-
Linux启动流程Rhel6启动过程：开机自检bios-->MBR引导-->GRUB菜单-->加载内核-->init进程初始化Rhel7启动过程：开机自检BIOS-->M...
- CentOS7系统如何修改主机名_centos更改主机名称
-
请关注本头条号，每天坚持更新原创干货技术文章。如需学习视频，请在微信搜索公众号“智传网优”直接开始自助视频学习1.前言本文将讲解CentOS7系统如何修改主机名。...
- 前端工程师需要熟悉的Linux服务器(SSH 终端操作)指令
-
在Linux服务器管理中，SSH（SecureShell）是远程操作的核心工具。以下是SSH终端操作的常用命令和技巧，涵盖连接、文件操作、系统管理等场景：一、SSH连接服务器1.基本连接...
- Linux开机自启服务完全指南:3步搞定系统服务管理器配置
-
为什么需要配置开机自启？想象一下：电商服务器重启后，MySQL和Nginx没自动启动，整个网站瘫痪！这就是为什么开机自启是Linux运维的必备技能。自启服务能确保核心程序在系统启动时自动运行，避免人工...
- Kubernetes 高可用(HA)集群部署指南
-
Kubernetes高可用（HA）集群部署指南本指南涵盖从概念理解、架构选择，到kubeadm高可用部署、生产优化、监控备份和运维的全流程，适用于希望搭建稳定、生产级Kubernetes集群...
- Linux项目开发,你必须了解Systemd服务!
-
1.Systemd简介...
- Linux系统systemd服务管理工具使用技巧
-
简介：在Linux系统里，systemd就像是所有进程的“源头”，它可是系统中PID值为1的进程哟。systemd其实是一堆工具的组合，它的作用可不止是启动操作系统这么简单，像后台服务...
- Linux下NetworkManager和network的和平共处
-
简介我们在使用CentoOS系统时偶尔会遇到配置都正确但network启动不了的问题，这问题经常是由NetworkManager引起的，关闭NetworkManage并取消开机启动network就能正...
欢迎 你 发表评论:
- 一周热门
-
-
MySQL中这14个小玩意，让人眼前一亮!
-
旗舰机新标杆 OPPO Find X2系列正式发布 售价5499元起
-
面试官:使用int类型做加减操作，是线程安全吗
-
C++编程知识:ToString()字符串转换你用正确了吗?
-
【Spring Boot】WebSocket 的 6 种集成方式
-
PyTorch 深度学习实战(26):多目标强化学习Multi-Objective RL
-
pytorch中的 scatter_()函数使用和详解
-
与 Java 17 相比，Java 21 究竟有多快?
-
基于TensorRT_LLM的大模型推理加速与OpenAI兼容服务优化
-
这一次，彻底搞懂Java并发包中的Atomic原子类
-
- 最近发表
-
- Linux集群自动化监控系统Zabbix集群搭建到实战
- systemd是什么如何使用_systemd/system
- Linux服务器日常巡检脚本分享_linux服务器监控脚本
- 7，MySQL管理员用户管理_mysql 管理员用户
- Python数据库编程教程:第 1 章 数据库基础与 Python 连接入门
- Linux自定义开机自启动服务脚本_linux添加开机自启动脚本
- linux系统启动流程和服务管理，带你进去系统的世界
- CentOS7系统如何修改主机名_centos更改主机名称
- 前端工程师需要熟悉的Linux服务器(SSH 终端操作)指令
- Linux开机自启服务完全指南:3步搞定系统服务管理器配置
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)