百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

8个深度学习中常用的激活函数

ztj100 2024-12-07 18:51 18 浏览 0 评论

激活函数,又称转换函数,是设计神经网络的关键。激活函数在某种意义上是重要的,因为它被用来确定神经网络的输出。它将结果值映射为0到1或-1到1等(取决于函数)。激活函数还有另一个名称,称为Squashing函数,当限制了激活函数的范围时使用这个名称。激活函数应用于神经网络的每个节点,并决定该神经元是否应该被“触发”/“激活”。

为什么选择激活函数是非常重要的。

当在隐藏层和输出层中实现时,激活函数的选择非常关键。模型的准确性和损失很大程度上依赖于激活函数。此外,必须根据您对模型的期望来选择它们。例如,在二值分类问题中,sigmoid函数是一种最优选择。

激活函数类型。大致可分为两类:

线性激活函数。

非线性激活函数。

为了方便展示我们导入如下库:

Bash
import math as m
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers

Sigmoid

sigmoid激活函数也称为logistic函数。Sigmoid函数在回归分类问题中非常流行。sigmoid函数给出的值的范围是0和1。

Bash
def sigmoid(x):
return 1 / (1 + m.exp(-x))values_of_sigmoid = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_sigmoid.append(sigmoid(i))plt.plot( values_of_x ,values_of_sigmoid)
plt.xlabel("values of x")
plt.ylabel("value of sigmoid")

tanH

这个函数非常类似于sigmoid激活函数。这个函数在-1到1的范围内接受任何实值作为输入和输出值。输入越大(越正),输出值越接近1.0,而输入越小(越负),输出越接近-1.0。Tanh激活函数计算如下。

def tanh(x):
return (m.exp(x) - m.exp(-x)) / (m.exp(x) + m.exp(-x))values_of_tanh = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.001
values_of_x.append(i)
values_of_tanh.append(tanh(i))plt.plot( values_of_x ,values_of_tanh)
plt.xlabel("values of x")
plt.ylabel("value of tanh")

Softmax

Softmax激活函数输出一个和为1.0的值向量,可以解释为类隶属度的概率。Softmax是argmax函数的“软”版本,它允许一个“赢家通吃”函数的似然输出。

def softmax(x):
e_x = np.exp(x - np.max(x))
return e_x / e_x.sum()values_of_x = [i*0.01 for i in range(-500,500)]
plt.plot(scores ,softmax(values_of_x))
plt.xlabel("values of x")
plt.ylabel("value of softmax")

RELU 线性整流单元

ReLU可能是用于隐藏层的最常见的函数。它还可以有效地克服其他以前流行的激活函数(如Sigmoid和Tanh)的限制。具体来说,它不太容易受到阻止深度模型被训练的梯度下降消失问题的影响,尽管它可能会遇到诸如饱和单元等其他问题。

def ReLU(x):
return max(0,x)values_of_relu = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_relu.append(ReLU(i))plt.plot(values_of_x,values_of_relu)

Leaky ReLU

ReLU的问题:当给ReLU一个负值时,它立即变成零,这降低了模型合适地拟合或从数据训练的能力。这意味着ReLU激活函数的任何负输入都会在图中立即将该值转换为零,这反过来又会通过不适当地映射负值而影响结果图。

为了克服这个问题,Leaky ReLU被引入。

def leaky_ReLU(x):
return max(0.1*x,x)values_of_L_relu = []
values_of_x = []
for i in range(-500,500,1):
i = i*0.01
values_of_x.append(i)
values_of_L_relu.append(leaky_ReLU(i))plt.plot(values_of_x,values_of_L_relu)

下面几个函数都是RELU的变体基本上都是与Leaky 类似优化了激活函数负值时的返回

ELU

activation_elu = layers.Activation(‘elu’)x = tf.linspace(-3.0, 3.0, 100)
y = activation_elu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel(“Input”)
plt.ylabel(“Output”)
plt.show()

SELU

activation_selu = layers.Activation('selu')x = tf.linspace(-3.0, 3.0, 100)
y = activation_selu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel("Input")
plt.ylabel("Output")
plt.show()

Swish

activation_swish = layers.Activation(‘swish’)x = tf.linspace(-3.0, 3.0, 100)
y = activation_swish(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
plt.plot(x, y)
plt.xlim(-3, 3)
plt.xlabel(“Input”)
plt.ylabel(“Output”)
plt.show()

总结

常用于隐藏层激活函数:

一般递归神经网络使用Tanh或sigmoid激活函数,甚至两者都使用。例如,LSTM通常对循环连接使用Sigmoid激活,对输出使用Tanh激活。

1.多层感知器(MLP): ReLU激活函数。

2.卷积神经网络(CNN): ReLU激活函数。

3.递归神经网络:Tanh和/或Sigmoid激活函数。

如果你不确定使用哪个激活函数,你肯定可以尝试不同的组合,并寻找最适合的,但是可以从RELU开始

输出层激活功能:

输出层激活函数必须根据你要解决的问题类型来选择。例如,如果你有一个线性回归问题,那么线性激活函数将是有用的。下面是您可能面临的一些常见问题和使用的激活函数。

二进制分类:一个节点,sigmoid激活。

多类分类:每个类一个节点,softmax激活。

多标签分类:每个类一个节点,sigmoid激活。

以下是一些常用激活函数的公式和可视化显示,希望对你有帮助

作者:Rishabh sharma

deephub翻译组

相关推荐

人生苦短,我要在VSCode里面用Python

轻沉发自浅度寺量子位出品|公众号QbitAI在程序员圈子里,VisualStudioCode(以下简称VSCode)可以说是目前最火的代码编辑器之一了。它是微软出品的一款可扩展的轻量...

亲测可用:Pycharm2019.3专业版永久激活教程

概述随着2020年的到来,又有一批Pycharm的激活码到期了,各位同仁估计也是在到处搜索激活方案,在这里,笔者为大家收录了一个永久激活的方案,亲测可用,欢迎下载尝试:免责声明本项目只做个人学习研究之...

Python新手入门很简单(python教程入门)

我之前学习python走过很多的歧途,自学永远都是瞎猫碰死耗子一样,毫无头绪。后来心里一直都有一个做头条知识分享的梦,希望自己能够帮助曾经类似自己的人,于是我来了,每天更新5篇Python文章,喜欢的...

Pycharm的设置和基本使用(pycharm运行设置)

这篇文章,主要是针对刚开始学习python语言,不怎么会使用pycharm的童鞋们;我来带领大家详细了解下pycharm页面及常用的一些功能,让大家能通过此篇文章能快速的开始编写python代码。一...

依旧是25年最拔尖的PyTorch实用教程!堪比付费级内容!

我真的想知道作者到底咋把PyTorch教程整得这么牛的啊?明明在内容上已经足以成为付费教材了,但作者偏要免费开源给大家学习!...

手把手教你 在Pytorch框架上部署和测试关键点人脸检测项目DBFace

这期教向大家介绍仅仅1.3M的轻量级高精度的关键点人脸检测模型DBFace,并手把手教你如何在自己的电脑端进行部署和测试运行,运行时bug解决。01.前言前段时间DBFace人脸检测库横空出世,...

进入Python的世界02外篇-Pycharm配置Pyqt6

为什么这样配置,要开发带UI的python也只能这样了,安装过程如下:一安装工具打开终端:pipinstallPyQt6PyQt6-tools二打开设置并汉化点击plugin,安装汉化插件,...

vs code如何配置使用Anaconda(vscode调用anaconda库)

上一篇文章中(Anaconda使用完全指南),我们能介绍了Anaconda的安装和使用,以及如何在pycharm中配置Anaconda。本篇,将继续介绍在vscode中配置conda...

pycharm中conda解释器无法配置(pycharm配置anaconda解释器)

之前用的好好的pycharm正常配置解释器突然不能用了?可以显示有这个环境然后确认后可以conda正在配置解释器,但是进度条结束后还是不成功!!试过了pycharm重启,pycharm重装,anaco...

Volta:跨平台开发者的福音,统一前端js工具链从未如此简单!

我们都知道现在已经进入了Rust时代,不仅很多终端常用的工具都被rust重写了,而且现在很多前端工具也开始被Rust接手了,这不,现在就出现了一款JS工具管理工具,有了它,你可以管理多版本的js工具,...

开发者的福音,ElectronEgg: 新一代桌面应用开发框架

今天给大家介绍一个开源项目electron-egg。如果你是一个JS的前端开发人员,以前面对这项任务桌面应用开发在时,可能会感到无从下手,甚至觉得这是一项困难的挑战。ElectronEgg的出现,它能...

超强经得起考验的低代码开发平台Frappe

#挑战30天在头条写日记#开始进行管理软件的开发来讲,如果从头做起不是不可以,但选择一款免费的且经得起时间考验的低代码开发平台是非常有必要的,将大幅提升代码的质量、加快开发的效率、以及提高程序的扩展性...

一文带你搞懂Vue3 底层源码(vue3核心源码解析)

作者:妹红大大转发链接:https://mp.weixin.qq.com/s/D_PRIMAD6i225Pn-a_lzPA前言vue3出来有一段时间了。今天正式开始记录一下梗vue3.0.0-be...

Windows 11 + WSL2 打造轻量级 Linux 本地开发环境实战教程

一、前言...

基于小程序 DSL(微信、支付宝)的,可扩展的多端研发框架

Mor(发音为/mr/,类似more),是饿了么开发的一款基于小程序DSL的,可扩展的多端研发框架,使用小程序原生DSL构建,使用者只需书写一套(微信或支付宝)小程序,就可以通过Mor...

取消回复欢迎 发表评论: