神经网络中常见的激活函数及特性介绍

释放双眼,带上耳机,听听看~!
本篇博客介绍了神经网络中常见的激活函数,包括sigmoid函数、ReLU函数、LeakyReLU函数、Tanh函数和Softmax函数,以及它们各自的特性和优缺点。帮助读者了解不同激活函数的适用场景和使用方法,以提升神经网络的性能。

关键词:神经网络 、 激活函数

前言

  神经网络中的激活函数是神经网络中至关重要的一环,它们决定了神经网络的非线性特性,能够让神经网络学习非常复杂的函数。激活函数的种类也非常丰富,从最早的sigmoid、tanh,到后来的ReLU、LeakyReLU、ELU等,再到最近的GELU、SE-ReLU、SiLU等,每种激活函数都有其独特的优点和适用场景。

  在本篇博客中,我们将对神经网络中常见的激活函数进行总结和介绍,同时也会介绍一些新兴的激活函数,帮助读者了解它们的特点和使用方法,以便在实际应用中能够选择合适的激活函数来提升神经网络的性能。

概述

  神经网络中的激活函数是非常重要的组成部分,它的作用是将神经元的输入信号转换为输出信号,从而实现神经网络的非线性映射。激活函数的意义在于它能够引入非线性特性,使得神经网络可以拟合非常复杂的函数,从而提高了神经网络的表达能力和预测性能。

  具体来说,激活函数的作用有以下几个方面:

  1. 引入非线性特性:激活函数能够将神经元的输入信号转换为输出信号,从而引入非线性特性,使得神经网络可以拟合非常复杂的函数。
  2. 压缩输出范围:激活函数能够将神经元的输出范围压缩到一定的范围内,这有助于防止神经元输出的值过大或过小,从而提高了神经网络的稳定性和泛化性能。
  3. 增加网络深度:激活函数能够增加神经网络的深度,从而提高了神经网络的表达能力和预测性能。
  4. 改善梯度消失问题:激活函数能够改善神经网络中的梯度消失问题,从而提高了神经网络的训练效率和收敛速度。

特性

  1. sigmoid函数

  sigmoid函数是神经网络中最早也是最常用的激活函数之一,它的特点是将输入值映射到0到1之间的连续范围内,输出值具有良好的可解释性,但是它在梯度消失和输出饱和等问题上表现不佳。

def sigmoid(x):
    return 1. / (1. + np.exp(-x))

神经网络中常见的激活函数及特性介绍

  1. ReLU函数

  ReLU函数是当前最常用的激活函数之一,它的特点是简单、快速,并且在许多情况下表现出色。ReLU函数将负数输入映射到0,将正数输入保留不变,因此在训练过程中可以避免梯度消失的问题。但是ReLU函数在输入为负数时输出为0,这可能导致神经元死亡,因此后续的改进版本LeakyReLU得到了广泛的应用。

def ReLU(x):
    return np.maximum(0, x)

神经网络中常见的激活函数及特性介绍

  1. LeakyReLU函数

  LeakyReLU函数是ReLU函数的改进版本,它在输入为负数时输出一个小的负数,从而避免了ReLU函数可能导致神经元死亡的问题。LeakyReLU函数的优点是简单、快速,并且在许多情况下表现出色,但是其超参数需要手动调整,因此在实际应用中需要进行一定的调试。

def LeakyReLU(x, alpha=0.1):
    return np.maximum(alpha*x, x)

神经网络中常见的激活函数及特性介绍

  1. Tanh函数

  Tanh函数是一种具有S形状的激活函数,其特点是将输入值映射到-1到1之间的连续范围内,输出值也具有良好的可解释性。Tanh函数在某些情况下可以表现出色,但是它也存在梯度消失和输出饱和等问题,因此在深度神经网络中使用并不广泛。

def Tanh(x):
    return np.tanh(x)

神经网络中常见的激活函数及特性介绍

  1. Softmax函数

  Softmax函数是一种常用于多分类问题的激活函数,它将输入值映射到0到1之间的概率分布,可以将神经网络的输出转换为各个类别的概率值。Softmax函数的优点是简单、易于理解,并且在多分类问题中表现出色,但是它也存在梯度消失和输出饱和等问题。

def Softmax(x):
    exp_x = np.exp(x)
    return exp_x / np.sum(exp_x, axis=0, keepdims=True)

神经网络中常见的激活函数及特性介绍

  1. GELU函数

  GELU函数是一种近年来提出的激活函数,它的特点是在ReLU函数的基础上引入了高斯误差线性单元,从而在某些情况下能够表现出色。GELU函数具有平滑的非线性特性,可以避免ReLU函数可能导致的神经元死亡问题。

def GELU(x):
    cdf = 0.5 * (1.0 + np.tanh((np.sqrt(2 / np.pi) * (x + 0.044715 * np.power(x, 3)))))
    return x * cdf

神经网络中常见的激活函数及特性介绍

  1. SE_ReLU函数

  SE_ReLU函数是一种近年来提出的激活函数,它的特点是在ReLU函数的基础上引入了Sigmoid函数和Exponential函数,从而能够增加神经元的表达能力。SE_ReLU函数具有非常好的平滑性和可解释性。

def SE_ReLU(x, alpha=0.1, beta=10):
    return np.where(x > 0, x + alpha * x * np.exp(-beta * x), x)

神经网络中常见的激活函数及特性介绍

  1. SiLU函数

  SiLU函数是一种近年来提出的激活函数,它的特点是在sigmoid函数的基础上引入了自身的输入,从而能够表现出更好的非线性特性。SiLU函数具有非常好的平滑性和可解释性。

def SE_ReLU(x, alpha=0.1, beta=10):
    return np.where(x > 0, x + alpha * x * np.exp(-beta * x), x)

神经网络中常见的激活函数及特性介绍
9. DynamicShiftMax & DynamicReLU_A & DynamicReLU_B函数
DynamicShiftMax函数是一种近年来提出的激活函数,它的特点是在ReLU函数的基础上引入了动态偏移量,从而能够增加神经元的表达能力。

def DynamicShiftMax(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.max(x, axis=0, keepdims=True))

def DynamicReLU_A(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.mean(x, axis=0, keepdims=True))

def DynamicReLU_B(x, alpha=0.1):
    return np.maximum(x, x + alpha * np.std(x, axis=0, keepdims=True))

神经网络中常见的激活函数及特性介绍

性能测试

  我们采用控制变量法进行激活函数的推理速度测试,x为输入,范围为-1到1之间的十万个数据,运行次数为100计算激活函数的计算耗时

if __name__ == "__main__":
    x = np.linspace(-1, 1, 100000)
    t1 = time.time()
    for i in range(100):
        y = sigmoid(x)
    t2 = time.time()
    print(float(t2 - t1))
激活函数 耗时
sigmoid 0.09099984169006348
ReLU 0.017026901245117188
LeakyReLU 0.016999244689941406
Tanh 0.0420374870300293
Softmax 0.045000314712524414
GELU 0.26389026641845703
SE_ReLU 0.12003183364868164
SiLU 0.09399843215942383
DynamicShiftMax 0.026140928268432617
DynamicReLU_A 0.01399993896484375
DynamicReLU_B 0.08199810981750488

神经网络中常见的激活函数及特性介绍

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

深度学习中的生成模型简介

2023-12-15 16:40:14

AI教程

DRConv:动态区域感知卷积详解和复现

2023-12-15 16:48:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索