• 总根 >计算机与教育 >课程 >高等教育课程 >本科课程 >模式识别与人工智能 >zstu-(2021-2022)-1 >学生作业目录 >2018329621218 陈浩臻

  • 陈浩臻2018329621218 作业3

    摘要

    1 激活函数 1.1 Sigmoid函数 优点:所有元素都被压缩在[0,1]范围内,当输入数字很大或者很小时图像都趋于平滑,在0附近趋于线性。 缺点:容易过饱和并且造成梯度消失; sigmoid函数不是以0为中心的;sigmoid函数包含exp函数,计算exp函数的开销很大。 应用:输出层是一个二分类问题。 1.2 Tanh函数 优点:对Sigmoid函数进行了改进,以0为中心的。 缺点:仍有过饱和的可

    正文字数(2569) 正文图片数(8) 正文视频数(0) 下载文件数(0)

    ————————————————

    1 激活函数


    1.1 Sigmoid函数

    https://yvsou.com/wp-content/uploads/2021/09/1.1-1.png

    优点:所有元素都被压缩在[0,1]范围内,当输入数字很大或者很小时图像都趋于平滑,在0附近趋于线性。
    缺点:容易过饱和并且造成梯度消失; sigmoid函数不是以0为中心的;sigmoid函数包含exp函数,计算exp函数的开销很大。
    应用:输出层是一个二分类问题。

    1.2 Tanh函数
    https://yvsou.com/wp-content/uploads/2021/09/1.2-2.png

    优点:对Sigmoid函数进行了改进,以0为中心的。
    缺点:仍有过饱和的可能,也可能会造成梯度失,并依然有开销大的指数运算。
    应用:几乎适用所有场合。

    1.3 ReLU函数

    f(x)=max(0,x)

    https://yvsou.com/wp-content/uploads/2021/09/1.3-1.png

    优点:能有效缓解梯度消失和梯度爆炸问题;由于其分段线性的特性,相比于前两个函数计算速度大大增加;没有指数运算,收敛速度快。
    缺点:不是以0为中心,计算过程中可能会出现大量的神经元死亡失效。
    应用:最常用的默认函数,如果不确定用哪个函数,就使用ReLU或Leaky ReLU函数,再去尝试其他的激活函数。

    1.4 Maxout函数

    优点:具有非常强的拟合能力,可以拟合任意凸函数;能有效缓解梯度消失和梯度爆炸问题。

    2 损失函数


    2.1 0-1损失函数

    预测值和目标值不相等为1,否则为0

    https://yvsou.com/wp-content/uploads/2021/09/1.4-1.png

    特点:0-1损失函数直接对应分类判断错误的个数,但他是一个非凸函数,不太适用。
    感知机就是用的这种损失函数,但是相等这个条件过于严格,满足|Y-f(x)| <T时认为相等。

    2.2 绝对值损失函数
    绝对值损失函数是计算预测值与目标值的差的绝对值: L(Y, f(x))=|Y-f(x)|

    2.3 log对数损失函数
    L(Y,P(Y|X)=-logP(Y|X)
    特点:log对数损失函数能非常好的表征概率分布,在很多场景尤其是多分类,如果需要知道结果属于每个类别的置信度,那他非常合适。健壮性不强,相比于hingle loss对噪声更敏感。逻辑回归的损失函数就是log对数损失函数。

    2.4 平方损失函数

    https://yvsou.com/wp-content/uploads/2021/09/11.png

    特点:经常应用于回归问题。

    2.5 指数损失函数

    https://yvsou.com/wp-content/uploads/2021/09/1.55.png

    特点:对离群点、噪声非常敏感,经常用在AdaBoost算法中。

    2.6 Hinge损失函数

    https://yvsou.com/wp-content/uploads/2021/09/1.6-1.png

    特点: hinge损失函数表示如果被分类正确,损失为0,否则损失就是1-yf(x)。SVM就是使用这个损失函数。一般的f(X)是预测值,在1到1之间,y是目标值(-1或1)。其含义是,f (x)的值在-1和+ 1之间就可以了,并不鼓励|f(x)|> 1,即并不鼓励分类器过度自信,让某个正确分类的样本距离分割线超过1并不会有任何奖励,从而使分类器可以更专注于整体的误差。健壮性相对较高,对异常点、噪声不敏感,但他没太好的概率解释。

    2.7 交叉熵损失函数

    https://yvsou.com/wp-content/uploads/2021/09/1.7-1.png

    表示样本,y表示实际的标签, a表示预测的输出,n表示样本总数量。
    特点:本质上也是一种对数似然函数,可用于二分类和多分类任务中。
    当使用sigmoid作为激活函数时,常用交叉熵损失函数而不用均方误差损失函数,因为他可以完美解决平方损失函数权重更新过慢的问题,具有“误差大的时候,权重更新快;误差小的时候,权重更新慢”的良好性质


    0 Responses to 陈浩臻2018329621218 作业3

    要发布评论,您必须先 登录!