主页 返回 进入列表

  • 总根 >计算机与教育 >课程 >高等教育课程 >本科课程 >模式识别与人工智能 >zstu-(2021-2022)-1 >学生作业目录 >2019329600070 李一龙

  • 作业3

    激活函数: 1、Sigmoid 不足:(1)容易过饱和并且造成梯度消失,因为Sigmoid函救导数为f(1-f),当函数等于0或1时,梯度为0.考虑到梯度传播时需要与Sigmoid函数的导数相乘,那么梯度通过该函数后几乎没有信号流出。因此应小心初始化参数,以避免大部分神经元过饱和。(2)Sigmoidi函数不是以为中心的,假设数据全部为正,那么w参数的梯度一定是全正或全负,这样优化w参数时就会有之字型


    全文(Full Article): https://yvsou.com/dc/single.php?groupid=28.218.81608.81609.81613.85931.86408.83744.86618&pid=1341748&startgroup=