高考考试网
当前位置: 首页 高考资讯

bp神经网络建立的步骤(BP神经网络分类问题正向传播和反向传播)

时间:2023-08-23 作者: 小编 阅读量: 5 栏目名: 高考资讯

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。y是groundtruth,即真实值。这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

BP神经网络可以用于解决回归问题也可以用于解决分类问题。

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。

1.分类问题的模型

用于解决分类问题的BP网络通常像如下图中的结构:

其中i是输入层,h是隐含层,o是输出层,s是softmax层。y是ground truth,即真实值。

这里给网络中的参数赋予一些初始值,方便进行计算演示:

2、正向传播

首先看正向传播,首先看输入层向隐含层的传递。

隐含层的计算如下图所示。

以隐含层h1计算

隐含层h2计算

接着看隐含层向输出层的传递。

输出层的计算如下图所示:

输出层o1计算

输出层o2计算

最后看输出层向softmax层的传递,

softmax的计算如下图所示

3.反向传播

反向传播中,分类问题与回归问题不同的是,增加了softmax层的反向传播。

那么问题来了,Softmax层如何求导?这是分类问题中的难点。

这里首先看一个通例,有m个输入元素z,然后通过softmax计算,形成了m个softmax元素s,s的计算公式如下图所示:

最后可以得到一个结论,即:

最后将这个公式带入到损失函数中,可以得到如下的结果:

这样就可以得到Loss函数对w5的偏导数。

这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。这里不算赘述。

除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

    推荐阅读
  • 问道异族入侵通关技巧(问道异族入侵如何通关)

    以下内容大家不妨参考一二希望能帮到您!问道异族入侵通关技巧问道异族入侵通关技巧:阵容方面推荐使用五法,异族入侵的敌人法抗相对较低。一开始反复强化攻击和巡逻,当强化到20万点攻击以上后,就可以只打巡逻了。击败刺客以后,把速度强化到9000左右,然后继续强化攻击到满级。之后开启驱魔,直接挑战蛮熊,由宝宝拉仇恨,五法直接输出,可以直接强杀蛮熊。最后以同样的战术挑战主帅,击败主帅后即可通关异族入侵。

  • 微信怎样解除应用授权(解除微信对其他应用软件的授权)

    随着微信的发展,越来越多的人开始使用微信,现在如果谁还没有微信就会让人很吃惊。但是如果我们长时间不使用该软件又没有注销其账号,就会产生泄露微信隐私的危险。下面就介绍一下怎样解除微信对其他应用软件的授权,减少隐私泄露的危险。我们还可以在其中发现有哪些应用软件获取了自己的微信消息。

  • 汽车6年免检年审需要什么(年检和年审的区别)

    外观检测需要注意的是,三角警示牌和灭火器这样的安全装置是否齐全,还有车身的颜色、外观是否与行驶证上的照片一致。不过也有特例,实习标等经过公安机关备案审批的合法车贴是被允许的。检验、鉴定周期超过时限的,须报经省级人民政府公安机关交通管理部门批准。检验日期营运载客汽车5年以内每年检验1次。小型、微型非营运载客汽车6年以内每2年检验1次。

  • 勤奋学习的名言警句(勤奋学习的名言警句列述)

    读书破万卷,下笔如有神——杜甫,我来为大家科普一下关于勤奋学习的名言警句?下面希望有你要的答案,我们一起来看看吧!——杜甫勤奋是成功之母,懒惰乃万恶之源。攀登科学高峰,就像登山运动员攀登珠穆朗玛峰一样,要克服无数艰难险阻,懦夫和懒汉是不可能享受到胜利的喜悦和幸福的。——陈景润不戚戚于贫贱,不汲汲于富贵。——张衡业精于勤而荒于嬉,行成于思而毁于随。——韩愈成功=艰苦劳动+正确方法+少说空话。

  • 暮晨的意思(暮晨的意思是什么)

    下面内容希望能帮助到你,我们来一起看看吧!暮晨的意思晨暮基本解释:早晨和傍晚。《墨子·备城门》:“晨暮卒歌以为度。”谢灵运《游赤石进帆海》诗:“水宿淹晨暮,阴霞屡兴没。”杜甫《有怀台州郑十八司户》诗:“天台隔三江,风浪无晨暮。”与“晨暮”相关的词语:晨暮、晨参暮礼、晨参暮省、晨秦暮楚、晨钟暮鼓、暮鼓晨钟、暮礼晨参、一暮、入暮、大晨、大暮、夕暮。

  • 傅首尔演的叫什么节目名字(傅首尔参加的综艺叫什么名字)

    傅首尔演的叫什么节目名字《奇葩说》。是一档由爱奇艺出品,米未制作的融入辩论元素的节目。节目由马东主持,并邀请了蔡康永、金星、罗振宇、张泉灵、高晓松担任导师。旨在寻找华人华语世界中,观点独特、口才出众的“最会说话的人”。

  • 实验室高压气瓶应摆放在哪里(实验室高压气瓶正确摆放位置介绍)

    实验室高压气瓶应摆放在阴凉、干燥、远离热源的位置,现在小编就来说说关于实验室高压气瓶应摆放在哪里?下面内容希望能帮助到你,我们来一起看看吧!实验室高压气瓶是实验室使用的各类压缩气体钢瓶,高压气瓶须分类保管,直立放置时要用固定链固定稳妥;气瓶要远离热源,避免曝晒和强烈振动;通常实验室存放气瓶量不得超过两瓶。

  • 汽车变速箱漏油和渗油有区别吗(变速箱漏油严重还是渗油严重)

    汽车变速箱漏油和渗油有区别吗?接下来我们就一起去了解一下吧!漏油一定要修理,变速箱里面都是齿轮,只要车走齿轮就在工作,齿轮需要齿轮油的润滑,当齿轮油漏完以后齿轮干摩擦,长时间务润滑的情况下行使以后变速箱也就基本上报废了。

  • 雅思单词app哪个好(免费背单词最好用的app)

    雅思轻松学这款app中还有备考指南以及剑桥雅思真题、口语机经、写作机经等内容,帮助使用者提高雅思水平。雅思英语背单词软件很多,虽然不同的软件有所差别,但最重要的还是要下功夫去记忆背诵。不管软件使用的是什么方式,只要每天坚持练习朗读、背诵、抄写,将雅思词汇量扩充,在做题的时候也会更轻松。

  • 包子冷也软的方法(包子冷也软的方法介绍)

    下面更多详细答案一起来看看吧!包子冷也软的方法要想包子凉了之后不发硬,就要在蒸包子的时候,控制好面粉、清水的比例,并将面团揉到光滑细腻的程度。若是用酵母发酵的话,就应该进行两次发酵,最后还要把包子密封起来保存,这样做好之后就不容易发硬了。