高考考试网
当前位置: 首页 高考资讯

bp神经网络建立的步骤(BP神经网络分类问题正向传播和反向传播)

时间:2023-08-23 作者: 小编 阅读量: 5 栏目名: 高考资讯

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。y是groundtruth,即真实值。这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

BP神经网络可以用于解决回归问题也可以用于解决分类问题。

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。

1.分类问题的模型

用于解决分类问题的BP网络通常像如下图中的结构:

其中i是输入层,h是隐含层,o是输出层,s是softmax层。y是ground truth,即真实值。

这里给网络中的参数赋予一些初始值,方便进行计算演示:

2、正向传播

首先看正向传播,首先看输入层向隐含层的传递。

隐含层的计算如下图所示。

以隐含层h1计算

隐含层h2计算

接着看隐含层向输出层的传递。

输出层的计算如下图所示:

输出层o1计算

输出层o2计算

最后看输出层向softmax层的传递,

softmax的计算如下图所示

3.反向传播

反向传播中,分类问题与回归问题不同的是,增加了softmax层的反向传播。

那么问题来了,Softmax层如何求导?这是分类问题中的难点。

这里首先看一个通例,有m个输入元素z,然后通过softmax计算,形成了m个softmax元素s,s的计算公式如下图所示:

最后可以得到一个结论,即:

最后将这个公式带入到损失函数中,可以得到如下的结果:

这样就可以得到Loss函数对w5的偏导数。

这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。这里不算赘述。

除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

    推荐阅读
  • 笃行致远的含义(关于笃行致远的意思)

    笃行致远字面的意思是注重实践,知行合一理论联系实际,言行表里如一善行而终,才能到达成功的目标;形容一个人不停地提升自己的能力和素养,以注重实践的方式最后才能达到自己的目标,我来为大家科普一下关于笃行致远的含义?以下内容希望对你有帮助!笃行致远的含义笃行致远字面的意思是注重实践,知行合一。

  • 记笔记用英语怎么说(记笔记的英语是什么)

    记笔记的英语是什么记笔记的英语:Takenotes,英[teɪknəʊts]美[teɪknoʊts]你在课堂上记笔记通常用钢笔还是铅笔?Doyouusuallytakenotesinclasswithapenorpen。

  • 胶囊咖啡一定要专用咖啡机吗(胶囊咖啡可以直接泡吗)

    和普通咖啡粉相比,胶囊咖啡里面粉咖啡粉,一经研磨就直接被密封在了盒子里,极大程度上减少了和外界空气接触的可能,最大程度上保存了咖啡的香味和新鲜度。这种咖啡相对于普通的速溶咖啡来说它是从咖啡粉中萃取的纯正咖啡,而不是通过其他手段变成的乳化奶精咖啡,所以在口味上胶囊咖啡会更加醇正,咖啡味道会更浓。热水的盛放容量为80毫升,可容纳7g的咖啡粉。

  • 美味土豆丸子的做法(美味土豆丸子的做法步骤)

    3、然后再把土豆去皮切成片,然后放入到蒸锅中蒸至可以用筷子轻松刺穿。

  • 十大最值得考的证书(盘点八个最值得考的证书)

    想去好的企业,又怕能力不够小编的建议是:考取一门有用的证书“证书”或许不是生活的全部但它可以让我们多一个机会下面,小编整理了一些不错的证书,欢迎收藏了解!在各企事业单位从事会计工作,并符合报名要求的人员,均可报考。该证书在全国范围内有效,含金量高,建议报考。

  • 潍柴最新12升发动机配什么车(就是为重载而生)

    在这次大会上,五征飞碟汽车发布了两款战略卡车新品:一款是飞碟缔途XH中卡车型,而另一款则是飞碟奥驰V6/X6中高端轻卡车型。而据现场的工作人员介绍,奥驰X6还配置有气囊减震座椅,此外,排半车型还有加长,加宽卧铺,成年人可以轻松平躺,保证用户在行驶间隙可以得到良好的休息。奥驰X6驾驶室还配备有全景组合后视镜,不仅造型美观,而且行车视野更加广阔,提升驾驶安全性。

  • 梦见红玫瑰(梦见红玫瑰花是什么预兆周公解梦)

    如果梦到一束花,那么玫瑰的数目和颜色很重要。此外它还代表着果实和纯洁。它蕴含着生活的奥妙,它是妩媚和幸福。此外,它还标志着生活的中心。

  • 鲜姜冰箱储存方法(鲜姜冰箱怎么保存)

    按照中医药的说法,烂生姜产生毒素,不能食用,也说冻过的生姜食用了会致癌,但是并没有相关的依据。但是建议大家吃多少买多少生姜,不要一次性购买太多,其实什么东西放入冰箱保存并不是很好,个人建议生姜还是不要放入冷冻保存的好,最多就放在保鲜层保存即可。

  • ofo目前状况(ofo正式启用物联网智能锁)

    PingWest品玩6月20日报道,ofo小黄车今日宣布,与中国电信和华为共同研发的共享单车NB-IoT“物联网智能锁”,开始正式应用到ofo的小黄车上。在此次三方合作中,ofo负责智能锁设备开发,中国电信负责提供NB-IoT物联网的商用网络,华为负责芯片方面的服务。而此次合作旨在提出可替代机械锁的智能锁解决方案。

  • 汽车刹车片更换标准是什么(汽车刹车片到什么程度要更换)

    一些车辆带有制动蹄片报警功能,一旦到达了制动蹄片的磨损上限,仪表会通过报警来提示您更换制动蹄片。制动蹄片一旦达到使用限度就必须立刻更换,即使还能使用,也会影响行车的安全。