高考考试网
当前位置: 首页 高考资讯

bp神经网络建立的步骤(BP神经网络分类问题正向传播和反向传播)

时间:2023-08-23 作者: 小编 阅读量: 5 栏目名: 高考资讯

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。y是groundtruth,即真实值。这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

BP神经网络可以用于解决回归问题也可以用于解决分类问题。

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。

1.分类问题的模型

用于解决分类问题的BP网络通常像如下图中的结构:

其中i是输入层,h是隐含层,o是输出层,s是softmax层。y是ground truth,即真实值。

这里给网络中的参数赋予一些初始值,方便进行计算演示:

2、正向传播

首先看正向传播,首先看输入层向隐含层的传递。

隐含层的计算如下图所示。

以隐含层h1计算

隐含层h2计算

接着看隐含层向输出层的传递。

输出层的计算如下图所示:

输出层o1计算

输出层o2计算

最后看输出层向softmax层的传递,

softmax的计算如下图所示

3.反向传播

反向传播中,分类问题与回归问题不同的是,增加了softmax层的反向传播。

那么问题来了,Softmax层如何求导?这是分类问题中的难点。

这里首先看一个通例,有m个输入元素z,然后通过softmax计算,形成了m个softmax元素s,s的计算公式如下图所示:

最后可以得到一个结论,即:

最后将这个公式带入到损失函数中,可以得到如下的结果:

这样就可以得到Loss函数对w5的偏导数。

这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。这里不算赘述。

除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

    推荐阅读
  • 男士用什么面霜好用又便宜(男生用什么面霜好)

    而且,欧莱雅男士水能保湿强润霜还有一定的控油作用,是非常好用的一款男士面霜。碧欧泉男士滋养紧致面霜碧欧泉的这款男士面霜,主打抗衰老,很容易推开。吾诺男士保湿面霜这款保湿面霜来自日本的著名男士护肤品牌——吾诺,它的使用感很好,可以说是将乳液、化妆水和面霜结为了一体。

  • 海枯石烂的意思(海枯石烂的意思是什么生肖)

    海枯石烂,汉语成语,拼音是hǎikūshílàn,意思是海水干涸、石头腐烂。比喻坚定的意志永远不变。成语出自元代王实甫的《西厢记》第五本第三折:“这天高地厚情,直到海枯石烂时。”海枯石烂的近义词有:天长地久、矢志不移、海誓山盟、信誓旦旦、地老天荒、反义词有:朝秦暮楚、朝三暮四、见异思迁词语造句:海枯石烂,至死不渝的爱情一直为青年朋友们所向往。

  • 浣溪沙翻译(浣溪沙译文)

    浣溪沙翻译译文听一支新曲喝一杯美酒,还是去年的天气旧日的亭台,西落的夕阳何时才能回来?花儿总要凋落让人无可奈何,似曾相识的春燕又归来,独自在花香小径里徘徊。沙,一作“纱”。因为词是配合音乐唱的,故称“曲”。酒一杯,一杯酒。燕归来,春中常景,在有意无意之间。因落花满径,幽香四溢,故云香径。

  • 绍兴居民医保普通门诊报销比例2022(绍兴居民医保普通门诊报销比例2022年)

    医保目录包括医保药品目录、诊疗项目目录和医疗服务设施范围目录。

  • 宝宝出生文案短句干净(宣布孩子出生的朋友圈文案语句)

    以下内容希望对你有帮助!宝宝出生文案短句干净迎接新生命的到来总是让人非常开心的事情报告报告,一大波姑爷向我方山头靠近!当上帝将你赐予我们的之时,幸运与你同时降临!前面的路还长,你却让希望承载在我的翅膀。愿意带你去飞翔。我家猪出栏了,那些种白菜的,把白菜看好了!折腾了一晚上,妈妈辛苦了!母子平安,感恩!孕育一个新生命,期待着你的到来,任重而道远。我种下一颗种子终于长出了果实今天是个伟大日子。

  • 绝地求生好听的名字推荐(绝地求生好听的英文名字推荐)

    绝地求生好听的英文名:chijikuangrenwoshilybmingzibaqiDJIBA(大JB?)3000mbaotou(三千米爆头?)SilvercrowChinaLYBLYBNo1AccompanyVurtnelNeverbeFunLuodi98kAKBiNiDiao3000MBaotou(三千米爆头?)congbukaiWGwoshiLYBtiantianchijiLuodiChiji(落地吃鸡?

  • i5 8500cpu能用多久(i5-8500CPU上手体验诚意满满)

    主板选了华擎的B360MPro4,相对比较便宜,而用料比较足。这个最下面的我打算装个傲腾内存,还没有想好,也是待定状态。4条内存插槽,支持DDR2666,目前手上只有DDR42400的,先将就着用用看吧。SuperPI测试1M的9.469秒,这个是测试单核性能的,终于破10秒了,我经受的CPU破这个10秒的只有主频4.2G的i3-7350K。多核性能用wPrime来测试,32M用了9.031秒,1024M用280.469秒,目前手上CPU中最强的。

  • 淮南旅游一定要去的8个景点(淮南旅游一定要去的8个景点简单介绍)

    据史料记载,寿县古城墙始建于宋朝,是棋盘式布局的一座宋城。它是目前国内保存较完善的七大古城墙之一,现为省级重点文物保护单位,安徽省著名的旅游景点。现为国家AAA级旅游景区、国家重点文物保护单位、全国首批国家级抗战纪念遗址、省国防教育基地、省爱国主义教育基地。

  • 食用清道夫鱼注意什么(清道夫鱼不能清洁)

    清道夫鱼刚被引进国内时,由于长相并不讨喜,因此卖的并不好。应该说,清道夫鱼可以被认为是商业历史上非常经典的营销案例。咬伤也就算了,关键是清道夫鱼如果发现其他鱼表面有伤口,它们就会一直去吮吸表面有伤鱼的伤口,这使得伤口恶化,造成受伤鱼的死亡。无论是上述的哪一种,都会造成清道夫鱼进入到野生环境当中。首先,由于它们会吃掉去其他鱼类的后代和鱼卵,因此,清道夫鱼所到之处,本地的鱼基本上都会遭殃。

  • 柠檬酸奶麦芬的做法(柠檬酸奶麦芬做法)

    柠檬酸奶麦芬的做法低筋面粉100g,黄油60g,全蛋液30g,细砂糖40g,原味酸奶80g,柠檬汁10ml,柠檬皮屑5ml,小苏打1.25ml,泡打粉2.5ml,核桃、腰果等干果随意15g。一定要等第一次加入的鸡蛋完全和黄油融合之后再加入第二次。加入柠檬碎屑,倒入酸奶。低筋面粉、泡打粉、小苏打混合均匀后筛入打发好的黄油里。将面糊装入纸杯中7分满,表面可以放核桃等干果点缀。放入预热好170度的烤箱,烤焙20-25分钟左右,直到完全膨发,表面呈金黄色即可出炉。