高考考试网
当前位置: 首页 高考资讯

bp神经网络建立的步骤(BP神经网络分类问题正向传播和反向传播)

时间:2023-08-23 作者: 小编 阅读量: 5 栏目名: 高考资讯

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。y是groundtruth,即真实值。这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

BP神经网络可以用于解决回归问题也可以用于解决分类问题。

本文将详细讲解BP网络用于解决分类问题的过程。其中包含了BP分类网络的基本结构和其正向传播和反向传播。

1.分类问题的模型

用于解决分类问题的BP网络通常像如下图中的结构:

其中i是输入层,h是隐含层,o是输出层,s是softmax层。y是ground truth,即真实值。

这里给网络中的参数赋予一些初始值,方便进行计算演示:

2、正向传播

首先看正向传播,首先看输入层向隐含层的传递。

隐含层的计算如下图所示。

以隐含层h1计算

隐含层h2计算

接着看隐含层向输出层的传递。

输出层的计算如下图所示:

输出层o1计算

输出层o2计算

最后看输出层向softmax层的传递,

softmax的计算如下图所示

3.反向传播

反向传播中,分类问题与回归问题不同的是,增加了softmax层的反向传播。

那么问题来了,Softmax层如何求导?这是分类问题中的难点。

这里首先看一个通例,有m个输入元素z,然后通过softmax计算,形成了m个softmax元素s,s的计算公式如下图所示:

最后可以得到一个结论,即:

最后将这个公式带入到损失函数中,可以得到如下的结果:

这样就可以得到Loss函数对w5的偏导数。

这里只推导了对Loss函数对w5的偏导数,实际上对w6,w7,w8的偏导数的计算是很类似的。这里不算赘述。

除此以外,对w1,w2,w3,w4的偏导数和回归问题并没有太大区别,这里不再赘述。

    推荐阅读
  • 适合幼儿园感恩语录(有哪些感恩的句子)

    感谢你们幼儿园老师,人生起点的导航之星,燎原我们的前程谢谢你们,我来为大家科普一下关于适合幼儿园感恩语录?我尊敬的老师,我的成功是你给予的支持,千言万语一声“谢谢”——你是我永远的老师,永远的朋友。拥有年轻梦想即成真;拥有幸福频频出佳绩;拥有财富桃李满天下!十卷诗赋九章离骚,七经八脉尽是诗经,六艺连连心不悔,五书四经毅更坚,三翻两次义无反顾,只求一心一意育人。

  • 最是人间留不住朱颜辞镜花辞树是什么意思(最是人间留不住朱颜辞镜花辞树的意思)

    最是人间留不住朱颜辞镜花辞树是什么意思意思是:很多事物都是人间难以留住的,就像青春容颜渐渐苍老,不忍镜中相看,当鲜花颓败,从枝头飘落。这里用朱颜辞镜花辞树借喻人间美好事物总是那么短暂,仿佛随时就会消逝一般。花底相看无一语,绿窗春与天俱莫。待把相思灯下诉,一缕新欢,旧恨千千缕。最是人间留不住,朱颜辞镜花辞树。本来准备在夜阑灯下,细诉别后的相思。可是,一点点新的欢娱,又勾起了无穷的旧恨。

  • 湖南卫视四大美女主持(盘点湖南卫视十大美女主持人)

    2009年进入湖南娱乐频道,并客串参演湖南卫视《丑女无敌》第二季。高挑身材,长发飘飘,一袭蓝色长裙,李莎旻子一登场便是女神范十足。因主持节目时的生活化,娱乐的风格多次受到领导的认可和表扬。

  • 捐躯赴国难视死如归例子(捐躯为国难视死忽如归)

    捐躯赴国难视死如归例子?(三)文化内涵:诗中的“视死如归”也是成语,意思是:把死看成像回家似的,形容不怕死,多指为了正义的事业,不惜牺牲生命。上面的引诗是《白马篇》中的片断。《白马篇》是一篇热情歌颂边塞游侠青年并抒发自己志向的诗篇。同时也抒发了曹植个人崇高的爱国热忱和渴望为国家建功立业的远大抱负。

  • 公积金卡办理需要什么资料 住房公积金卡办理需要什么资料

    3、提取住房公积金时单位要予以核实,还要出具提取证明,职工携带提取证明到住房公积金管理中心申请提取住房公积金。

  • 张志超案的基本案情及证据梳理(张志超改判无罪背后)

    法院同时告知二人可以向作出生效裁决的原审法院申请国家赔偿。经法医鉴定,高宁系被他人暴力作用于颈部致机械性窒息死亡。根据该校高一学生杨某振和王某波等人证词,警方认为高一学生、16岁的张志超有重大作案嫌疑。临沂中院认为,张志超以暴力手段强奸妇女致死,行为构成强奸罪,同案被告人王广超故意包庇。同案被告人王广超案发时未满18周岁,被判处三年有期徒刑,缓期三年执行。宣判后,张志超被当庭释放。

  • 胭脂水粉第六集(胭脂泪第六集)

    素衣在半空中手抓脚刨,生怕抱琴松手把自己摔下去。没等别人反应过来,翠儿松开灵珊,一下子扑到棺木上。翠儿情绪异常激动,重复着怎么可能中毒的话。翠儿惊的张大了嘴。翠儿一时情绪失控,抱着头前后的转着。翠儿无法接受,给夫人吃螃蟹就中毒的事。唐黄知道,入画这位师姐有点迟钝,所以才敢说她是疯子。待书一抬脚,勾起那只鸡,飞向唐黄。待书立刻停下来,对唐黄呸了一口,恶心的蹭了两下地。

  • 小茴香怎么吃(你学会了吗?)

    小茴香怎么吃素炒茴香菜,准备材料茴香500克,植物油,盐,味精,葱沫姜沫。首先要把茴香用水洗干净,之后再把茴香切成大约三厘米的长条,之后倒一些油进锅里,用火把油烧热,之后放葱沫姜沫,出香味放茴香,翻炒3-5分钟。倒一些水在富强粉里面,把富强粉调成面糊,之后弄成皮子,然后在皮子里面放入馅料,逐只卷成长方形,用面糊封上;锅置旺火上,放菜油烧至七成热,将包好的春卷逐一入锅炸至金黄色,捞出沥油装盘即成。

  • 马自达6二手车价格为什么这么便宜(马自达6二手车多少钱值得买)

    老款马自达6在业内一直被称为“弯道之王”、“普通宝马”。今天要跟大家说的马自达6,是2015年落地的。前面的大饼也说了,马自达6在行业内有着不错的口碑。10年左右的马自达6,现在还能在路上看到。虽然马自达6的外观在过去的10年里发生了很大的变化,但不得不说马自达6的这种设计其实是相当成功的。通过对称的侧面线条,马自达6给人一种强烈的运动感,轮毂的造型也非常令人满意。

  • 康巴赫锅发黄发黑怎么洗(康巴赫锅发黄发黑需要怎么处理)

    康巴赫锅发黄发黑怎么洗?下面内容希望能帮助到你,我们来一起看看吧!康巴赫锅发黄发黑怎么洗康巴赫不粘锅发黄用番茄酱、洗洁精清洗,将番茄酱均匀的涂抹在不锈钢锅发黄的地方,均匀的涂抹哦,一定要每一处发黄的地方都抹到哦,均匀的涂抹完之后,再取适量的洗洁精也是均匀的涂抹在铁锅发黄的地方即可。不锈钢锅表面发黄,是因为受热而产生的。