高考考试网
当前位置: 首页 高考资讯

ai 神经网络深度学习(训练大型神经网络的四种基本方法)

时间:2023-07-19 作者: 小编 阅读量: 6 栏目名: 高考资讯

下标会指示在哪个worker上运行操作。由于顺序依赖性,数据一次由一个worker处理,导致产生了大量的空闲时间“泡沫”。梯度在微批次之间进行平均,并且只有在所有微批次完成后才会更新参数。微批次1-8对应于两个连续的数据批次。不同的专家可以主持不同的GPU,从而提供了一种明确的方式来扩大用于模型的GPU数量。在适当的照顾下,产生的模型几乎可以不损失任何精度。例如,Gist压缩为后向传递而保存的激活;DALL-E在同步梯度之前压缩梯度。

来源 | OpenAI

编译 | 黄楠

编辑 | 陈彩娴

大型神经网络是当前人工智能领域的热门话题之一,那么,如何训练大模型?

最近,曾推出大规模预训练模型 GPT-3 的 OpenAI 发表了一篇博文,介绍了基于 GPU 的四种节省内存的并行训练方法,分别是:

  • 数据并行——在不同的 GPU 上运行同一批次的不同子集;

  • 流水线并行——在不同的 GPU 上运行模型的不同层;

  • 张量并行——分解单个运算的数学运算,例如将矩阵乘法拆分到 GPU 上;

  • 专家混合(MOE)——仅通过每层的一小部分处理每个示例。

图注:三层模型上各种并行策略,每种颜色代表一层,虚线分隔不同的 GPU。

1 数据并行

「数据并行训练」意味着将相同的参数复制到多个 GPU(通常称为“workers”),并为每个 GPU 分配不同的示例以同时处理。

单单的数据并行要求模型匹配单个 GPU 内存,但当你利用多个 GPU 计算时,代价是存储参数的多个副本。不过,话虽如此,有一些策略可以增加 GPU 可用的有效 RAM,例如,在两次使用之间,可将参数暂时卸载到 CPU 内存。

随着每次数据并行 worker 更新其参数副本,它们需要相互协调,以确保每个 worker 都继续具有相似的参数。最简单的方法是在 worker 之间引入「阻塞通信」:

步骤 1:独立计算每个worker上的梯度;

步骤 2:将不同 worker 的梯度平均;

步骤 3:在每个 worker 上独立计算相同的新参数。

步骤 2 是一个阻塞平均值,它需要传输大量数据(与 worker 数量乘以参数大小成正比),这可能会损害训练的吞吐量。有各种异步同步方案可以消除这种损耗,但会损害学习效率;因此在实践中,人们普遍坚持同步方法。

2 流水线并行

在流水线并行训练中,研究者会将模型的顺序块划分到 GPU 上,每个 GPU 只保存一小部分参数,因此,相同模型的每个 GPU 消耗的内存按比例减少。

将大型模型拆分为连续层的块很简单,但由于层的输入和输出之间存在顺序依赖关系,因此,在 worker 等待前一台机器的输出用作其输入时,一个幼稚的执行可能会导致出现大量空闲时间。这些等待时间块被称为「泡沫」(bubbles),即浪费了本可以由空闲机器来完成的计算。

图注:一个简单的流水线并行设置插图,其中,模型被垂直分成 4 个分区。worker 1 主持第一层的模型参数(最接近输入),而 worker 4 主持第 4 层(最接近输出)。“F”、“B”和“U”分别代表前向、后向和更新操作。下标会指示在哪个 worker 上运行操作。由于顺序依赖性,数据一次由一个 worker 处理,导致产生了大量的空闲时间“泡沫”。

我们可以重用数据并行的想法,通过让每个 worker 一次只处理数据元素的一个子集,来降低产生时间泡沫的成本,从而使我们能巧妙地将新计算与等待时间重叠。核心思想是,将一个批次拆分为多个微批次,每个微批次的处理速度都应该成比例地加快,并且每个 worker 在下一个微批次可用时立即开始工作,从而加快管道执行。有了足够的微批次, worker 可以在大部分时间被利用,并且在步骤开始和结束时「泡沫」最小。梯度在微批次之间进行平均,并且只有在所有微批次完成后才会更新参数。

模型拆分的 worker 数量通常称为「管道深度」(pipeline depth)。

在前向传递期间,worker 只需将其层块的输出(称为「激活」)发送给下一个 worker;在反向传递期间,它仅将这些激活的梯度发送给前一个工作人员。如何安排这些通道以及如何跨微批次聚合梯度有很大的设计空间。例如,方法 GPipe 是让每个工作进程连续向前和向后传递,然后在最后同步聚合来自多个微批次的梯度;而 PipeDream 会安排每个 worker 交替处理的前向和后向通道。

图注:GPipe 和 PipeDream 流水线方案的比较,每批使用 4 个微批次。微批次 1-8 对应于两个连续的数据批次。图中“number”表示在哪个微批次上操作,下标标记 worker ID。注意,PipeDream 通过使用陈旧参数执行一些计算来获得更高的效率。

3 张量并行

管道并行性将模型逐层“垂直”拆分,也可以在一个层内“水平”拆分某些操作,这通常称为张量训练。

对于许多现代模型(例如Transformer),计算瓶颈是将激活批处理矩阵与大权重矩阵相乘。矩阵乘法可以认为是成对的行和列之间的点积;可以在不同的 GPU 上计算独立的点积,或者在不同的 GPU 上计算每个点积的部分并总结结果。无论采用哪种策略,我们都可以将权重矩阵分割成大小均匀的“碎片”,将每个碎片托管在不同的 GPU 上,并使用该碎片计算整个矩阵乘积的相关部分,然后再进行通信以组合结果。

一个例子是Megatron-LM,它在 Transformer 的自注意力和 MLP 层内并行化矩阵乘法。PTD-P使用张量、数据和流水线并行,其流水线调度为每个设备分配了多个不连续的层,以增加网络通信为代价来减少泡沫损耗。

有时,网络输入可以跨维度并行化,相对于交叉通信具有高度的并行计算。序列并行就是这样一种想法,其中输入序列在时间上被分成多个子示例,通过允许计算继续进行更细粒度的示例,来按比例减少峰值内存消耗。

4 专家混合 (MoE)

使用专家混合(MoE)方法,只有小部分网络用于计算任何一个输入的输出。

一个示例方法是拥有多组权重,并且网络可在推理时通过门控机制选择要使用的权重组,这能在不增加计算成本的情况下启用更多参数。每组权重都被称为“专家”,且希望网络能学会为每个专家分配专门的计算和技能。不同的专家可以主持不同的 GPU ,从而提供了一种明确的方式来扩大用于模型的 GPU 数量。

图注:门控网络只选择了n个专家中的2个。

GShard 将 MoE Transformer 的参数扩展到 6000 亿个参数,其中仅将 MoE 层拆分到多个 TPU 设备上,其他层则完全复制。Switch Transformer 通过将一个输入路由到单个专家,将模型大小扩展到数万亿个参数,具有更高的稀疏性。

5 其他节省内存的设计

还有许多其他的计算策略,可以使训练越来越大的神经网络更容易处理。例如:

要计算梯度,需要保存原始激活,这会消耗大量设备 RAM。检查点(也称为激活重新计算)存储激活的任何子集,并在反向传递期间,及时重新计算中间的激活,以最多一个额外完整前向传递的计算成本,节省了大量内存。人们还可以通过选择性激活重新计算,来不断权衡计算和内存成本,这是对激活的子集进行检查,其存储成本相对较高,但计算成本较低。

混合精度训练是使用较低精度的数字(最常见的是FP16)来训练模型。现代加速器可以使用较低精度的数字达到更高的 FLOP 计数,并且还能节省设备 RAM。在适当的照顾下,产生的模型几乎可以不损失任何精度。

卸载是将未使用的数据临时卸载到 CPU 或不同设备之间,在需要时将其读回。幼稚的执行会大大减慢训练速度,但复杂的实现方式会预先获取数据,使设备永远不需要等待。这个想法的一个实现是ZeRO,它可将参数、梯度和优化器状态分割到所有可用的硬件上,并根据需要将它们具体化。

Memory Efficient Optimizers已经提出了内存效率优化器,以减少优化器所维护的运行状态的内存占用,例如Adafactor。

压缩也可用于存储网络中的中间结果。例如,Gist压缩为后向传递而保存的激活;DALL-E在同步梯度之前压缩梯度。

参考链接:

https://openai.com/blog/techniques-for-training-large-neural-networks/

    推荐阅读
  • 柳慕白变成反派(柳慕白就这么轻易地被洗白了)

    目前还没有腾出时间来看原著。牧尘牺牲自己就为了让洛璃恢复记忆。只为了洛璃一人,放弃大千世界众生命,和他要拯救苍生的人设有点不符。洛璃杀李玄通的时候,洛璃认可了李玄通是她的义兄。可李玄通告诉她血灵子不是他的夫君,洛璃居然没有相信。柳牧大战,柳慕白为了正义大义灭亲,成了大英雄。帮助天邪神,又破坏灵阵,又要杀牧尘。阻止牧尘救母,帮助天邪神找到太灵古族和苍穹榜。

  • 杭州高端菜市场(杭州文二路场花)

    戎晓梅是安徽阜阳人,27岁。她是典型的“菜二代”,父母守着文二路农贸市场里7平方米的摊位,如今已是第11年了。2017年前,戎晓梅生了二胎便一直在家里全职带娃,摊位只有父母两个人在经营,每天起早贪黑,一天营收一两千块钱。17年8月,戎晓梅的「杭州文二街农副产品市场」上线了。用户慢慢有了积累,从去年2月份开始,订单量一直在稳步上升。现在,戎晓梅的外卖店80%都是老客户,线上生意3倍于线下。

  • 肺大泡破裂有前兆吗(被查出有肺大泡该怎么办)

    由于肺大泡本身已经没有了换气的功能,如果肺大泡数量比较多,肺功能当然会受到影响,病人就会表现出咳嗽、咳痰、气喘等症状。肺大泡破裂,肺内的气体就会从破溃处漏进密闭的胸腔,我们称为气胸。肺大泡是一种不可逆转的肺部疾病,目前没有有效的治疗药物,所有鼓吹能根治肺大泡的秘方都是骗人的,大家千万不要上当受骗。吸烟是造成肺大泡最重要的原因之一,一旦诊断为肺大泡,应立即戒烟。

  • 三年期多少利息(三年的利息有多少)

    大额存单有多种期限的,最短期限的为一个月,最长期限为五年,每种期限的利率肯定是不同的。尤其是在利率下调之后,上述的最高利率其实只有少数银行才有,基本都是一些小银行。当然,各个银行间的存款利率就算有不同,但也不会相差太大。另外,不同时期的存款利率,也可能会出现较大的变化。如果存款利率整体出现下降,那么前期存的定期存款,利息就可能高于当前存的大额存单。

  • 防晒霜是越白防晒指数越高吗(日常防晒霜防晒指数多少合适)

    SPF——防晒指数SPF指的是防晒指数,表明防晒用品所能发挥的防晒效能的高低。根据SPF值你可以知道这瓶防晒霜对皮肤的保护时间。当然不是,SPF和PA数值越高,意味着物理或化学防晒剂越多,当然对皮肤的刺激也就更大。所以防晒还是需要根据自己的皮肤一般来说,大多数人会较长时间待在室内,那么选用SPF15、PA+的产品即可。而户外运动或者上下班通勤,短时间暴露在阳光下,则需要选用SPF30、PA的产品。

  • 全国草地资源分布图(林草科普山地型旅游城镇土地利用变化特征及其驱动机制)

    然而,目前对山地型旅游城镇土地利用变化特征及其机理仍缺乏深入研究。截至2013年,井冈山市辖21个乡镇场、街道办事处,总计人口16.3万人。景区内土地利用格局发生明显变化的区域主要分布在茅坪乡、茨坪镇和长坪乡,这可能与这些乡镇长期积极发展旅游密切相关。茨坪镇对其辖区的旅游交通、酒店住宿等进行了改建和扩建。

  • 猪圆环病毒打什么针,是什么原因导致的

    针对病猪,还可肌肉注射黄芪多糖和头孢噻呋,连续使用3-4天。日常应加强饲养管理,做好猪主要传染病的免疫工作。

  • 面筋是什么做的(是用面粉做成的)

    面筋是面粉做的,不是豆制品,具体如下:食材:面粉,油把面粉放进盆里面放如适水分次加入用筷子搅拌成絮状用手活成面团放水开始洗面一个小时候后把洗面的水倒另一个盆子里面备用,反复用清水洗面,接下来我们就来聊聊关于面筋是什么做的?以下内容大家不妨参考一二希望能帮到您!面筋是什么做的面筋是面粉做的,不是豆制品,具体如下:食材:面粉,油。面筋上锅蒸5分钟。蒸好的面筋,完成。

  • 描写老师的好句子(描写老师的优美语句)

    跟着小编一起来看一看吧!描写老师的好句子老师是世界上最高尚的职业,也是祖国花园里的辛勤园丁。老师,您真伟大!虽然我的老师是一个普普通通的教师,但在我的心中她最美!您说外表美不是真的美,内心美才是真美,因此我从来不嘲笑别人的外表,班里其他同学也不。不计其数的道理在我心中扎下深根,将会陪伴我的人生路。老师,在今天我们身上散发的智慧光芒里,依然闪烁着您当年点燃的火花!

  • 小燕子和尔康谁厉害(小燕子和尔康差点成亲)

    但是乾隆在一件事情上,却差点将小燕子彻底逼出皇宫。小燕子当时都被吓得腿软直接坐到了地上,更是令尔康紫薇和永琪三人不知所措,这4人当时可是各怀鬼胎。因为永琪已经知道小燕子不是自己的亲妹妹,又因为非常喜欢小燕子,就已经将小燕子当做自己未来的福晋了。而尔康则怕皇帝万一下道圣旨为他和小燕子指婚,刚追到手的紫薇又跑了,所以尔康一直心虚地瞅着紫薇。