详情

手把手教你搭建10万卡GPU集群

媒介

建设10万卡集群的必要性了然于目，现时AI公司第一梯队的门票仍是是3.2万卡集群。展望来岁，这一数字将高潮至10万卡(H100)集群，擢腾飞间巨大。

由10万张H100组成的AI集群，其功耗高达150MW,投资进步40亿好意思元(约300亿东说念主民币)。每年耗能约为$1.59\times10^9$千瓦时。按照0.078好意思元/kWh的费率缠绵，每年电费高达1.24亿好意思元。这一数字令东说念主瞠目，足以激勉对动力豪侈和资本效益的真切念念考。

挑战

（1）动力跟空间挑战

算力瓶颈的背后，有着“动力”和“工程智商”这两座大山。

"10万块H100组成的集群，功率需求高达150MW,越过了当今天下最大的超等缠绵机El Capitan的30MW,后者的功率仅为前者的五分之一。"

在H100 Server里面，每块GPU的独建功耗约为700W。为喜跃其运行需求，简短需要575W的电源来驱动与之配套的CPU、网罗接口卡(NIC)和电源单位(PSU)。

H100 Server外部，AI集群还囊括了存储作事器、网罗交换机、光收发器等许多其他开拓，约占总功耗的10%。

X.AI 将田纳西州孟菲斯市的一家旧工场改酿成了数据中心，每天豪侈100万加仑水和150兆瓦电力。当今天下上还莫得任何一座数据中心有智商部署150MW的AI集群 。

这些AI集群通过光通讯进行互联，而光通讯的资本与传输距离成正比。

多模 SR 和 AOC收发器的最长传输距离约为50米。

在数据中心的天下中，每栋大楼齐被赞赏为一个“缠绵岛”。这些岛屿里面充满了多个“缠绵仓”，它们之间的贯串是通过经济实用的铜缆或者多模互联罢了的。而为了罢了这些岛屿之间的联通，咱们遴荐长距离的单模光通讯期间。这种神气不仅高效，况且梗概确保数据的相识传输，从而喜跃当代数据中心对高性能和可靠性的需求。

由于数据并行相对的通讯量比较少，因此，不错跑在不同 缠绵岛之间：

当今，这个领有10万+节点的集群中，已有3栋建筑(3个缠绵岛)完工，每座缠绵岛容纳约1000-1100个机柜，总功耗约为50MW。

（2） 网罗架构及并行政策

数据并行（Data Parallelism）

这种并行神气的通讯条件最低，因为GPU之间只需要传递梯度数据。

然而，数据并行条件每块GPU具备充足的内存以存储通盘模子的权重。关于领有1.8万亿参数的GPT-4模子而言，这意味着高达10.8TB的内存需求。

张量并行（Tensor Parallelism）

为了克服数据并行带来的内存放胆，东说念主们发明了张量并行期间。

在张量并行中，GPU之间需要平日通讯，以交换中间缠绵收尾，从而罢了更高效的缠绵。因此，张量并行需要高带宽和低延伸的网罗贯串。通过张量并行，不错有用减少每块GPU的内存条件。例如，使用8个张量并行品级进行NVLink贯串时，每块GPU使用的内存不错减少8倍。

活水线并行（Pipeline Parallelism）

另一个克服GPU内存放胆的法子是活水线并行期间。

活水线并行是一种在漫衍式缠绵环境中罢了模子并行的期间，主要用于深度学习范畴，非常是在处理大范围神经网罗模子时。通过将模子的不同部分(如神经网罗的层)分派到不同的缠绵节点上，活水线并行梗概在不糟跶考试后果的情况下，期骗集群中的多台机器共同完成模子考试 。

当一块GPU完成层的前向、反向传播运算后，它不错将中间收尾传递给下一块GPU,以便立即入手缠绵下一个数据批次。这么不错提高缠绵后果，镌汰考试时辰。尽管引入了GPU之间的通讯量，但每个GPU在完成缠绵后需将数据传递给下一个GPU,因此需要高效的网罗贯串以确保数据快速传输。

活水线并行对通讯量的条件很高，但莫得张量并行那么高。

3D并行（3D Parallelism）

遴荐H100 Server内的GPU张量并行，缠绵岛内节点活水线并行，跨缠绵岛罢了数据并行，提高后果。

网罗架构

进行网罗拓扑瞎想时需要同期有计划到所用的并行化决策。

GPU部署有多种网罗，包括前端网罗、后端网罗和推广网罗(NVLink),每个网罗中运行不同的并行决策。

NVLink网罗是处理张量并行带宽需求的独一快速取舍。尽管后端网罗能糟塌顶住大多数其他类型的并行，但在存在料理比问题时，数据并行成为首选。

现时建设10万张H100的超等AI算力集群，不错取舍的网罗决策主要有三种，分歧是Broadcom Tomahawk 5,Nvidia Infiniband,以及Nvidia Spectrum-X。在大型AI集群中，Spectrum-X比较InfiniBand具有权臣上风，包括性能、功耗和资本 。其中，Spectrum-X是NVIDIA推出的高性能以太网交换芯片平台，仅用于Spectrum-X平台，不只独销售。这三种决策各有优劣，具体取舍需要笔据本体需求进行评估。若是您需要更多信息，请参考相关文件或盘考专科东说念主士。

InfiniBand

InfiniBand的上风在于，以太网并不扶助SHARP网罗内缩减。

InfiniBand NDR Quantum-2交换机领有64个400G端口，相较之下，Spectrum-X以太网的SN5600交换机和Broadcom的Tomahawk 5交换机ASIC均提供128个400G端口，提供了更高的端口密度和性能。

"Quantum-2交换机端口有限，10万节点集群中最多只可罢了65,536个H100 GPU的整个互联。"

下一代InfiniBand交换机Quantum-X800将通过144个800G端口科罚容量问题，但仅适用于NVL72和NVL36系统，因此不太可能在B200或B100集群中等闲应用。

Spectrum-X

Spectrum-X,收获于NVIDIA库如NCCL的一级扶助，为您带来无与伦比的上风。加入他们的新址品线，您将成为首批客户，体验前所未有的革命。

Spectrum-X需搭配Nvidia LinkX收发器购买，因为其他收发器可能无法正常责任或未通过考据。

英伟达在400G Spectrum-X中，遴荐Bluefield-3替代了ConnectX-7行动暂时的科罚决策，而ConnectX-8展望将与800G Spectrum-X竣工协同。

在庞大的数据中心中，Bluefield-3和ConnectX-7的资分内别为约300好意思元/ASP,但Bluefield-3需额外豪侈50瓦电力。因此，每个节点需增多400瓦功率，从而攻讦了合座考试作事器的每皮焦尔智能度。

Spectrum-X在数据中心部署10万个GPU需5MW功率，相较之下，Broadcom Tomahawk 5无需此功率。

为了幸免给英伟达支付昂贵的用度，许多客户取舍部署基于Broadcom Tomahawk 5的交换机。这款芯片梗概以5.5W的功率为800Gbps的流量供电，减少了将信号驱动到交换机前端的可插拔光学器件的需要。此外，Broadcom周二推出了该公司最新的交换芯片Tomahawk 5,梗概在端点之间互连揣摸每秒51.2太比特的带宽。

基于Tomahawk 5的交换机与Spectrum-X SN5600交换机一样具备128个400G端口，若公司领有稀奇的网罗工程师，可罢了等同性能。此外，您可从任何供应商购打通用收发器及铜缆并进行搀和使用。

辽远客户取舍与ODM厂商协作，如Celestica的交换机、Innolight和Eoptolink的收发器等。

"笔据交换机和通用收发器的资本有计划，Tomahawk 5在价钱上大大优于Nvidia InfiniBand。况且，与Nvidia Spectrum-X比较，它更具资本效益。"

缺憾的是，要为Tomahawk 5修补和优化NCCL通讯集群，您需要具备塌实的工程手段。虽然，NCCL开箱即用，但其仅针对Nvidia Spectrum-X和Nvidia InfiniBand进行了优化。

若是你有40亿好意思元用于10万个集群，那么你应该也有弥散的工程智商来修补NCCL并进行优化。软件开发充满挑战，然而Semianalysis预测，超大范围数据中心将转向其他优化决策，摈弃InfiniBand。

轨说念优化

为了提高网罗爱戴性和延长铜缆(<3米)及多模(<50米)网罗的使用寿命，部分客户取舍摈弃英伟达保举的轨说念优化瞎想(rail optimized design),转向遴荐中间架瞎想(Middle of Rack design)。

"轨说念优化期间，让每台H100作事器与八个孤苦的叶交换机建立贯串，而非汇注在合并机架。这种瞎想让每个GPU仅需一次跳转就能与更远的GPU进行通讯，从而大幅擢升全对全集体通讯性能。"

比如在搀和各人（MoE）并行中，就多半使用了全对全集体通讯。

在合并机架内，交换机可遴荐无源直连电缆(DAC)和有源电缆(AEC)。但在轨说念优化瞎想中，若交换机位置不同，需借助光学器件罢了贯串。

此外，叶交换机到骨架交换机的距离可能大于50米，因此必须使用单模光收发器。

通过非轨说念优化瞎想，您不错用低价的直连铜缆替换贯串GPU和叶交换机的98304个光纤收发器，从而使您的GPU链路中铜缆占比提高至25-33%。

DAC铜缆在运行温度、耗电和资本方面相较于光缆具有权臣上风，同期可靠性更高。这种瞎想有用攻讦了网罗链路间歇性瘫痪和故障，是高速互连范畴光学器件所濒临的主要挑战的关节科罚决策。

Quantum-2IB骨架交换机在遴荐DAC铜缆时，功耗为747瓦；若使用多模光纤收发器，功耗将升至1500瓦。

入手布线对数据中心期间东说念主员来说耗时巨大，每条链路两头距离50米且不在合并机架，轨说念优化瞎想助力擢升后果。

在中间机架瞎想中，叶交换机与通盘贯串的GPU分享合并机架。甚而在瞎想完成前，就不错在集成工场测试缠绵节点到叶交换机的链路，因为通盘链路齐在合并机架内。

组网例如

如图所示，这是常见的三层Fat-Tree拓扑(SuperSpine-Spine-Leaf),其中两个Spine-Leaf组成一个Pod。

Spine Switch 和 SuperSpine Switch 需要贯串，因此相应 Group 的数量要减半。一个 Pod 有 64 个 Spine Switch,对应 8 个 Group。因此，一个 Pod 有 64 个 Leaf Switch。有了多个 Pod，不错进一步构建 64 个 SuperSpine Fabric，每一个 Fabric 要与不同 Pod 中的 Spine Switch 罢了全互联。这里以 8 个 Pod 为例，将 8 个 Pod 里的第 i 个 Spine Switch 与 Fabric i 中的 SuperSpine Switch 罢了 Full Mesh，这里有 8 个 Pod，因此一个 Fabric 中只需要 4 个 128 Port 的 SuperSpine Switch 即可。以上成就 8 个 Pod 对应：总的 GPU：4096*8=32768SuperSpine Switch：64*4=256Spine Switch：64*8=512Leaf Switch：64*8=512总的 Switch：256+512+512=1280总的光模块数：1280*128+32768=196608本体上表面最多不错扶助 128 个 Pod，对应的开拓数为：GPU：4096*128=524288=2*(128/2)^3SuperSpine Switch：64*64=4096=(128/2)^2Spine Switch：64*128=8192=2*(128/2)^2Leaf Switch：64*128=8192=2*(128/2)^2优化后的著作：Switch性能分析：$4096+8192+8192$ =20480,终点于$5\times(128/2)^2$.

万卡集群秩序推广3个雷同的pod即可。

（3）可靠性与修起

同步模子考试导致巨型集群的可靠性成问题。常见问题包括GPU HBM ECC颠倒、GPU驱动卡死、光纤收发器故障和网卡过热等。

为了镌汰故障修起时辰，数据中心需成就热备与冷备开拓。在发生问题时，最好政策是期骗备用节点络续考试，而非获胜中断。

数据中心期间东说念主员可在数小时内缔造受损GPU作事器，但在某些情况下，节点可能需数日方可再行进入使用。

在考试模子流程中，为了幸免HBM ECC等颠倒，咱们需要按期将搜检点存储到CPU内存或SSD握久化存储。一朝出现颠倒，再行加载模子和优化器权重并络续考试是必不成少的。

容错考试期间可用于提供用户级应用驱动法子，以处理GPU和网罗故障。

缺憾的是，平日备份搜检点和容错考试期间可能导致系统合座MFU受损。集群需不停暂停以保存权重至握久存储或CPU内存。

每100次迭代仅保存一次搜检点，可能导致紧要亏损。以一个领有10万卡的集群为例，若每次迭代耗时2秒，那么在第99次迭代失败时，可能亏损高达229个GPU日的责任。

另一种故障修起政策是期骗备用节点通事后端结构从其他GPU进行RDMA复制。这种法子具有高效性，后端GPU的速率高达400Gbps,每个GPU还配备了80GB的HBM内存，因此复制流程仅需约1.6秒。

通过此政策，最多亏损1个门径(因为更多GPU HBM将赢得权重更新),从而在2.3个GPU日的缠绵时辰内完成，再加上从其他GPU HBM内存RDMA复制权重所需的1.85个GPU日。

辽远顶尖AI执行室已收受此期间，然许多微型公司仍谨守繁琐、逐步且低效的神气——重启处理以归附故障。借助内存重构罢了故障修起，可大幅擢升大型考试运行的MFU后果，勤俭数个百分点的时辰。

在网罗故障范畴，Infiniband/RoCE链路故障是最常见的问题。尽管收发器数量较多，但在全新且正常运行的集群中，第一次功课故障仅需26.28分钟，即使每个网卡到最底层交换机链路的平均故障率为5年。

在10万卡GPU集群中，光纤故障导致再行启动运行所需时辰远超模子缠绵，未经内存重建的故障修起政策将影响后果。

由于GPU与ConnectX-7网卡获胜连结，网罗架构无容错瞎想，导致故障需在用户考试代码中科罚，从而增多代码库复杂性。

大谈话模子(LLM)在节点内使用张量并行，若是一个网卡、一个收发器或一个GPU故障，通盘作事器就会宕机。 由于该政策波及的网罗通讯量较大，需要期骗作事器里面的不同缠绵开拓之间进行高速通讯带宽。

当今，有许多责任正在进行，以使网罗可重成就，减少节点的脆弱性。这项责任至关热切，因为近况意味着通盘GB200 NVL72仅因一个GPU或光学故障就会宕机。 RAS引擎通过真切分析诸如温度、ECC重试次数、时钟速率和电压等关节芯片级数据，准确预测潜在故障并实时见告数据中心工程师，确保系统相识运行。

"此举使期间团队能主动爱戴，如擢升电扇速率以保相识，并在爱戴窗口期将作事器除掉运行队伍进行真切搜检。"

在考试任务入手前，每颗芯片的RAS引擎将进行全面自检，例如奉行已知收尾的矩阵乘法以侦测静默数据损坏(SDC)。

（4）物料清单

具体来说，不错分为四种（原文中是7：1，本体上应该是8：1？）：

"强盛的4层InfiniBand网罗，领有32,768个GPU集群，轨说念优化期间，罢了7:1料理速率擢升。"

Spectrum X网罗是一种以太网平台，由NVIDIA开发。它是一种专为提高Ethernet-based AI云的性能和后果而瞎想的以太网平台。该网罗平台提供了3层架构，其中包括32,768个GPU集群，轨说念优化瞎想，7:1料理比。

3. 3层InfiniBand网罗，包含24,576个GPU集群，非轨说念优化瞎想，用于前端网罗的集群间贯串。

"搭载3层Broadcom Tomahawk 5以太网网罗，领有32,768个GPU集群，罢了轨说念优化，7:1料理比。"

经比较，选项1价钱较其他选项高1.3至1.6倍；选项2提供更大集群、更高带宽和左近资本，但耗电更多；选项3可能导致并行决策纯真性大幅攻讦。

基于Broadcom Tomahawk 5的32k集群，搭配7:1的料理比，是最具资本效益的选项。这亦然多家公司取舍构建雷同网罗的原因。

（5）平面布局

终末，在集群的瞎想上，还需要优化机架布局。

因为若是将多模收发器放在行的结尾，中间的骨干交换机将超出距离范围。

Spectrum-X/Tomahawk 5的32k集群平面图，遴荐轨说念优化瞎想，展望至少需80*60m平面空间。

当今，这个庞大的集群领有10万+节点，其中3栋建筑仍是完工(共3个缠绵岛)。每个缠绵岛容纳约1000~1100个机柜，总功耗约为50MW。

-对此，您有什么看法主张？-

-宽饶在辩驳区留言探讨和分享欧洲杯体育。-