Astera Labs推出大规模AI互联交换机,剑指NVSwitch替代方案

网易专栏6小时前发布 nxnqh
2 0 0

🤖 AI总结

主题

Astera Labs发布Scorpio X PCIe交换机,用于AI系统互联,兼容多种加速器。

摘要

Astera Labs推出Scorpio X PCIe交换机,带宽5.12 TB/s,支持MoE推理优化与Hypercast技术,定位厂商无关的通用互联方案,计划2026年下半年量产。

关键信息

  • 1 Astera Labs发布Scorpio X交换机,带宽5.12 TB/s。
  • 2 Scorpio X支持MoE推理优化,具有Hypercast多播技术。
  • 3 产品计划2026年下半年量产。

Astera Labs推出大规模AI互联交换机,剑指NVSwitch替代方案

Astera Labs于本周二发布了一款可替代英伟达NVSwitch的产品,用于构建机架级AI系统,并声称该产品几乎兼容所有类型的加速器。

这款AI互联交换机代号为Scorpio X,将320条PCIe 6.0通道集成于单颗ASIC芯片中,双向带宽高达5.12 TB/s。

PCIe交换机的扩展应用

长期以来,PCIe交换机被广泛应用于各类场景,包括横向扩展计算互联。仅靠CPU提供的通道数量和速度往往不足以满足GPU、网卡及存储设备的需求。因此,PCIe交换机(通常集成于网卡中)被用来将所有组件连接在一起,而非直接挂载于CPU之下。

Astera认为,只要交换机规模足够大,PCIe便可成为NVLink等纵向扩展互联技术的可行替代方案。这类纵向扩展互联用于将数十块甚至更多GPU整合为一个大型虚拟计算单元,且无需对加速器本身进行重新设计。

不过,Astera并不只是造了一款更大的PCIe交换机。Scorpio还搭载了许多与英伟达NVSwitch相似的网内计算能力,可加速集合通信操作。

对MoE推理的优化

这些通信能力对生成式AI推理尤为重要。随着混合专家(MoE)架构的普及,大语言模型对网络带宽的需求日益显著。

MoE模型由多个称为”专家”的子模型组成。每生成一个Token,系统可能调用运行在不同GPU上的不同专家组合。将集合通信卸载至交换机处理后,GPU等待网络的时间减少,可将更多算力用于Token生成。

Astera为此专门开发了一种针对MoE推理优化的多播操作,命名为Hypercast。

Astera产品管理副总裁Ahmad Danesh表示:”标准多播的局限之一在于实际可支持的组数,以及在MoE模型推理过程中动态切换组的需求。”

Scorpio在纵向扩展生态中的定位

尽管PCIe作为芯片间互联具有明显优势,但Scorpio并非NVSwitch的直接替代品。今年1月CES上发布的NVSwitch 6带宽高达14.4 TB/s,约为Scorpio X的三倍。

然而,Astera并不需要与NVSwitch正面竞争。事实上,Astera去年春天已宣布计划扩展对NVLink Fusion的支持——这是英伟达向更广泛生态开放其高速互联技术的举措。

Scorpio的定位更多是一种厂商无关的通用替代方案。NVLink Fusion或新兴的UALink协议虽在逐步普及,但芯片需围绕这些协议专门设计。而PCIe几乎适用于所有加速器,因为数据的输入输出本就依赖PCIe。例如,若要将32块或更多英伟达RTX Pro 6000 Server显卡互联,就需要一款PCIe交换机,因为这些GPU并不支持NVLink。

PCIe还使混合搭配芯片的分离式推理架构更易实现,类似英伟达与Groq、AWS与Cerebras、英特尔与SambaNova已有的探索。这类架构中,一种加速器负责计算密集型的预填充操作,另一种负责带宽密集型的解码操作,两者之间需要直接互联。许多AI芯片厂商选择以太网实现这一连接,而PCIe路径则更为直接。

产品路线图

除Scorpio X系列芯片外,Astera还扩充了Scorpio P系列交换机产品线,提供从32到320条PCIe通道的多种规格。

所有交换机均与COSMOS管理套件兼容——这是一套硬件监控平台,旨在帮助用户追踪并解决网络互联中的各类问题。

Astera全新Scorpio系列交换机目前已进入送样阶段,量产预计将于2026年下半年启动。

Q&A

Q1:Scorpio X交换机的带宽是多少?和NVSwitch比怎么样?

A:Scorpio X将320条PCIe 6.0通道集成于单颗ASIC中,双向带宽为5.12 TB/s。相比之下,英伟达NVSwitch 6的带宽高达14.4 TB/s,约为Scorpio X的三倍。因此Scorpio X并非NVSwitch的直接性能替代品,而是定位为厂商无关的通用互联方案,适用于不支持NVLink的加速器场景。

Q2:Hypercast是什么?它解决了什么问题?

A:Hypercast是Astera专为MoE推理优化开发的多播操作技术。标准多播在支持的组数量以及动态切换组方面存在局限,而MoE模型推理时每生成一个Token都可能需要调用不同GPU上的不同专家组合。Hypercast通过优化这一多播机制,减少GPU等待网络的时间,从而提升Token生成效率。

Q3:Scorpio交换机什么时候可以量产?

A:Astera的Scorpio系列交换机目前已进入送样阶段,正式量产预计将于2026年下半年启动。产品线涵盖Scorpio X系列芯片及Scorpio P系列交换机,后者提供从32到320条PCIe通道的多种规格选择。

© 版权声明

相关文章