推理芯片初创公司Groq完成6.5亿美元融资,加速云平台扩张

🤖 AI总结

主题

Groq公司融资与LPU芯片技术进展

摘要

Groq获6.5亿美元融资,与英伟达合作推出LPU 3推理芯片,其云平台规模扩大,计划提升算力至200兆瓦。

关键信息

  • 1 Groq完成6.5亿美元融资,并与英伟达签署200亿美元芯片授权协议。
  • 2 LPU芯片专为AI推理优化,具备SRAM高速内存和高速数据通道。
  • 3 Groq云平台每周处理数万亿Token,计划扩展算力至200兆瓦。

推理芯片初创公司Groq完成6.5亿美元融资,加速云平台扩张

距与英伟达签署价值200亿美元的芯片授权协议仅七个月,Groq公司今日宣布完成6.5亿美元新一轮融资。本轮融资由成长型投资机构Disruptive和对冲基金Infinitum联合领投。

Groq自主研发了一款名为LPU的芯片架构,专为AI推理工作负载进行优化。去年12月,英伟达与其达成协议,取得该处理器底层技术的授权,并招募了包括Groq创始首席执行官在内的多位核心员工。

双方合作的成果是英伟达Grok LPU 3推理处理器,该芯片于今年3月正式亮相,以机架尺寸液冷一体机形式出货,产品名为LPQ。该系统包含32个托盘,每个托盘搭载3块Groq LPU 3、1个中央处理器及网络设备。

在推理集群中,每块加速芯片都配有石英晶振来调控处理速度,晶振同时承担协调芯片间数据流转的重要角色。一旦各芯片的时钟出现同步偏差,数据传输效率便会下降,进而影响AI模型的响应速度。LPU 3内置了自动校正时钟漂移的功能,可有效避免数据传输瓶颈。根据英伟达的介绍,该芯片配备92条数据通道,每条通道传输速率达112Gbps,双向带宽合计高达2.5Tbps。

提升芯片间数据传输速度并非LPU 3加速推理工作负载的唯一手段。该处理器还板载了500MB的SRAM高速内存。相比其他AI加速芯片通常采用的片外RAM,SRAM性能更优,由此带来更快的推理速度。

Groq运营着一个基于LPU的云平台,供企业部署推理工作负载。公司今日披露,该平台目前每周为500万名开发者处理数万亿个Token。

Groq的云基础设施横跨多大洲、覆盖13个数据中心。公司计划将本轮融资所得用于扩充推理算力,目标是在2027年前将总算力规模提升至200兆瓦。据Groq透露,部分新增算力将来自英伟达3月推出的液冷LPU 3一体机LPX。

其他云服务商理论上也可基于LPQ构建自己的推理服务,Groq若想在潜在竞争中脱颖而出,可通过拓展托管数据库等增值服务来强化平台能力。值得注意的是,另一家专注AI的云服务商CoreWeave同样已将业务重心从基础设施向上层服务延伸。

Q&A

Q1:Groq的LPU芯片有什么技术优势?

A:Groq的LPU芯片专为AI推理工作负载优化,具备多项技术亮点:板载500MB高速SRAM,性能优于其他AI加速芯片常用的片外RAM;配备92条数据通道,每条传输速率达112Gbps,双向总带宽高达2.5Tbps;同时内置自动时钟漂移校正功能,可防止多芯片协同时出现数据传输瓶颈,从而提升推理响应速度。

Q2:Groq云平台目前规模有多大?

A:Groq云平台目前每周为500万名开发者处理数万亿个Token,云基础设施覆盖全球多大洲共13个数据中心。公司计划利用本轮6.5亿美元融资持续扩充算力,目标是到2027年将总算力规模达到200兆瓦。

Q3:Groq与英伟达的合作关系是怎样的?

A:Groq与英伟达于2024年12月达成价值200亿美元的芯片技术授权协议,英伟达获得LPU底层技术授权,并招募了包括Groq创始CEO在内的多名核心员工。双方合作推出了英伟达Grok LPU 3推理处理器,该芯片于2025年3月以液冷一体机形式正式发布。

© 版权声明

相关文章