面向AI时代的数据存储架构创新:从介质协同到产业协同

🤖 AI总结

主题

AI时代数据存储架构的创新与产业协同

摘要

AI时代存储需求激增,西部数据通过HDD技术创新与生态合作,构建高效数据底座,支撑AI规模化落地。

关键信息

  • 1 AI应用复杂化推动存储成为关键环节
  • 2 西部数据推出容量、性能、成本三方面HDD技术演进
  • 3 产业链伙伴共同构建面向AI的数据基础设施

作者:王聪彬

AI越便宜,基础设施反而更贵了。这个看似矛盾的变化,正在成为AI产业发展的一个新趋势。

背后的原因在于,AI应用正在进入更复杂的阶段。过去,模型更多完成一次性的内容生成和问答;如今,越来越多场景需要模型理解上下文、调用信息并持续完成任务,这让数据的存储、调用和管理变得更加重要。数据也从模型训练阶段的基础资源,延伸为支撑AI运行全过程的关键要素。

西部数据认为,AI的发展正在推动数据基础设施重新定义自身角色。在传统IT架构中,存储更多承担数据保存的角色,像生产流程之后的“仓库”。但在AI系统中,数据需要更快速地被访问、处理和流转,存储开始参与AI应用运行的关键环节,成为连接计算能力与数据资源的重要基础。

面对不断增长的数据规模和更加复杂的AI工作负载,存储架构需要具备支撑AI全流程的数据能力。WAIC 2026西部数据“面向AI时代的数据存储架构创新”论坛上,讨论的正是如何构建高效的数据底座,为AI的规模化落地铺路。

AI规模化,存储成为连接计算与数据的关键环节

AI模型的训练,本质上是一条围绕数据展开的循环链路,存储则贯穿其中。整个过程形成数据持续积累、模型不断迭代的循环,不同类型的存储介质也在其中承担着数据访问、处理和长期保存等不同任务。

从具体的AI工作负载来看,存储主要面向三类核心场景:训练、推理,推理结果输出。

第一是训练阶段。模型训练始于数据摄取,大量训练数据不断写入、读取和处理。随着AI应用持续运行,新的数据和反馈也会不断加入数据循环,使训练数据规模持续增长。存储在训练场景中需要同时满足大规模数据管理和高效数据访问需求。

第二是推理阶段。无论是生成内容、回答问题,还是完成复杂任务,AI都需要快速读取上下文信息,并保持对历史交互的记忆。推理场景通常涉及大量随机读取,对存储带宽、延迟和响应能力提出更高要求。

第三是推理输出阶段。AI生成的文本、图片等内容需要被留存,并且系统运行过程中产生的日志、操作记录、合规数据以及用于后续训练的合成数据,也需要持续保存。这些数据通常会在高性能存储和大容量存储之间流转,从高速介质逐步迁移至HDD大容量存储。

西部数据开发工程高级副总裁Tim Rausch用一个AI生成视频的案例展示了这一数据循环。他向AI提出要求,创作一段具有电影质感的短片。当短片生成后,他进一步追问:“在所有沟通会话结束之后,你存储了多少数据?”

面向AI时代的数据存储架构创新:从介质协同到产业协同

西部数据开发工程高级副总裁Tim Rausch

答案远超预期。AI生成需要留存的不只是最终的3.97MB视频文件,还包括原始视频、推理记录、日志、合规信息、API调用记录、元数据以及其他相关数据。

一次看似简单的内容生成,背后对应的是一整套数据处理和存储链路,这也解释了为什么AI时代对存储提出了更高要求。随着数据不断被生成、复制、分析和保存,SSD需要承担高频访问需求,HDD则承担大规模数据长期保存,两者共同构成AI时代的数据基础。

我们再来算一笔经济账。假设存储成本每GB相差1美分,对于个人用户,增加1TB存储也只有约10美元的成本变化,但拥有EB级数据规模的企业,单位成本的微小变化都会被放大,新增100EB数据就可能带来数十亿美元的成本差异。

因此,AI系统需要不同层级存储协同工作。数据会根据不同工作负载的需求,在HBM、DRAM、SSD和HDD之间流转,在满足性能需求的同时,实现容量和成本的平衡。

一个有意思的观点是,SSD和HDD在AI时代发挥着各自的价值,因为存储市场的蛋糕正在变大,两者相互补充,相得益彰。IDC预计,2026年全球将产生274ZB数据,到2030年将增长一倍以上达到718ZB。

面对AI时代不断增长的数据需求,西部数据正在从容量、性能和成本三个方向推进HDD技术演进。

在容量方面,围绕HAMR和ePMR两条路线布局下一代硬盘技术。目前西部数据40TB UltraSMR ePMR硬盘已进入客户认证阶段,并计划于2026年下半年量产;公司还计划在年内提供44TB HAMR硬盘样品。预计到2028年,60TB级ePMR和HAMR硬盘将陆续推出,长期来看,HAMR有望在2029年实现100TB级硬盘。

面向AI时代的数据存储架构创新:从介质协同到产业协同

在性能方面,西部数据展示了高带宽硬盘和双枢轴技术。高带宽硬盘通过多磁头并发读写提升数据吞吐能力,相关样品已进入客户验证阶段;双枢轴技术通过在两个独立枢轴上配置两套独立执行器,实现顺序I/O性能双倍提升。西部数据计划于2027年或2028年初开始提供双枢轴硬盘样品,随后推进量产。

在成本方面,西部数据也持续推进SMR(叠瓦式磁记录)和可变容量技术。SMR通过提升面密度,相比传统CMR可实现约20%的容量提升,并帮助客户降低单位TB成本;可变容量技术则通过释放硬盘实际容量差异,为客户带来额外容量收益,进一步优化TCO。

西部数据正通过容量、性能和成本三方面创新,构建面向AI时代的新一代HDD技术体系,帮助客户以更低成本承载AI时代的数据需求。

AI基础设施建设从来不是技术的单点突破,随着AI走向行业应用,存储作为连接数据产生、流动和应用的重要环节,还需要计算、网络、安全、数据管理以及行业应用能力的协同。

生态连接,开启AI数据基础设施建设的协作时代

围绕AI基础设施建设,西部数据正携手产业链上下游伙伴从多个维度展开探索,共同推动AI能力从基础设施走向实际业务场景。

如今的AI正在向着Agentic AI不断发展。在英特尔数据中心事业部解决方案架构师丁华看来,模型需要持续调用工具、访问数据,并进行多轮推理,系统不仅需要更强的计算能力,也需要更高效的数据处理和存储能力。

在Agentic AI时代,GPU仍然承担核心模型推理任务,但大量围绕任务编排、数据处理、工具调用以及上下文管理的工作,需要CPU和存储共同支撑。英特尔至强处理器内置的AMX加速器可以与GPU 协同,加速推理过程。 让GPU保持高效运行,是提升AI系统整体效率的关键,所以未来AI基础设施将形成CPU、GPU和存储协同的架构。

围绕这一变化,英特尔提出分层架构思路,通过高速缓存、高性能存储以及大容量存储,将资源分层配置,实现性能与成本的平衡。其中企业级HDD凭借其大容量、高密度优势,成为高性价比的数据存储底座。

丁华还提到,在大并发的企业级部署中,KVCache总容量可扩展至TB甚至PB级;为此,英特尔通过DRAM和CXL内存池化构建主机端的缓存,利用至强处理器内置的QAT进行数据压缩,然后通过网络连接到KVCache存储,让集群资源利用率显著提升。

同时,计算、缓存与存储层支持独立解耦扩展,可根据业务负载动态调整容量配比。强大的上下文管理能力释放长时记忆潜力,赋能连续对话、复杂文档深度解析、多模态内容理解等前沿场景,为智能客服、企业知识库、自主决策系统等创新应用提供坚实的算力底座。

随着AI应用规模扩大,算力与存力的协同将成为企业构建AI基础设施的重要方向。那么接下来,如何让数据高效流动、被模型和Agent快速调用,成为企业AI落地过程中需要解决的关键问题。

AI时代,数据会经历清洗、微调、训练、RAG知识库构建、在线推理以及持续回流等多个阶段,并不断衍生出新的数据版本。这种变化对传统存储架构提出了新的挑战。一方面,数据需要在不同业务环节、不同团队之间流动,容易形成多个数据副本,导致数据管理复杂;另一方面,在模型训练和推理过程中,Checkpoint读写、模型加载等环节也对存储性能提出更高要求。

深信服提出面向AI时代的统一存储架构,通过融合文件存储和对象存储能力,让数据既具备对象存储的弹性扩展能力,也具备文件存储处理复杂数据访问场景的能力。

深信服科技首席技术专家廖俊峰表示,AI时代的数据底座,不只是把数据存下来,而是让正确版本的数据以合适的协议和性能进入计算,并让每一次训练、检索和Agent决策都可以被验证、被治理、被持续复用。

同有科技解决方案总经理王刚也关注到,随着AI应用深入,存储正在成为影响整体效率的重要环节。

同有科技认为,存储系统需要从传统通用架构走向面向AI优化的新一代架构。首先,在硬件层面,构建以高密度 HDD为大容量基座、以高性能闪存为加速层的分级存储硬件体系,配合 PCIe 6.0 SSD追求极致读写性能,结合QLC SSD技术,在保障容量的前提下有效平衡成本。

其次,在软件层面,需要通过并行文件系统、智能数据管理等能力,让不同存储介质能够协同工作。通过GPU Direct Storage(GDS)等技术,缩短GPU与存储之间的数据链路,降低延迟,提高数据访问效率。

最后,在架构层面,需要构建从极速缓存层到大容量基座层的全生命周期分级存储体系,并融合CXL内存池化技术,实现内存资源弹性扩展与共享。

未来,面向AI优化的存储系统,需要同时具备高并行、高扩展、高性价比以及智能数据管理能力,才能真正支撑企业AI规模化落地。

美团高级硬件系统架构师范振国则从实践中分析,逐步构建了面向不同业务场景的存储体系,包括本地存储、缓存系统、对象存储、文件存储以及分布式存储等。

在AI场景下,数据规模持续扩大,单纯依靠高性能存储并不可持续。对于训练过程中频繁访问的数据,美团会使用更高性能的存储介质;对于大量历史Checkpoint、业务数据以及归档数据,则更多采用大容量HDD存储,以实现性能和成本的平衡。

这也是美团长期与西部数据合作的重要原因。随着AI数据规模持续增长,企业级HDD凭借容量、可靠性以及成本优势,正在成为AI基础设施中不可或缺的一层。

在自动驾驶领域,这一点更加明显。宽恒科技前沿技术研究院智驾行业首席研究员温锦辉谈到,车辆每天产生大量真实道路数据,这些数据需要不断回传、处理、训练,最终推动模型迭代,形成持续的数据闭环。

他认为,分层存储是未来自动驾驶数据基础设施的重要方向。热数据主要用于模型训练和频繁访问,需要更高性能;温数据用于数据分析和模型优化;冷数据则用于长期保存,包括合规要求下需要保存多年的测试数据。

通过不同存储介质协同,可以实现性能和成本之间的平衡,这也是为什么企业级HDD在AI时代仍然具有重要价值。

医疗行业在早先的信息化建设过程中就存在一定的数据孤岛,在AI时代,这一趋势进一步加剧,医疗AI的发展也开始走向统一的数据基础设施。

上海盛巨信息技术有限公司提出了“存算管一体化”的智能数据基础设施理念,希望通过计算、存储和数据管理的深度融合,为医院提供一个统一、高效、可调度的AI底座。

上海盛巨信息技术有限公司副总经理沈亮表示,某三甲医院在部署存算管一体化平台后,GPU资源利用率从约25%提升至76%,历史影像数据检索时间从分钟级缩短到秒级,大模型部署周期也从数周甚至数月缩短到分钟级,同时支持多个AI应用并行运行。

医疗AI的发展已经进入新的阶段,未来医院需要的是一套能够连接算力、数据和应用的智能基础设施。

“面向AI时代的数据存储架构创新”,背后折射的是AI基础设施的一次重构。随着AI进入更多生产场景,数据正在经历从采集、训练到推理、应用的持续流动,传统存储架构也开始面临新的考验。

从算力建设到存储创新,从互联网企业的实践到自动驾驶、医疗等行业探索,一个共识是:存储正在成为AI基础设施价值释放的关键环节。西部数据正与产业伙伴共同探索的不只是存储技术的演进方向,更是一条通往AI规模化落地的数据底座之路。

© 版权声明

相关文章