当前位置:首页 > 科技资讯 > 正文

AI时代下的存储革新:Universal Storage架构崛起

AI存储正迎来其发展的黄金时期,随着Universal Storage架构的兴起以及硬件解耦、软件定义等技术的突破,新一代分布式存储正逐步成为AI时代数据基础设施的首选。本文将深入探讨AI时代下存储软件的技术路径与未来发展趋势

硅谷AI存储公司Vast Data近期正寻求新一轮融资,估值高达300亿美元。这家成立仅9年的公司,凭借在存储架构上的创新,先后获得了众多知名投资机构和产业方的注资。其2023年12月刚完成一轮91亿美元估值的融资,短短一年半估值实现了3.3倍的增长。Vast Data的成功,不仅赢得了业务市场和美国资本市场的青睐,也引发了中国资本市场对AI存储的深思。

为什么存储在AI时代焕发出新机会

在AI基础设施中,计算、存储和网络是基石。算力是引擎,存力是燃料,运力是血管,三者对AI应用的顺畅运作至关重要。随着全球数据量以36%的年增长率持续扩张,预计到2030年将达到YB级规模,如何高效、安全地存储这些海量数据,成为让算力发挥效力的前提。自Transformer架构提出以来,大模型发展的重心从训练转移到了推理和应用,Agent的出现推动了AI技术从单一任务执行向复杂决策与交互的转变。

AI时代下的存储革新:Universal Storage架构崛起 AI存储 Universal Storage 多模态数据 存储软件 第1张

在AI技术迁移过程中,存力的核心需求发生了诸多变化,可归纳为五点:极致吞吐、低延迟和高并发;多模态数据统一管理和版本可追溯;以存代算;支持Agent记忆持久化;自主性和安全性。

随着硬件进入“超摩尔时代”,传统的存储系统软件已无法满足需求。存储设备硬件访问延迟以及网络访问时延均已降至十微秒,但传统系统软件栈开销仍在百微秒级别,导致数据洪流阻塞和算力闲置等矛盾。

为什么传统的存储软件架构难以为继

传统存储架构的问题包括OS内核依赖导致的效率瓶颈、元数据与数据混合存储的扩展性缺陷以及存储协议分立导致的数据孤岛与迁移开销。摆脱OS内核的依赖,在存储软件内部自主高效完成内存分配与管理等,是新一代存储系统软件的根技术之一。

AI原生场景中理想的存储软件架构

Universal Storage架构应运而生,旨在通过单一平台整合传统和新兴的多种存储类型。它支持多协议访问,元数据独立存储,解决OS内核依赖问题,实现低延迟。这种架构不仅提高了性能,还简化了运维管理,降低了总拥有成本。

AI时代下的存储革新:Universal Storage架构崛起 AI存储 Universal Storage 多模态数据 存储软件 第2张

对标Vast Data的思路

在中国寻找对标Vast Data的公司,需具备强技术背景、长期自主研发存储系统软件的能力以及面向企业关键业务场景的分布式块存储经验。同时,需拥有战略视野、创新能力、工程能力和巨大的勇气,从底层系统开始创新设计,结合新一代系统架构和硬件的发展需求,研发出统一分布式存储架构。

结语

基于新一代分布式存储系统软件的Universal Storage具有独特的投资价值。随着AI催生的对存储性能、扩展性、数据融合等需求不断增长,传统企业级存储市场将迎来颠覆性机会。分布式架构的存储具有一定耗材属性,能够轻松扩容且企业通常不会删除复用,而是扩展采购新节点。在AI Agent时代数据量暴涨下,基于分布式架构的Universal Storage有望成为企业采购下一代存储的首选方案。