“从AI服务器到AI PC,如何快速的用上DeepSeek成为热门问题。无论DeepSeek Janus-Pro把多模态提升到了一个新层次,还是媲美主流的DeepSeek-V3,或者应用于本地的DeepSeek-V3,对存储都提出了新的需求。以完整未蒸馏的DeepSeek R1模型为例,这是一个拥有6710亿参数的混合专家(MoE)模型,未量化版本的文件体积高达720GB,而动态量化版本也达到150GB到400GB之间。
”从AI服务器到AI PC,如何快速的用上DeepSeek成为热门问题。无论DeepSeek Janus-Pro把多模态提升到了一个新层次,还是媲美主流的DeepSeek-V3,或者应用于本地的DeepSeek-V3,对存储都提出了新的需求。以完整未蒸馏的DeepSeek R1模型为例,这是一个拥有6710亿参数的混合专家(MoE)模型,未量化版本的文件体积高达720GB,而动态量化版本也达到150GB到400GB之间。
DeepSeek让GPU算力一下子得到了空前的释放,允许厂商将更多的资源集中到其它关键硬件中,比如更强大的并行能力,以及更优秀的存储方案。很显然,常规的存储方案已经不能很好的解决效率和存储的问题,在企业级和数据中心级SSD为AI提供存储支持时,以QLC和CXL为例的新技术也正在协助AI以更低成本和更高的效率运行。
QLC与CXL:为AI铺路
由于DeepSeek不仅降低了计算成本,多模态处理能力、说是知识图谱和推理能力的优秀表现,使得厂商拥有足够的资源调用更多的数据。这使得原本大量的冷数据变成了温数据。温数据对存储有着更高的要求,需要相对HDD更快的传输速率,并且存储数据可能每年以EB级增长。这导致SSD的需求往大容量和低成本的方向发展。
其中QLC能够更好的在单位空间内提升存储容量,第八代BiCS FLASH™ 2Tb QLC的位密度比铠侠目前所采用的第五代BiCS FLASH™的QLC产品提高了约2.3倍,写入能效比提高了约70%。不仅如此,全新的QLC产品架构可在单个存储器封装中堆叠16个芯片,为业界提供领先的4TB容量,并采用更为紧凑的封装设计,尺寸仅为11.5 x 13.5 mm,高度为1.5 mm。
这意味着,未来采用第八代BiCS FLASH QLC的存储产品在存储空间拥有质的飞跃,可以轻松将企业级SSD和数据中心级SSD容量提升至120TB以上。
密集的DeepSeek计算也意味着对内存有着海量的要求,但动辄数百GB的训练模型全部存储在内存中也意味着高昂的成本,如何利用BiCS FLASH™降低成本也是未来的思考方向。例如利用相变存储原理,基于BiCS FLASH™结构打造的XL-FLASH存储级内存(Storage Class Memory, SCM)与CXL相结合,开发相较内存功耗更低、位密度更高,相较闪存读取速度更快的存储器。这不仅会提高存储器利用效率,还有助于节能。
CXL技术本身通常也意味着更先进的PCIe版本支持,铠侠则是积极响应PCIe升级的存储制造商之一。例如,铠侠率先推出支持PCIe® 5.0的企业级固态硬盘CM7系列。PCIe® 5.0 SSD与传统存储设备(如PCIe® 4.0 SSD)的对比测试,结果显示, CM7系列SSD在多个GPU并行访问时,能够提供91%的I/O吞吐量提升,此外,它的读取延迟比传统SSD低57%。同时,PCIe® 5.0 SSD能机器学习训练时间能够得到显著减少。以16个GPU并行处理为例,使用PCIe® 5.0 SSD可以减少32到44天的训练时间。
特别是在PCIe® 5.0与NVMe™规范下实现可靠的RAID兼容性和互操作性能。特别是生成式AI与检索增强生成 (RAG) 系统的重要性更胜以往,关系数据库PostgreSQL和向量数据库需求变得格外重要。例如通过Xinnor的RAID 解决方案的兼容性和互操作性测试,与采用相同硬件配置的软件 RAID 解决方案相比,在数据降级模式下执行PostgreSQL,效能更提升达25倍。
抢先布局
任何前沿技术不可能一蹴而就,AI技术的积累更是如此。流畅体验的AI服务对数据传输速度有着很高的要求。在多年前,铠侠已经开始对AI展开布局,并致力于为人工智能的发展提供高性能的存储解决方案。
为了推动检索增强生成(RAG)扩展获得更好的性能支持,并进一步降低成本。铠侠在近期宣布开源AiSAQ™技术,这是一项专为SSD优化的新型“近似最近邻”搜索(ANNS)算法,跳过将索引数据载入内存(DRAM)的步骤,直接在SSD上执行检索操作,帮助企业/应用针对特定数据优化,从而实现帮助大语言模型(LLM)训练节省成本。
利用高性能存储特性,铠侠在AI前沿进行了诸多尝试。包括通过Memory-Centric AI技术解决企业级SSD中图像分类任务中灾难性丢失问题,在神经网络不通过调整的前提下,在深度学习中快速获得图像特征辨别和标签添加。并在数年前与NVIDIA展开深度合作,从加速StyleGAN、NeRF等算法,到协助NVIDIA搭建Omniverse平台,包括搭建最新的物理AI开发平台NVIDIA Cosmos,为LLM训练整理自定义数据集的NVIDIA NeMo Curator。
针对前瞻性存储,铠侠在近期还正式发布了全新XD8系列PCIe® 5.0 EDSFF(企业和数据中心标准型)E1.S固态硬盘。它是铠侠第三代E1.S固态硬盘,符合PCIe® 5.0(32 GT/s x 4)和NVMe™ 2.0规范,并支持开放计算项目(OCP)数据中心NVMe SSD v2.5规范。
铠侠XD8系列专为云和超大规模环境设计,满足数据中心对高性能、高效率和高可扩展性的日益增长的需求。通过这款新的固态硬盘,云服务提供商和超大规模企业能够优化基础设施,在保持运营效率的同时提供卓越的性能。
让AI移动起来
DeepSeek另一个实现领域则是在移动平台。即便是春节假期,多个版本针对AI PC本地化AI部署的DeepSeek R1已经成型,例如蒸馏版本的7B和14B参数模型在笔记本和消费级台式机电脑上,可利用NPU和GPU实现离线运作,进一步确保了私有信息的安全。
对于AI PC而言,除了提供独立GPU或者NPU进行AI加速,大容量NVMe SSD也同等重要,另外还要考虑到有限的AI PC内部空间,固态硬盘需要同时兼顾性能与散热。以铠侠BG6系列为例,铠侠 BG6 系列在AI PC上能够展现卓越的性能和灵活性。采用 PCIe® 4.0 和 NVMe 1.4c 规范,搭载高达2,048GB存储空间。顺序读取速度最高可达 6,000 MB/s,随机读取速度更是高达 900,000 IOPS。这使得BG6系列成为紧凑型固态硬盘中的佼佼者,为用户提供了更快速、更高效的数据处理体验。
另外BG6 系列提供了多种容量选择,包括 256GB、512GB、1,024GB 和 2,048GB,适用于不同用户需求。其采用 M.2 Type 2230 和 Type 2280 模组封装,可灵活应用于各类薄型设备,如超薄笔记本电脑、嵌入式设备。也给不同形态的AI PC部署本地AI提供了丰富的解决方案。
从数据中心、服务器,到个人计算机,铠侠为AI计算提供了丰富、高效的存储方案,并与合作伙伴展开深度合作,从软件和硬件层面入手,利用高性能固态硬盘的特性,为AI计算提供可靠的存储后盾,共同探索更多AI的可能性,充分利用AI与数据,创造更多价值。
分享到:
猜你喜欢