开源高性能文件系统3FS，DeepSeek为何自研存储？

这两天DeepSeek开源3FS并行文件系统的消息，犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据，相当于1秒钟传输完700部4K高清电影。还能自动调资源，国产芯片用了它，跟国际大牌的差距直接缩到15%。

这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据时，全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力，存储系统正成为影响进度的一大瓶颈。

当AI算力狂飙时，存储正在成为隐形战场

2024年，某头部AI公司曾因存储带宽不足，导致2000张A100显卡的算力利用率长期低于40%，单日经济损失超百万美元。这暴露了AI时代的"木桶效应"——当GPU计算速度进入微秒级时，一次突发的存储抖动就可能导致整个训练任务崩溃，让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。

数据显示，存储优化可直接将175B参数模型的训练周期压缩30%，对应百万美元级的成本被填平。而在推理端，当10%的异常请求遭遇存储延迟波动时，P99响应时间会瞬间突破SLA红线，这正是某自动驾驶公司在线服务突发降级的根本诱因。

DeepSeek之所以选择自研3FS的本质，正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》》报告中提到，在同样的GPU算力规模下，存储性能的高低可能造成模型训练周期3倍的差异。在算力军备竞赛的背后，一场关于存储性能密度的暗战悄然升级，自研存储显得尤为重要。

5家头部厂商角逐AI存储，国产能否拔得头筹

相比于传统AI的需求，大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。

为了提升大模型训练速度，需要对大规模数据集进行快速加载，且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算，需要高并发输入/输出处理，而训练数据集呈现海量小文件的特点，文件量在几亿到几十亿量级，对应的带宽需求可能每秒要达到上TB，这就要求存储系统具备强大的数据管理能力，业界能达到该能力的仅寥寥几家。

小编搜集了国内外优秀的并行存储产品，对具体能力进行对比

IBM作为老牌存储品牌，其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN，多个读、写带宽等关键性能指标上表现突出，但DDN由于技术封闭性、专有化硬件等原因，导致用户建设成本过高。

国产厂商DeepSeek 3FS虽然是开源的新产品，但相对老牌存储也有不错的表现，在读带宽能力上表现优异，单集群6.6TB/s，平均单节点36.7GB/s的读带宽。

我们还惊喜发现，另一家国产厂商京东云云海，在这个专业领域同样表现出色，以单节点95GB/s的读带宽、60GB/s的写带宽，进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS，京东云云海在提供高性能的同时适用性更广，可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。

综上来看，随着大模型快速向纵深场景演进，对存储的要求也越来越高，以DeepSeek、京东云云海等国产存储，显示出在处理大规模数据集时的优越性能，未来国产存储能否拔得头筹，让我们拭目以待。

免责声明：该文章系本站转载，旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议，仅供读者参考。