图片系AI生成

现时，大模子最显耀的特征之一即是参数目呈指数级增长。笔据Scaling Law（圭表定律）的规章，东说念主工智能神经集聚的参数目越多，模子越大，关于学问的总结归纳和推理泛化智商就越强。因而，从ChatGPT出现考证了“流露”智商，到如今的两年里，业内重要照应的即是算力，怎样冲破硬件算力，如缘何尽可能少的Token数目考试好一个模子。但在这一显耀挑战除外，数据量猛增带来的数据存储，可能是仅次于算力的另一大技艺难点。

大模子“卷”向存储

岁首，一位恒久照应AI大模子应用的CTO与调换中暗意：“企业使用外部数据考试大模子，长文本是错误想路之一。但问题是，长文本处理极度花消内存和硬件，因为模子考试和推理的内存变大，模子成果技艺更好。这也导致在其每次查询的本钱高于GPT-4，此后者基于微调。这不是ToB企业简略职守得其起的。”

他对评释：微软冷漠了大模子的“弗成能三角”，如果但愿模子的微调智商很强，那么模子参数就不会很大，或者小样本的学习智商不会很强。长文本的逻辑是，让小样本学习的智商变强，同期湮灭微调，这么模子参数确定就会相应扩大。

彼时，碰巧国内长文本欢乐。除了最早的Kimi，阿里巴巴、百度、360等繁密厂商接踵晓示波折长文本，从早先的可处理200万字崎岖文，迅速彭胀至1000万字长文本智商。而在这股欢乐中，也相似留传了诸多待搞定的问题。

笔据技艺博客Medium上一位AI工程师Szymon Palucha的纪录：

以阿里开源的Qwen2-7B（7亿参数）大模子为例。咫尺GPU显存大小基本在80GB（以英伟达A100为例），那么如果拿不到更好的A100时，他笔据公式：参数模子内存=7B*32位=7B*32/8字节=28B字节=28GB，测算出运行该模子至少还需要28GB内存，这还不算推理经过中对存储产生的迥殊支拨。

为此，最通俗的主张是镌汰参数精度，因为咫尺多数大模子不错半精度使用，而不会显耀影响准确性。这意味着大模子在试验运行时，需要一定的内存或存储空间来存储和处理数据，大模子所需的内存量会笔据崎岖文窗口的大小而变化。窗口越大，所占用的内存也就越多。

钛媒体把稳到，这亦然当下大模子应用厂商在破解算力问题除外，遭逢的另一大技艺贵重点，客岁还莫得太多东说念主照应——数据量猛增带来的数据存储、内存带宽、时延等一系列问题。而况跟着需求的爆发，一经带来一些技艺侧产物侧的演进。

支抓万卡算力和万亿参数LLM，存储两说念槛

咫尺内行的科技巨头都在布局万卡算力集群和万亿参数范围的大模子考试，关于这些集群而言，高性能的预备、存储和集聚统筹兼顾。从存储层面来看怎样提供撑抓？一是要至少达到TB级带宽、百万级IOPS的存储性能，将来可能会演变为数十TB、上亿级IOPS的需求；二是要进步数据跨域诊疗、数据安全、数据可抓续性打听等智商。

纪念昔时两年间大模子带来的存储挑战，不错从三个阶段总结：

2022岁首：大模子爆发初期，国内有跳跃100家的大模子公司运转迅速进行商场布局。在这个阶段，模子考试追求的即是“快”，通过IT基础措施的决策优化，灵验地进步GPU效力，加快模子的考试并获取商场认同，即可霸占商场先机。

为此，模子考试的数据加载、模子考试经过中的断点续训要尽可能地镌汰对预备时候的占用，在万卡算力集群万亿参数的大模子的快速考试时，小于1分钟断点续训，需要存储提供TB级的带宽，同期小模子的考试推理则对IOPS冷漠更高条件，存储系统需提供跳跃百万级的IOPS。

2023年底到2024岁首：跟着模子在各行业落地的需求，在好多的行业场景里，行业数据枯竭累积，昔时散播在各末端、地域数据的夸左券、夸地域高效力分享整合。这就条件存储具备数据跨域诊疗，通过异构纳管罢了全局定名空间料理，进步数据汇集、分析的效力。

2024年下半年运转：模子果露出落地，对数据质地条件更高，语料公司需要将数据汇集并进行精加工。大模子的行业化落地经过中，为了进步通用模子的专科化智商，考试出精度更高的模子，条件有更高质地的数据集。为获取高质地数据，原始数据要经过粗加工、精加工等多个功课法子。这个阶段，对数据的安全存储和数据可抓续性打听冷漠了更高条件。

波澜信息存储产物线副总司理刘希猛指出，模子参数目、考试数据量、GPU算力、网卡性能、GPU范围近些年均在速即增长，原有存储不及以顶住AI的快速发展。无论是海量考试数据加载、PB级查验点断点续训，照旧高并发推理问答等，存储性能径直决定了总共考试推理经过中的GPU诓骗率。极度在万卡集群范围下，较差的存储性能会严重加多GPU闲置时候，导致模子落地贵重、业务本钱剧增。因此，当代存储一经由传统的数据载体和数据仓储，调动为AI发展的错误组件。存储系统正渐渐演进到提供更高的蒙眬量，更低的时延，更高效的数据料理。

AI存储何时爆发？

既然针对AI场景的存储系统在前几年并莫得获取太多怜爱，从需求侧，何时会迎来新的爆发点？“昔时一年，存储的增量商场基本一起来自于AI场景。”刘希猛对评释。

如果将将来的AI商场分为节略两类：一类是AI产业化的商场，在AI产业化进程中，更多的照应点可能集合在了模子考试，紧随自后的是语料坐蓐，然后是算法优化。那么，存储早先就会在模子考试、语料坐蓐范围产生价值，极度是语料，从本年运转就已有迹象，并在接下来两年里罢了快速增长。

在刘希猛看来，从咫尺来看，大模子考试中最紧缺的是数据，各行业在可能都会运转入辖下手网罗各自范围的数据，并进行相应的数据加工处理。算力方面，尽管有东说念主合计算力设立已接近泡沫阶段，致使有些使劲过猛。这一判断可能在一定程度上具有想法性的正确性。接下来，算力的发展可能会参加一个相对巩固的阶段。

第二类是产业的AI化，即大模子信得过落地到行业并产业试验价值，不错不雅察到一些范围一经先行一步。举例，金融范围的量化往复、证券往复，在科研范围，AI也运转被用来援手科研使命。此外，制造业亦然AI应用的一个垂死范围。这两方面都会对AI存储商场带来相比好的促进作用。

刘希猛还指出，现时AI存储靠近的挑战尚未皆备搞定，若链接上前发展，其实照旧要从性能、效力以及可靠性三方面脱手。一是高性能，以搞定羼杂AI负载对存储读写带宽、IOPS，以及低时延的条件；二是高效力，通过存储支抓文献、对象、大数据等非结构化左券和会互通，全局定名空间等，减少多份数据重叠存储，以及数据夸左券、夸区域、夸系统诊疗检索的问题；三是高韧性，通过故障的快速规复、故障前的精确瞻望镌汰系统颠倒时的性能影响，以及管事的衔尾性，同期强化数据保护与安全驻扎智商，保证数据的圆善、一致、抓续可打听。

咫尺国表里在建千卡集群、万卡集群，且将来可能还会出现更大范围的集群。想要达到同等算力，如若领受国产GPU，可能需要不仅达到十万卡范围，而是更为弘大的集群。

跟着集群范围的扩大，除了存储自己靠近的挑战外，还将带来存储举座决策的挑战。这触及从存储到前端集聚，再到算力节点的总共链条。其中，集聚的选拔成为一个错误问题。国内之是以更多地使用RoCE集聚，是因为国内的集群范围需求更大，而IB集聚在扩展范围上有所截止。RoCE集聚与存储及表层之间的协同性，尤其是超大范围集群的协同性上，可能会成为新的照应点。

钛媒体把稳到，RDMA(Remote Direct Memory Access)全称而已内存径直打听技艺，是一种数据传输技艺。咫尺算力集群对集聚的设立在2022年之前基本会选拔“二层臆造集聚”，跟着AI应用的爆发，2023年于今一经在尝试智能无损集聚和以太网，而况通常围绕性能、本钱、生态系统和兼容性等方面进行量度。RoCE即是一项基于以太网的RDMA技艺。

甲骨文公司中国区技艺商讨部高等总监嵇小峰与调换中相似指出，大范围集群除了GPU数目多除外，同期具备集聚低延时和高带宽的特质。从基础措施角度来看，大都GPU集合部署会带来供电和冷却方面的巨大挑战。同期，在考试经过中，对存储的需求相似至关垂死。因为考试通常触及千千万万块GPU的协同功课，一朝有少数GPU（如一块或两块）出现故障，总共考试进程可能会因此延误。

举例，本年9月亮相的Oracle Zettascale算力集群，咫尺可提供13万多颗GPU，极度于可提供2.4 ZFLOPS的云表算力。为进一步增强集聚的低延长和高带宽，Oracle领受支抓两种集聚左券：InfiniBand和RoCEv2，这是一种增强版的以太网。这两种技艺均具备一种中枢绕行机制，能让集聚流量逃匿旧例旅途中必须穿越的某些组件，以罢了更迅速的传输至方针地。这么的设想促进了数据更快地抵达GPU，进而进步了处理效力。

跟着AI存储需求的握住流露2024欧洲杯官网入口，包括GPU、模子架构、存储搞定决策及集聚技艺的各大厂商，正纷纷加快布局，费力在构建超大范围集群的波澜中霸占先机。（作家 | 杨丽，剪辑 | 盖虹达）

数据刘希猛模子算力集群发布于：北京市声明：该文不雅点仅代表作家本东说念主，搜狐号系信息发布平台，搜狐仅提供信息存储空间管事。