如果说前两年AI行业的算力竞赛拼的是“谁的训练集群更大”，那么近日的种种迹象表明，竞争的重心正在向推理侧转移。豆包、Kimi、千问、智谱清言等产品的用户规模和调用频次不断攀升，背后是持续且波动剧烈的推理算力需求，这让“单位token成本”成为厂商不得不精打细算的核心指标。
推理负载的特点决定了它与训练截然不同的算力逻辑。训练可以接受长时间排队和集中调度，推理则要求低延迟、高并发和弹性伸缩。白天高峰与夜间低谷的调用量可能相差数倍，如何在保证响应速度的同时不浪费算力，考验的是调度系统和资源池化能力。近日多家云厂商在推理服务上做出调整，推出面向大模型推理的弹性实例、按调用量计费以及更细粒度的GPU共享方案，试图把推理成本压下来。
大模型公司这边则在两条路上同时下注。一条是继续与云厂商深度绑定，借助公有云的弹性应对流量峰值；另一条是自建或合建推理集群，把长期稳定的负载放在自有算力上，以降低边际成本。Kimi背后的团队在长文本场景上的算力消耗较大，对显存和带宽要求高；豆包依托字节体系内的资源调度，在成本控制上有天然优势；千问则与阿里云的基础设施形成协同。不同路径背后，是对“算力自持比例”的不同判断。
芯片层面的适配也在加速。推理场景对芯片的要求与训练不同，更看重能效比、显存容量和互联效率，而非单纯的浮点峰值。国产芯片厂商正围绕主流推理框架做深度优化，提升量化模型的运行效率，并与模型厂商联合调优。一个可观察的趋势是，部分厂商开始针对特定模型结构提供定制化的推理加速方案，把芯片、推理引擎和模型打包，降低客户的部署门槛。
成本压力之下，技术优化成为必选项。模型蒸馏、量化、投机解码、前缀缓存等手段被广泛采用，目的都是在不明显损失效果的前提下降低单次推理的算力消耗。有从业者指出，同样的模型经过系统性优化后，推理成本可以下降相当比例，这部分节省直接转化为厂商的毛利空间。也正因如此，推理优化能力正在成为大模型公司的一项核心竞争力，而不只是工程细节。
从更长的时间维度看，推理算力的竞争会推动供给结构更加多元。训练侧的高端算力依然稀缺，推理侧则可能出现更多层次的芯片组合——高端卡承担复杂任务，中低端卡和专用芯片处理高频简单请求。云厂商、模型公司和芯片厂商之间的博弈与合作，最终会塑造出一个更讲究效率而非单纯堆规模的算力市场。对行业而言，这或许比某一次参数纪录更有意义。
标签：推理算力,云厂商,大模型,成本优化,芯片适配