DeepSeek开源AI推理框架 或能降低算力成本

中国人工智能（AI）公司深度求索（DeepSeek）宣布开源名为DeepInfer的内部推理框架，协助开发者和企业提高AI模型运行效率，降低算力成本及能源消耗。

DeepSeek星期二（10月20日）在微信公众号宣布，将内部推理框架DeepInfer开源，分享公司大规模部署AI模型的技术经验，帮助开发者和企业以更低成本运行AI模型。

DeepSeek指出，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于推理框架的效率。推理框架负责统筹调度算力集群，其效率直接决定AI服务的算力成本与电力消耗。

据介绍，DeepInfer整合多项优化技术，包括分布式推理、推测解码和缓存复用等，旨在提高模型处理请求的速度，并减少重复计算，从而更有效地利用晶片算力。

该框架目前支持DeepSeek旗下V4.1 Flash模型，开源版本适用于英伟达SM100图形处理器及华为昇腾950平台。DeepSeek未来也将持续开源新模型的推理代码及相关优化技术。

根据DeepSeek披露的数据，采用这套推理系统运行的V4.1 Flash模型，单一计算集群目前每天可处理155万亿个词元（Token）。词元是AI模型处理文本等信息的基本单位。

DeepSeek也同步开源名为deepseek-recipe的词元编解码组件，旨在让第三方开发者部署模型时，获得与DeepSeek官方服务一致的应用程序接口（API）处理体验。

彭博社分析，AI模型的运行成本不仅取决于模型本身，也受到推理软件效率影响。通过开放相关技术，DeepSeek有望帮助云服务商及企业降低AI模型的部署成本，并让其他开发者借鉴其优化技术。

降低AI模型的推理成本，有助于提高AI托管服务商的利润率，并可能进一步转化为面向客户的更低收费。

不过，DeepSeek此次并未开放完整的推理服务系统，其中缓存管理和负载均衡等组件仍与公司内部基础设施紧密关联。此外，DeepInfer实际能提高多少运行效率，目前仍缺乏独立测试验证。