1. 从“千亿”到“万亿”我们正在面对怎样的算力鸿沟最近圈子里聊得最多的除了各家模型又出了什么新版本就是“万亿Token”这个词了。听起来很宏大但落到我们这些搞AI基础设施AI Infra的工程师肩上感觉就是一座山。简单来说过去我们训练一个百亿、千亿参数的模型处理千亿级别的Token数据已经让机房里的GPU集群哀嚎遍野了。现在风向直接指向了“单日处理万亿Token”这已经不是简单的量变而是对整个基础设施栈的质变挑战。想想看DeepSeek模型单日吞下8万亿Token的新闻背后意味着什么假设每个Token平均占用2个字节这已经很保守了8万亿Token的原始文本数据量就接近160TB。这还只是“吞下”即流经系统的数据。实际的训练过程涉及前向传播、反向传播、梯度计算和优化器状态显存和内存的占用会呈指数级放大。推理侧也一样当一个大模型服务要应对千万级甚至亿级的日活用户时每秒需要处理的Token数Tokens Per Second, TPS和每用户会话长度都在激增对推理引擎的吞吐量和延迟提出了近乎变态的要求。这个挑战是全方位的。它首先卡在算力上我们需要更多、更高效的AI加速芯片。英伟达的GPU固然强大但价格、供应和生态锁定的问题日益凸显。于是像华为昇腾这样的国产AI芯片被寄予厚望。大家搜索“昇腾AI Core利用率”、“昇腾系列有哪些GPU”本质上是在问国产算力到底能不能接住这波需求它的实际算力、显存带宽、互联能力以及最重要的——软件栈成熟度能否支撑起万亿Token规模的模型训练和推理其次挑战在于效率。有了算力硬件如何把它的潜力榨干这就是AI Infra软件层的核心任务了。推理引擎如vLLM、TGI等和训练框架的优化直接决定了单位算力成本下能处理多少Token。模型并行、流水线并行、张量并行这些分布式策略在千亿参数时尚可应付到了万亿参数级别通信开销可能成为新的瓶颈。内存优化技术如激活重计算、混合精度训练、零冗余优化器ZeRO其精细程度决定了你能跑起来的模型规模上限。最后挑战还在于稳定性与易用性。热搜里一堆“token exchange failed”、“token失效”、“403 forbidden”的错误虽然有些是应用层认证问题但也折射出大规模服务下令牌管理、请求调度、故障恢复的复杂性。当你的系统每秒要验证、路由、处理海量的Token请求时认证服务、网关、负载均衡器任何一个环节成为短板都会导致整个服务雪崩。所以“国产AI Infra准备好了吗”这个问题不是在问某一个芯片或某一个软件而是在问从底层硬件、驱动、编译器、运行时库到上层框架、调度器、部署平台的一整个技术栈生态是否已经具备了迎接“万亿Token时代”的战斗力。接下来我们就掰开揉碎从硬件到软件看看现状与突围之路。2. 算力基石国产AI芯片的“可用”与“好用”之辩谈到AI Infra算力是绕不开的起点。当前英伟达凭借其CUDA生态构筑了极高的壁垒。但万亿Token的需求和供应链风险使得国产AI芯片成为必须关注的选项。华为昇腾是其中的主要代表从热搜词“华为昇腾950d 4换1 对标英伟达哪块gpu”就能看出大家最关心的是对标与性价比。2.1 昇腾芯片的能力象限与真实定位首先需要厘清一个概念昇腾芯片是一个系列包括用于训练的昇腾910和用于推理的昇腾310以及后续迭代型号。昇腾910的理论算力FP16很强但其设计理念和CUDA有显著差异。它采用“达芬奇架构”DaVinci Core更侧重于计算密度和能效比。“4换1”这类说法通常出现在一些极端优化的Benchmark场景中并不具备普适性。在实际的复杂模型训练任务中由于软件栈成熟度、算子覆盖度、社区生态和开发者习惯的差异要达到对等性能可能需要更多的调优工作甚至在某些环节仍存在差距。对标哪块GPU粗略来说昇腾910的目标是瞄准A100这个级别的训练卡而昇腾310系列则对标T4等推理卡。关键在于“AI Core利用率”。这是衡量芯片是否“好用”的核心指标之一。利用率低意味着芯片大部分时间在“空转”或等待数据再高的理论算力也是白搭。影响利用率的因素极其复杂算子支持度模型中的每一个操作如LayerNorm的特定实现、注意力机制的各种变体都需要有对应的高效硬件算子。如果某个算子没有经过深度优化或者需要回退到低效的通用计算单元执行就会成为性能瓶颈。内存带宽与层次AI计算是内存密集型任务。昇腾芯片的HBM带宽、片上缓存大小、数据搬运机制决定了能否持续“喂饱”计算单元。万亿Token场景下数据吞吐量巨大内存系统的设计至关重要。软件栈与编译优化昇腾的CANNCompute Architecture for Neural Networks软件栈承担了将框架如PyTorch代码编译映射到硬件上的任务。编译器的优化能力如算子融合、内存分配、流水线调度直接决定了最终生成的机器码效率。一个优秀的编译器能将利用率提升数十个百分点。注意评估国产芯片绝不能只看纸面算力TFLOPS。必须结合实际模型如LLaMA、ChatGLM、DeepSeek在真实数据集和完整训练/推理流水线中去评估其端到端的吞吐量、收敛速度和稳定性。这需要大量的工程适配与调优。2.2 生态突围从“能用”到“敢用”的必经之路硬件是躯体软件生态是灵魂。CUDA的强大在于其历经十余年构建的、从驱动到库再到应用层的完整生态。国产芯片要突围必须在软件生态上投入巨资。框架兼容性理想情况是用户无需修改模型代码就能无缝从CUDA切换到昇腾。这主要通过框架适配层实现。例如PyTorch通过torch_npu插件来支持昇腾。但兼容性不仅仅是API对齐更包括数值精度的一致性、随机数生成的确定性、以及分布式通信接口如NCCL的替代品HCCL的稳定性和性能。模型库与工具链开发者需要开箱即用的模型示例、预训练权重转换工具、性能分析工具类似Nsight Systems/Compute。华为的MindSpore框架与昇腾深度绑定提供了另一条路径但如何吸引更庞大的PyTorch社区用户是关键挑战。部署与运维推理场景下芯片需要集成到标准的服务器中并提供稳定的驱动、容器镜像、监控指标。热搜中出现的“香橙派 lpddr5 310p 昇腾”反映出社区和硬件厂商也在尝试推出基于昇腾的嵌入式或边缘计算设备这是生态多样化的体现。实操心得在早期尝试国产芯片时建议从一个中等规模、结构成熟的模型如BERT、GPT-2规模开始而不是直接上最新的千亿参数大模型。这样能更快地定位问题是出在硬件、驱动、框架适配还是模型本身。同时必须建立完善的性能基准测试Benchmark流程持续追踪关键指标如Tokens/sec per GPU 训练损失曲线并与CUDA基线进行对比用数据驱动决策。3. 推理引擎吞吐量与延迟的生死竞速当模型训练完成部署上线服务用户时挑战就从“如何训得快”变成了“如何推得稳、推得省”。万亿Token时代推理成本将占据AI应用总成本的绝大部分。一个高效的推理引擎是降本增效的核心。3.1 自回归解码的瓶颈与优化核心大语言模型的推理尤其是生成任务本质上是自回归Autoregressive的过程根据已有的Token预测下一个Token循环往复。这个过程有两个特点1)计算依赖性强必须串行进行2)内存访问频繁需要反复读取模型权重和键值KV缓存。因此推理引擎的优化围绕以下几个核心展开持续批处理Continuous Batching传统静态批处理要求所有请求长度一致、同时开始和结束这在交互式场景中效率极低。持续批处理允许动态地将新请求加入批次并让已结束的请求退出极大提高了GPU利用率。vLLM和TGI等引擎的核心优势就在于此。PagedAttention与KV缓存管理生成文本时需要缓存之前所有Token的Key和Value向量KV Cache这会消耗大量显存。PagedAttention技术借鉴操作系统内存分页的思想将KV缓存分成块Block允许非连续存储从而高效处理不同长度的序列减少显存碎片这也是vLLM性能飞跃的关键。算子融合与内核优化将多个小算子如LayerNorm、激活函数、残差连接融合成一个大的CUDA或NPU内核能减少内核启动开销和全局内存访问显著提升性能。这需要针对特定硬件进行深度调优。3.2 国产推理引擎的机遇与挑战面对xLLM各类开源大语言模型的推理需求国产Infra的机遇在于深度硬件协同像昇腾这样的国产芯片其推理引擎如MindSpore Lite、昇腾推理框架可以针对自家硬件指令集和内存架构进行极致优化理论上能挖掘出比通用框架如ONNX Runtime 昇腾更高的性能。定制化场景优化针对国内高并发、长文本如法律、文档分析等特定场景可以开发更具针对性的优化策略例如对“百万token能用多久”这种长上下文场景的显存优化。但挑战同样明显模型兼容性如何快速、无损地支持PyTorch、Hugging Face格式的各类主流模型LLaMA, Qwen, DeepSeek, GLM等是一个巨大的工程问题。需要强大的模型转换、图优化和量化工具链。功能完整性除了基础生成还需要支持流式输出Streaming、工具调用Function Calling、对数概率输出、停止词等高级特性。这些功能在vLLM等引擎中已经比较完善。生态与社区开发者是否愿意使用是否有丰富的文档、案例和活跃的社区来解决问题这是决定一个引擎能否流行的关键。避坑指南在选择或自研推理引擎时不要只看峰值吞吐量Throughput数据。必须测试尾部延迟P99 Latency即在高压下响应最慢的那1%请求的耗时。这对用户体验至关重要。同时要测试在混合负载有短有长的请求下的表现。可以自己搭建一个测试平台模拟真实请求分布收集吞吐、延迟、显存占用、成本Token/元等全方位指标。4. 软件栈纵深从框架到调度的系统级博弈芯片和引擎是锋利的武器但要让它们在一个大规模数据中心里协同工作需要一整套复杂的软件栈来指挥调度。这包括了深度学习框架、分布式训练库、资源调度器、容器编排平台等。4.1 训练框架的分布式之痛训练万亿参数模型必须进行分布式训练。主流方案有数据并行每张卡都有完整的模型副本处理不同批次的数据。简单但要求单卡能放下整个模型对于超大模型不适用。模型并行将模型的不同层拆分到不同的卡上。通信开销大编程复杂。流水线并行将模型按层分成多个阶段Stage像工厂流水线一样处理数据。需要精细的微批次Micro-batch调度来避免气泡Bubble。张量并行将单个层内的矩阵运算如注意力头、FFN层拆分到多卡上。通信密集但对带宽要求极高。在实际中通常是3D并行数据流水线张量的组合。PyTorch的Fully Sharded Data Parallel (FSDP)和微软的DeepSpeed及其ZeRO系列优化是当前主流的分布式训练解决方案。它们通过优化器状态、梯度、参数的划分来减少单卡显存占用。国产Infra在这里的挑战是这些先进的分布式策略能否在非CUDA生态上高效运行例如DeepSpeed与昇腾的集成度如何华为的MindSpore也提供了自动并行等能力但其API和编程范式与PyTorch社区不完全一致存在一定的学习和迁移成本。核心在于这套复杂的分布式系统其通信库替代NCCL的HCCL等的延迟和带宽以及故障恢复机制能否支撑起长达数周甚至数月的万亿Token训练任务而不中断。4.2 调度与运维稳定性的最后一道防线假设硬件和框架都跑通了在一个拥有成千上万张AI加速卡的数据中心里如何高效、公平、稳定地调度成千上万个训练和推理任务资源调度器如Kubernetes结合Volcano、Kueue等批调度插件或者像Slurm这样的HPC调度器。它们需要理解AI作业的特性需要多少卡、需要什么样的拓扑NVLink/NVSwitch组网、是弹性任务还是刚性任务。国产Infra需要确保自己的硬件如昇腾集群能被主流调度器良好识别和管理。多租户与配额管理如何防止单个用户的巨型任务饿死其他小任务如何设置公平共享、优先级抢占、预算限制可观测性与故障诊断当作业失败或性能不达标时如何快速定位问题是硬件故障、网络拥塞、存储IO瓶颈还是软件bug需要建立从芯片温度、功耗、利用率到框架指标、作业日志的全链路监控和告警体系。持续训练与推理平台提供一站式的模型开发、训练、评估、部署、监控流水线MLOps。这对于降低AI应用门槛、提升团队协作效率至关重要。经验之谈在大规模集群中“稳定性压倒一切”。一次全局性的网络故障或存储抖动可能导致数百张卡上运行了数天的训练任务全部失败损失巨大。因此Infra团队必须投入大量精力在冗余设计如多路径网络、故障隔离和快速恢复上。例如实现训练作业的断点续训Checkpointing自动化并确保Checkpoint能跨不同硬件如从A100集群恢复到昇腾集群虽然困难或至少跨不同节点快速加载。5. 安全、成本与可持续性无法回避的工程现实除了纯粹的技术性能在“万亿Token”的尺度上一些工程现实问题会被急剧放大。5.1 认证、令牌与安全链热搜中大量出现的“token”相关错误虽然多数指OAuth 2.0、JWT等应用层身份验证令牌但在AI Infra层面也有其映射。例如在云上使用AI服务时每个API调用都需要一个访问令牌API Token。当每秒有数百万次请求时令牌的验证、刷新、吊销服务必须是一个高可用、低延迟的分布式系统。否则就会出现“token exchange failed”、“token失效”等问题导致服务不可用。在模型服务内部也可能存在一种“推理令牌”的概念用于限流、计费和审计。如何安全、高效地管理这些令牌防止泄露和滥用是保障服务商业可持续性的基础。这涉及到密钥管理、令牌签名验证、请求限流、防重放攻击等一系列安全工程实践。5.2 成本模型与优化万亿Token的直接代价是惊人的电费和硬件折旧。因此构建一个精确的成本模型至关重要。这个模型需要能计算训练成本训练一个模型到收敛总消耗的算力GPU Hours是多少结合电费和硬件成本每个Token的训练成本是多少推理成本服务一个用户请求平均消耗的算力Token/sec per GPU是多少结合QPS和硬件利用率每个Token的推理成本是多少有了成本模型才能进行有效的优化模型压缩与量化将FP16/BF16的模型量化为INT8甚至INT4能大幅减少显存占用和计算量提升推理速度是降低成本最有效的手段之一。但需要评估精度损失。自适应计算根据查询的难易程度动态调整模型的计算量如早退机制Early Exiting、条件计算Conditional Computation。混合精度训练在训练中合理使用BF16/FP16混合精度在保证收敛性的前提下提升速度节省显存。硬件选型与混部根据任务特性选择性价比最高的硬件。例如对延迟不敏感的批量推理任务可以使用算力密度高但单卡性能稍弱的卡对交互式任务则必须使用高性能卡。5.3 可持续发展与自主可控“国产AI Infra准备好了吗”这个问题背后还有一层战略含义自主可控。过度依赖单一供应商的硬件和软件生态在极端情况下可能带来断供风险。发展国产AI Infra不仅是商业竞争也是技术安全的必然要求。这条道路注定漫长且艰难。它需要芯片设计、半导体工艺、基础软件编译器、驱动、深度学习框架、算法研究、应用生态等多个领域的长期、高强度协同投入。目前我们看到了像昇腾、海光、寒武纪等硬件厂商以及MindSpore、PaddlePaddle等框架的努力但整个生态的成熟度、开发者社区的活跃度、以及在国际主流学术和工业界的接受度仍有很长的路要走。最后的个人体会作为一名一线工程师我认为“准备好”不是一个“是”或“否”的二进制状态而是一个持续演进的过程。当前国产AI Infra在部分场景和特定模型上已经“可用”甚至“好用”。但要全面、从容地迎接“万亿Token时代”必须在极致性能优化、全栈软件生态和大规模工程稳定性这三个维度上同时发力。对于我们开发者而言最务实的态度是保持开放积极尝试。在非核心或成本敏感的场景中主动试用国产栈积累实战经验反馈问题共同参与生态建设。同时在核心生产系统中采取“双轨制”或“混合云”策略在保证业务连续性的前提下逐步增加国产化比例。这条路不好走但它是通向真正技术自主的必经之路。