调研机构 SemiAnalysis 在 10月18日 发布报告称，通过一项上游 vLLM 优化，英伟达成功让参数量达到 2.8万亿 的 Kimi K3 模型推理速度提升至 423 tok/s/user（每用户每秒每 Token）。在相同的硬件配置下，这一最新成果比优化前的性能提升了 1.68倍。

优化技术细节与工程师贡献

根据公开的技术介绍，这项显著提升推理效率的优化工作由英伟达 CentML 工程师 Benjamin 完成。该优化核心在于采用了大规模的 Megakernel 融合技术，并使用 Cute DSL 编写了英伟达新推出的解码专用内核。据了解，该 Megakernel 包含了复杂的底层计算逻辑，为超大规模模型的本地部署和云端推理开辟了新路径。

随着人工智能技术的迅猛发展，大语言模型在参数规模不断扩大的同时，对硬件算力和推理延迟提出了极高的要求。硬件厂商与开源社区持续推进底层架构适配，以缓解高昂的算力成本。

硬件平台与未来展望

此次性能测试与优化所依托的硬件环境为 GB300 NVL72 系统。在面对此类拥有数十亿甚至数万亿参数的超大模型时，传统的推理框架往往会遇到带宽瓶颈和显存利用率不足的问题。而通过针对特定硬件架构编写专用内核，能够大幅度榨取芯片的并行计算潜力。

在硬件供应与市场端，相关产业链近期也频频引发关注。例如，此前曾有关于 英伟达否认 RTX 5090 停产传闻，承认供应链产能受限 的行业动态，显示出市场对高性能计算硬件的持续追逐。业界分析认为，随着底层软件栈与上游框架的深度协同，未来大模型的运行效率仍有进一步压缩成本和提升吞吐的空间。

Sources: IT之家