NVIDIA Blackwell推理软件将AI Token成本骤降5倍，重塑AI部署经济

NVIDIA基于Blackwell GPU的完整推理软件栈（集成TensorRT-LLM、Dynamo框架及CUDA优化运行时）在短短一个月内将Token成本降低5倍。推理提供商Baseten在长上下文工作负载中吞吐量提升50%，Deep Infra和Together AI同样实现显著增益。通过解耦服务、大型专家并行及NVFP4精度增强等复合优化，吞吐量最高提升20倍。随着企业从模型训练转向大规模推理部署，NVIDIA的垂直整合策略正强化其在AI基础设施领域的统治地位。