英伟达AI内存全栈协同：HBM仅增3%，Agent每美元吞吐最高提升30倍

美东时间2026年11月5日，英伟达发布公司博客文章，详解其AI内存全栈协同设计策略。公司称，随着大模型参数规模、上下文窗口和Agent应用持续扩张，单纯增加GPU内存容量已不足以缓解AI基础设施的内存压力。

英伟达提出协同设计GPU、CPU、网络、存储和软件，并结合模型权重量化、KV Cache压缩与分层存储、RAG数据优化，让不同类型的数据进入更合适的存储层级。公司披露，从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增加约3%。

英伟达援引SemiAnalysis AgentX基准中的DeepSeek V4 Pro工作负载称，在每位用户每秒125个Token的服务速度下，Vera Rubin NVL72相较GB300 NVL72，每美元可实现的吞吐量最高提升30倍。上述数据由英伟达引用，对应特定Agent推理条件。