DeepSeek R1 推理 AI 测试：英伟达 Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍

admin

AI 总结
: K' Z$ \' m  r* e& _- s/ I4 Z• 7月21日英伟达宣布加速量产 Vera Rubin NVL72，该系统已在 CoreWeave、Google Cloud 等多个合作伙伴内部运行。
/ e* B, |% b) Z+ c& d2 C  k• 英伟达为满足计算需求，在 30 个国家拥有 350 多个工厂，建立了规模最大的机架级供应链。
• CoreWeave 于 6 月初完成了业界首个 Vera Rubin NVL72 的上电和验证工作，搭建了端到端机架级系统。
- d, h1 K$ x  ]$ a  E0 G- w' b• CoreWeave 基于 DeepSeek R1 模型测试显示，在匹配交互性目标下，Vera Rubin NVL72 相比 GB200 NVL72 每兆瓦 Tokens 吞吐量提升了 10 倍。

【背景与部署进展】
& W( V. ]& R6 {7 iIT之家 7 月 22 日消息，英伟达（NVIDIA）昨日（7 月 21 日）发布博文，宣布其 Vera Rubin 正迈步万亿级规模部署。

英伟达在博文中指出，公司正加速量产 Vera Rubin NVL72，并已在 CoreWeave、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等合作伙伴内部运行。

英伟达表示为了满足全球客户的计算需求，Vera Rubin 在 30 个国家拥有 350 多个工厂，建立了有史以来规模最大、最成熟的机架级供应链。

8 B& r+ l# y8 b' }5 s; v) O【CoreWeave 完成验证工作】
CoreWeave 公司昨日（7 月 21 日）发布博文，表示该公司于 6 月初完成了业界首个 NVIDIA Vera Rubin NVL72 的上电和验证工作，搭建了端到端的机架级系统，包括电源、冷却、网络和计算均已验证并运行。
4 y6 V8 P- h  u
【DeepSeek R1 推理测试结果】
; H% X/ R; n6 TIT之家翻译博文相关内容如下：
. F0 y( _8 s0 y" o( J
DeepSeek R1 是驱动当前智能体 AI（Agentic AI）激增的推理模型之一，因此在部署 Vera Rubin NVL72 和 NVIDIA Blackwell NVL72 后，我们基于该模型做了相关测试。
7 r1 O, p  \, C
( \2 b8 p. V# I: N在本次测试评估中，我们着重评估每兆瓦吞吐量（token throughput per megawatt）以及交互性（TPS / user，表明用户或智能体在模型处理任务时所体验到的响应速度）之间的关系。
0 c- l2 p  w1 V: G% h/ v5 P; V( w) l
, f, F  x1 U  w在匹配的交互性目标下，在相同 DeepSeek R1 工作负载下，相比较 NVIDIA GB200 NVL72， Vera Rubin NVL72 每兆瓦 Tokens 吞吐量提升 10 倍。

3 Z# W# i  h- t, E

                               
登录/注册后可看大图

) N/ x0 `1 ?7 }9 z$ m
; {/ Z1 j& x- c* {[来源链接] https://www.ithome.com/0/979/825.htm