- 时空年龄
- 0.5岁
Reserved
|
Reserved
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区
您需要 登录 才可以下载或查看,没有账号?立即注册
×
AI 总结
0 Y, K6 @& m( m• 7 月 21 日,云端 AI 推理平台 DeepInfra 发布博文称,生产环境下的智能体 AI 负载测试显示英伟达 Vera CPU 速度是其它 CPU 的 2 倍多。
) ~9 g4 I) Q) R+ q! n2 e• 英伟达此前官方博文指出,相比 AMD Turin 9755 处理器,Vera CPU 在处理智能体 AI 负载上的性能提升 80%。
, E1 k; Y! x+ Z• DeepInfra 最新测试表明,英伟达 Vera CPU 的 runc 延迟为 29ms,而英特尔 Sapphire Rapids 为 64ms,英伟达 Vera 快 , `' c' r4 E7 [2 Y
【背景与官方数据】
( l' J; \3 A# F% \IT之家 7 月 22 日消息,云端 AI 推理平台 DeepInfra 昨日(7 月 21 日)发布博文,报道称在生产环境下智能体 AI(Agentic AI)负载测试显示,英伟达 Vera CPU 速度是其它 CPU 的 2 倍多。5 M' x$ N' \/ M6 ]7 a+ H" |
3 r# v# z4 e/ K1 E. Q6 H英伟达在此前官方博文中指出,相比较 AMD 的 Turin 9755 处理器,Vera CPU 在处理智能体 AI 负载上的性能提升 80%。4 n7 J f, j8 C: ~, [8 _4 F8 t
* b$ s0 X, u- ?* [* v: P" E. M' k1 ?& p
【最新测试结果】
0 E- I. a! ~0 w9 |3 p+ U( V而在 DeepInfra 最新测试中,英伟达 Vera CPU 的 runc(基于 Linux 内核特性的“进程级”轻量化容器)延迟为 29ms,而英特尔 Sapphire Rapids 为 64ms, 英伟达 Vera 快 2.2 倍 。5 i4 p) F* M9 s |- o4 B7 Z
) y0 |8 n3 L$ D# q0 J! PIT之家附上相关截图如下:
( ?# @0 x& B: q: m4 M0 x
" X; R9 I0 Y$ Q5 M7 m( N9 ?6 w" Y5 M9 w0 S% d! e
4 _! H4 M- o3 ]) F. w: t- I- P图源:deepinfra
% z' X* w4 w0 M0 @7 d【测试环境与数据】
" @1 D4 P9 s4 P" M( \6 c测试环境使用统一条件:每次运行均为 20 个物理核、每核 1 线程、单 NUMA 节点,并启用 CPU confinement,超出核预算的运行会被丢弃。
" Z' P; J6 ^% i, g
8 ~; V' O# L- |: X L芯片 Kata ms (deployed) runc ms (intrinsic) IPC: g' d: Q3 Z5 U" O) C2 b
NVIDIA Vera 58 29 3.62
/ a: ]- K5 d+ @, ^ F) k, Q GAMD Zen5 Turin 87 35 —4 N$ N4 d, a; n+ ^" `
Intel Granite Rapids 103 51 2.44( P! c$ }: q0 h2 ?, Y$ k9 ]* m
Intel Sapphire Rapids 122 64 2.44
0 l" C X+ _$ A0 s! J$ i【相关阅读】
: a/ x, H2 I0 Y2 }' a, [+ h相关阅读:/ `) F; R/ _4 I( z. x
《 英伟达详解 Vera CPU:专为智能体 AI 构建,88 个 Olympus 核心、1.2 TB/s LPDDR5X 内存 》
9 U w$ c: t" R) q$ A7 [# O+ e' D( W2 x. e- s- @$ ^
[来源链接] https://www.ithome.com/0/979/837.htm |
- 本论坛所有用户发布内容仅代表其个人观点,不代表论坛立场。
- 论坛管理方不对内容的真实性、准确性及合法性承担责任。
- 用户发布原创内容版权归原作者所有,未经许可禁止转载或商用。
- 严禁发布侵权、违法、违规信息,违规者将承担全部法律责任。
- 论坛有权在必要时修改本声明,修改后继续使用视为同意。
- 如发现侵权内容,请通过官方渠道投诉,我们将在48小时内处理。
|