FAQ

X3D 多给的 64MB 缓存,在 Ryzen 9 7950X3D 跑交互式 AI 时是真加速还是纸面参数?

回答

  对交互式是真加速。单条请求的权重与 KV cache 都很小,128MB L3 能把高频复用部分留在片上,首字来得更利落;一旦换成批量吞吐,权重被反复流式读取,缓存装不下也帮不上,速度照旧卡在双通道带宽。

  自己对话、在意低延迟的人,这笔缓存钱花得值;整天跑批量 embedding 或长文本并发的人,多花的钱换不来吞吐。16 核 32 线程与 5.7GHz 睿频和 7950X 同源,差别只在缓存口味——按负载下单,别照参数表下单。

Hardware

相关硬件

AMD

AMD Ryzen™ 9 7950X3D

核心数 16 Cores最大 Boost 频率 5.70 GHz三缓 128.00 MBTDP 120.00 W
Compare

相关对比

6 个