对交互式是真加速。单条请求的权重与 KV cache 都很小,128MB L3 能把高频复用部分留在片上,首字来得更利落;一旦换成批量吞吐,权重被反复流式读取,缓存装不下也帮不上,速度照旧卡在双通道带宽。
自己对话、在意低延迟的人,这笔缓存钱花得值;整天跑批量 embedding 或长文本并发的人,多花的钱换不来吞吐。16 核 32 线程与 5.7GHz 睿频和 7950X 同源,差别只在缓存口味——按负载下单,别照参数表下单。