未登录
FAQ

一层虚拟机养一个 AI 推理实例,48 核 96 线程的 Xeon Platinum 8558U 当底座,忙起来会不会各家一起慢?

回答

  会,除非隔离先做好。96 线程分给几十个轻量 VM,每户常态都有余量,4GHz 睿频让单实例的响应不至于难看,260MB L3 在实例共用一套小模型时省下不少内存往返;负载一起来,抢的是同一片内存带宽,虚拟化层不分权重,慢就是所有人一起慢。

  要开几十个轻量 AI 服务、单个都吃不满的团队,这颗 48 核当底座合适;打算让一个大实例独占算力的,直接裸机更省事。先把 vCPU 与内存配额按 VM 分死再谈并发,不然 8558U 的核数只负责把拥堵做得更壮观。

Hardware

相关硬件

INTEL

Intel® Xeon® Platinum 8558U Processor

核心数 48 Cores最大 Boost 频率 4.00 GHz三缓 260.00 MBTDP 300.00 W
Compare

相关对比

6 个