下面哪个后端软件使得在CPU下进行大模型推理成为可能?



下面哪个后端软件使得在CPU下进行大模型推理成为可能?

A.Transformers

B.GGML

C.DeepSpeed

D.SGLang

正确答案:B

下面哪项不是大模型服务前端提供的功能?

A、WebUl服务界面

B、本地图形化服务界面

C、API调用

D、请求负载均衡

正确答案:D


Tag:模型 界面 功能 时间:2025-04-07 11:02:46