@usazcx 如果是 Intel 集群，也可以试试 bigdl.
https://bigdl.readthedocs.io/en/latest/doc/Serving/index.html

@usazcx https://github.com/ggerganov/llama.cpp#mpi-build 这是集群的部署指导

op 可以试试 ggml 库重新，基于 ggml 上的项目 llama.cpp ，可以实现用 C++运行语言模型

可以 fork 一下这个项目 https://github.com/ACL4SSR/ACL4SSR/tree/master ，写一份你自己的 ruleset 以匹配 openai ，emby 等。
配合订阅转换服务 https://github.com/tindy2013/subconverter ，可以自动更新配置文件到每个设备，无需手动修改。
另外，适用于 openai 的 ruleset：
DOMAIN-KEYWORD,openai
DOMAIN-SUFFIX,ai.com
DOMAIN-SUFFIX,challenges.cloudflare.com
DOMAIN-SUFFIX,openai.com
DOMAIN-SUFFIX,openaiapi-site.azureedge.net
DOMAIN-SUFFIX,stripe.com