突发奇想，技术上有没有办法让多个企业共用大模型服务器，但是隐私信息不泄露？

[LeeReamond]

今日看到国产大模型本地部署机器有感。

1. 目前 671B 的大模型已经可以本地部署，就算没有 GPU 专门优化，高性能 CPU 跑起来似乎也能接受。
2. 考虑到大模型的生产力和泛用性都很强，企业应该有大量大模型需求。
3. 企业对自身数据安全有较强需求，确保本地数据不外流是基础需求。
4. 本地部署虽然已经可以实现，但是可能的问题是，稍微部署几台机器可能输出性能不够用，多部署了可能用不完
5. 模型本身不进行微调的话，出于通用目的使用，其实不需要有状态，理论上数据并存储的必要。
6. 不知道如果企业共用模型的话，以现在的技术有没有办法确保上传的数据只用来过一遍模型，而不被第三方偷偷存下来？

[feikaras]

类似：你把钱给我用用，我保证还你。

[billccn]

技术上用可信计算那一套就可以：显示芯片里内置一套唯一的公私钥，公钥再由厂家签名成证书，服务器把证书传给客户端，客户端验证厂家签名，然后用该公钥加密自己需要计算的程序。运行时服务器先载入模型数据，显卡形成一个状态哈希码，客户程序解密以后第一件事就是比较哈希码，如果和编译时候的不同就把显卡重置，反之开始运行程序，结果再加密返回给客户。整个过程中宿主机 CPU 和操作系统只承担拷贝数据的角色，不知道运算的内容。

当然和已有的可信计算硬件一样，很有可能出漏洞，还可以搞供应链或者物理攻击泄漏一些芯片的私钥，所以这最终还是需要客户信任厂商。

[msg7086]

没办法，这东西只能靠信任和法律保障，比如说数据泄露了赔偿 1 个亿，那问题就结了。
当然，归根结底还是看你的数据有多重要，处理机密数据的厂除了自建以外没有别的选择。
而且就算自建也需要处理安保问题，必须是经过审核的人才能进机房碰机器。

[kevinxzhao]

怎么可能

[danhahaha]

找个第三方的可信机构或者部门托管，但是目前国内好像真没有，不如交给朝鲜，封到长白山上

[wyntalgeer]

可以的，你搞定园区主任，邀几个企业入驻，然后机房部署后给他们扯网线用。去掉第三方就好了，也就是说你的突破口在园区主任，加油

[sujin190]

直接设计 asic 芯片估计可以做到，芯片直接在物理上就设计成内部解密内部计算，不提供外部读取数据能力就是了，只要物理做死了通过检测，大概率就没什么好方法破坏了

[yinmin]

租云服务商的算力自己部署大模型，azure 、aws 、阿里云、腾讯云都有这种服务的。