RWKV-Runner 发布并开源，可商用的大语言模型，一键启动管理， 2-32G 显存适配， API 兼容，一切前端皆可用
josStorer · 2023-05-23 17:15:46 +08:00 · 1640 次点击这是一个创建于 555 天前的主题，其中的信息可能已经有所发展或是发生改变。
本项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几 MB 的可执行程序。此外本项目提供了与 OpenAI API 兼容的接口，这意味着一切 ChatGPT 客户端都是 RWKV 客户端。
开源地址： https://github.com/josStorer/RWKV-Runner
演示视频： https://www.bilibili.com/video/BV1hM4y1v76R
功能
- RWKV 模型管理，一键启动
- 与 OpenAI API 完全兼容，一切 ChatGPT 客户端，都是 RWKV 客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看详细内容
- 全自动依赖安装，你只需要一个轻巧的可执行程序
- 自带用户友好的聊天交互页面
- 易于理解和操作的参数配置
- 内置模型转换工具
- 内置下载管理和远程模型检视
- 多语言本地化
- 主题切换
- 自动更新
 |
1
jones2000 2023-05-23 17:23:19 +08:00
公司内网可以部署吗? 和互联网是隔断的。
|
 |
2
josStorer OP @jones2000 可以，网盘里有全依赖的包： https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111
此外你可以用本体 exe ，在联网环境把所有依赖都装上，然后整个目录打包，就是离线包了，所有依赖都在文件夹内 API 部分做了简单的加锁，可以内网多人使用，理论上可以套个负载均衡集群部署，不过我没测试过 |
Select Language