首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
机器学习
有没有产线拿 llama.cpp 跑大模型的案例?
wencan
·
29 天前
· 697 次点击
可能是我做过三年的优化重构,又主持过一些创业项目,特别重视节能减排。
我拿 llama.cpp 在集显笔记本上跑 llama3 中文-4bit ,毫无压力。
准备将来有机会产线也这么干。
求问有没有这样的产线案例,服务器是怎么样的,体验如何?
2 条回复
•
2024-05-18 18:38:19 +08:00
1
june4
29 天前
多大的模型,我的闲置老机上用 cpu 跑好慢,本来想用于给文章打标签,全文是肯定不行,但哪怕就标题和简介,也要要 20 秒一个。
2
gaobh
29 天前 via iPhone
得看有多少人访问,并发 token 多少,再决定上多少 gpu 服务器
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2677 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms ·
UTC 14:10
·
PVG 22:10
·
LAX 07:10
·
JFK 10:10
Developed with
CodeLauncher
♥ Do have faith in what you're doing.