V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  thorneLiu  ›  全部回复第 4 页 / 共 6 页
回复总数  108
1  2  3  4  5  6  
@pengxiaoyu 保守估计乘以 2
vivo x100 等等看
242 天前
回复了 gfswoquasfasd 创建的主题 咖啡 做个调查:大家一天几杯 coffee
0
245 天前
回复了 svt 创建的主题 问与答 妹妹大学开始分流了,不知道选啥方向
这是职业技术学院吗?
245 天前
回复了 freepoint 创建的主题 问与答 突发奇想:你们平时都“逛”哪些网站?
水木社区
骐达
美文
没必要 带他该吃吃该喝喝 快乐至上
vivo X90 pro
IQOO 11
能用 Google play
273 天前
回复了 3x1415926535 创建的主题 iPhone iphone8 的钉子户怎么这么多
库克 你好
287 天前
回复了 sankooc 创建的主题 程序员 如何生成这种 banner 图
PPT 画的 打开思路
自带电脑上班 搁这儿用爱发电呢
296 天前
回复了 icemanpro 创建的主题 C++ 在结构体中如何使用动态数组?
土问这个 a1 list[]合法吗
为啥不用 STL?
298 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
@lyang 一个实例只能同时做一个推理 因为 LLM 推理有很多跟本次推理相关的过程量

所以要么他服务端这里拼了 batch 要么是在排队
298 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
取决于你后面部署的推理服务怎么个策略
298 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
就 fastertransformer 而言
权重加载是共享的 但用于推理的 modelinstance 可以构建多个
所以是支持多用户推理的

但理论上 其实多用户输入进队列拼 batch 用一个 modelinstance 推理会比多 instance 单 batch 推理效果好一点
适合出租房房东
302 天前
回复了 tatuotuo 创建的主题 酷工作 [远程全职] 寻找会软件测试的实习生
需要临时工
302 天前
回复了 Shiweizhi 创建的主题 Linux 感觉 xfce 桌面好快
我的 x230 上也是用的 manjaro xfce
每期 利息=本金*利率
一般是一个月一次
自己算
1  2  3  4  5  6  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1514 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 17:15 · PVG 01:15 · LAX 10:15 · JFK 13:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.