V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  1119745302  ›  全部回复第 1 页 / 共 4 页
回复总数  68
1  2  3  4  
157 天前
回复了 CNYoki 创建的主题 Local LLM ollama 本地模型 GPU 跑不满
@CNYoki llama.cpp 似乎不支持张量并行,就算 4 张卡显存占满了也跑不快. https://www.bilibili.com/video/BV1DH4y1c7gK/ 可以参考一下这个, 换个 vllm 啊啥的后端一般就是随便跑了
157 天前
回复了 CNYoki 创建的主题 Local LLM ollama 本地模型 GPU 跑不满
换个后端?
@yudoo 加钱买个年代近点的吧, 上面提到的这些现在真的是远古时代的宝贝了
@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了
https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了
2023-12-23 09:24:39 +08:00
回复了 SteveHou 创建的主题 OpenAI ChatGPT 会无端使用中文来回答英文问题
有没有可能是偷偷获取了浏览器语言
@wu67 和小绿书 55 开的内容质量... 完全没看的必要
5 级这要求太高了
2023-06-11 05:52:52 +08:00
回复了 s04 创建的主题 Android 请问红米 NOTE 12 TURBO 刷机后还能收到后续版本的推送升级吗?
@ysc3839 说是这么说其实好像不管
2023-04-18 14:59:45 +08:00
回复了 keroppi 创建的主题 硬件 请教代码编译快的主机、配置
不如捡 epyc
x20w 的硬盘位似乎在主板另一边,我也刚下单一个当玩具
2022-10-25 16:39:50 +08:00
回复了 1119745302 创建的主题 职场话题 杭州普通双非一本大三,很迷茫,不知道应该怎么发展
感谢各位的指点,目前开始先刷题准备找实习了
2022-10-24 15:24:49 +08:00
回复了 1119745302 创建的主题 职场话题 杭州普通双非一本大三,很迷茫,不知道应该怎么发展
@lessMonologue 哈哈哈是杭电我就不来问了
2022-10-24 15:08:44 +08:00
回复了 1119745302 创建的主题 职场话题 杭州普通双非一本大三,很迷茫,不知道应该怎么发展
@rsy 好的,多谢前辈指点
2022-08-30 21:03:15 +08:00
回复了 pppguest3962 创建的主题 硬件 由于环境所限,有比较小的 PC 机,带两个 M.2 插槽位的吗?
小上一波车
2022-01-30 22:51:54 +08:00
回复了 1119745302 创建的主题 iPhone 万年 Android 用户想整一个 iPhone 备机尝尝鲜
这么可怕吗🤔
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2683 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 12:46 · PVG 20:46 · LAX 04:46 · JFK 07:46
Developed with CodeLauncher
♥ Do have faith in what you're doing.