 |
reecoV2EX 第 61311 号会员，加入于 2014-04-27 10:41:34 +08:00今日活跃度排名 18027 |
reeco 最近回复了
28 天前 回复了 pauluswanggang 创建的主题 › Linux › 为什么我，一个从 DOS 时代走来的电脑老用户，也放弃了 Linux 桌面系统 |
说了一堆废话
37 天前 回复了 ztstillwater 创建的主题 › 宽带症候群 › 分享一下在日本的我家一户建的宽带 |
国内电信 1000M 一年也是差不多 1000 ，就是上行太慢了，上行 50 出头
52 天前 回复了 lucheng0127 创建的主题 › NAS › 最终使用 Linux 自己搭建 NAS 系统 |
Debian 插满硬盘装上 zfs samba 和 syncthing 就搞定了
52 天前 回复了 littlemis 创建的主题 › 问与答 › 请问像是 qwen:0.5b 这种小模型，实际能落地用来做什么 |
目前最大的用处就是推测解码
80 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
7B 不必考虑非量化场景，单机 2 张卡，2 个实例就搞定了
80 天前 回复了 ltfree 创建的主题 › 程序员 › 最近被 OCR 识别搞得头痛 |
部署个 paddleocr 解决
142 天前 回复了 zhuwd 创建的主题 › NVIDIA › NVLink 对显卡集群的影响有多大？ |
生产环境显存足够还用 ollama 这种套壳干嘛，暴殄天物。70B 用 Triton + TensorRT-LLM 理论性能是最好的
147 天前 回复了 mrleft 创建的主题 › Local LLM › ollama 如何手动下载模型？ |
直接 huggingface 下载模型，llama.cpp 跑一下，一样的
Select Language