V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  handuo  ›  全部回复第 1 页 / 共 9 页
回复总数  170
1  2  3  4  5  6  7  8  9  
@jiashuaibei 真正跑起来你就知道深度学习有多占空间了,不同的开源项目之间包的冲突是家常便饭,就得新建环境,过半年随随便便 conda 就占一两百个 G 。硬盘空间不够用,就得不停删除缓存、暂时不用的环境和数据集,浪费时间
@handuo 抱歉不是 deepseek ,deepspeed 。深度学习硬盘空间是最不值钱的了,数据盘至少 4tb 是我的推荐哈
@kk2syc 这位的建议就很好,而且我个人的偏好还是用 linux 大于 win ,首先是 cuda 和 deepseek 之类的库网上 linux 的帖子和 issues 多一些,反正我是不知道 llama-factory 能不能在 win 上完美地跑。再有就是涉及到文件系统的函数和包有小概率跟 linux 不兼容,最后就是 win 更重一些,乱七八糟的服务挺占资源的。
一块 1tb 的硬盘肯定是不够的,看你要干什么了。如果是微调 8b 左右的语言模型,你各种 hf 模型总得下载吧,几个主流的都得占用将近 159gb ,你微调过程中产生的数据很快就会达到 500gb 。再加上数据集,conda 各种包,你得一周就复制和迁移一次数据,很繁琐痛苦。如果是 cv 方向和多模态,那数据集占了大头,但是 1tb 勉强够用。如果是 8b 以上的就不用想了。
我的建议是 c 盘不用太大,但是你要把 hf_home,conda, pip cache 和 docker 默认的 data 文件夹放到别的盘,不然多大都会马上满
6 天前
回复了 WinG 创建的主题 问与答 有没有方便微调各种大模型的工具
本质上没有什么放不方便,大部分就是用 docker 来跑现成的 llama-factory 的镜像,如果是多实例多机跑稍微注意一下环境变量配置就行,都一样的。可能有的厂商有自己配置好的镜像,但是也是以 deepseek 和 megatron 为主的,建议自己构建比较好
6 天前
回复了 WinG 创建的主题 问与答 有没有方便微调各种大模型的工具
国内比较主流的有 UCloud( https://www.ucloud.cn/),商汤云大装置( https://www.sensecore.cn/product),我还在 B 站上看到一些 up 主推广过 https://gpuez.com/ ,看你预算了呗。我公司现在刚刚从 ucloud 迁移到 sensecore ,其实都差不多
7 天前
回复了 WinG 创建的主题 问与答 有没有方便微调各种大模型的工具
有很多微调的库啊,llama-factory 和 swift 都可以,我在用,还有很多比如 unsloth, axolotl 等等
你说的难用是原来只需要点一下,现在需要专门点 fill 按钮不太习惯经常点错吗
37 天前
回复了 imxiaolong 创建的主题 VPS 大家的 VPS 都用来装哪些好玩的应用呢?
lobechat
96 天前
回复了 wukong888 创建的主题 Windows 从 Mac 换成了 windows 工作效率大幅降低
你搜一下 bitlocker 是不是开了,关了能大幅提升硬盘读写效率。还有就是可以用一些三方的软件替换原生的打开图片的软件
127 天前
回复了 everfly75 创建的主题 分享创造 50 岁开发者的 AI 创业历程与收获
支持一下 我司之前做的就是类似的,跟 coze 和 dify 有一定重合,后续放弃了。祝福!我试用一下,没准有一些更专业的判断 我邮箱 [email protected]
158 天前
回复了 kaxiu 创建的主题 奇思妙想 基于这个痛点,想做一个笔记软件
谷歌也吃了一个 NotebookLM 吧
好像 YouTube 不必须,Google one 必须,包括 photos 必须
微调 gemma ,mistral ,qwen 之类的轻量模型用于企业内部知识平台
nvidia jetson agx 64GB ,但是 CPU 和 GPU 很弱,一般用于边缘计算的,勉强可以跑小型 llm
由于在 ai 行业,我平时使用的 GPT4 和 GitHub copilot 公司可以支持,我自己花的钱其实就是 midjourney 。只是平时用得少了,等一年过去就会 cancel
chrome 和 edge 新版都有 freeze inactive tabs 的功能默认开启,先确认一下啊?然后具体看一下内存占用分别是多少,我的 32G 占用也才 60 左右,我用的还是 jetbrains
292 天前
回复了 lk960511 创建的主题 问与答 如何训练出自己的大语言模型?
@badmotherfucker ?你是说训练是吧?
Midjourney 现在支持了吧
316 天前
回复了 meisen 创建的主题 Apple 高中生电脑选购哪款更合适?
@GabrielleBellamy mac 的乐趣,别告诉我是 zsh+vim,搞半透明花花绿绿配色,现在 win 也可以搞了。其他也就是开发生态圈不一样,有什么 pc 没有的乐趣呀?纯好奇
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3850 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 00:55 · PVG 08:55 · LAX 16:55 · JFK 19:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.