V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
aljun
V2EX  ›  程序员

宅家 train 模型机器选择方案咨询

  •  1
     
  •   aljun · 2021-01-31 21:58:34 +08:00 · 2260 次点击
    这是一个创建于 1152 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主之前一直用的 G 家的 Colab 和自己的云主机 train 一些简单的模型以及 Kaggle 的比赛,一直想用自己机器去做一些事情,奈何现在主力机是一台老旧的 Mac (还未换 M1,不过也即将退休,换一台新的),现在想请教一下 v 站各位大佬们,如果只是 train 一些经典的模型或者做一些 Kaggle 或天池的比赛的话有什么推荐的方案呢?能想到的:

    • 换 M1 的 Mac ( M1 虽然据说 GPU 也很劲爆,但新 mac 据说无法外置显卡,之后自己折腾的途径也没了)
    • 外置显卡,这个一直有考虑,但是怕吃灰严重
      • 显卡选什么呢?(下面 win 机同问题)
    • 继续 G 家 Colab,但是存储和 IO 真的比较坑。。。
    • 滴滴云等国内还比较性价比的云主机
    • 换 Win 电脑直接上卡

    主要场景 是复现模型,以及跑一些公开数据的比赛 平时也是上班 996 党,主要是晚上回来和周末时跑着学习使用

    想问问各位过来人意见以及踩过的坑

    12 条回复    2021-02-01 18:31:37 +08:00
    lazydog
        1
    lazydog  
       2021-01-31 22:00:15 +08:00 via Android
    知乎看稚辉君的方案啊!
    aljun
        2
    aljun  
    OP
       2021-01-31 23:33:37 +08:00
    @lazydog 貌似没找到。。。B 站也没找到
    blues9
        3
    blues9  
       2021-01-31 23:50:30 +08:00
    还是用各种云主机吧,买硬件的钱足够这个需求了
    Puteulanus
        4
    Puteulanus  
       2021-01-31 23:58:37 +08:00
    云主机之前用过 Paperspace,感觉还行,现在好像向机器学习这方面特化了很多功能
    https://www.paperspace.com/
    lithiumii
        5
    lithiumii  
       2021-02-01 00:05:00 +08:00
    现在显卡都不便宜,挖矿潮过去之后也许 12G 的 3060 会是(穷人)自己家里玩模型的合适选择。一定要现在买的话,不差钱直接 3090 吧
    DoctorCat
        6
    DoctorCat  
       2021-02-01 00:06:09 +08:00
    tb 上找远程电脑出租,性能可以的。
    szxczyc
        7
    szxczyc  
       2021-02-01 00:35:32 +08:00   ❤️ 1
    配个 3080 的主机,放家里装 ubuntu 就可以了,不需要显示器。配置一下端口外网访问即可,想训练的时候 ssh 登录一下。训练的结果自动保存并推送进度,每隔一段时间用 sever 酱推送一下服务器情况。
    M1 再劲爆也不能 train 一些大的模型呀,NLP 和 CV 的大 bs 就爆显存了,现在的模型越来越大了,一张 30 系显卡还是比较需要的,再说平常打打 LOL 他不香嘛?
    M1 可以暂时不买,真不推荐拿来训练模型。这钱买个服务器靠谱!
    PS:大显存多跑几组实验调参还是挺好用的。
    Puteulanus
        8
    Puteulanus  
       2021-02-01 03:48:20 +08:00
    看了下,Paperspace 现在支持竞价实例了

    https://imgur.com/M5rxZQd
    dartabe
        9
    dartabe  
       2021-02-01 04:02:09 +08:00
    M1 貌似最近新出的 tensor flow 支持 CPU + GPU hybrid 方案据说性能还可以 你可以看看

    还有亚马逊 AWS 也提供计算服务 不知道如何
    liprais
        10
    liprais  
       2021-02-01 07:12:42 +08:00
    @szxczyc 3080 那点显存也不够看的,3090 勉强够用
    lazydog
        11
    lazydog  
       2021-02-01 17:52:47 +08:00 via Android
    @aljun 你搜这个: [保姆级教程] 个人深度学习工作站配置指南 稚晖
    owenliang
        12
    owenliang  
       2021-02-01 18:31:37 +08:00
    买台电脑就行吧,啥数据规模还需要考虑这么多
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1964 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:22 · PVG 00:22 · LAX 09:22 · JFK 12:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.