V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hanh1985
V2EX  ›  服务器

生信专用服务器

  •  
  •   hanh1985 · 334 天前 · 2684 次点击
    这是一个创建于 334 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想问问大家,海外有没有比较便宜的生物信息用的服务器租用呢?

    最近看到一些公众号在推广生物信息服务器租用,一般共享几十核的 CPU 加上几百 G 的内存,一个月数百元,倒是符合一般生物信息的应用了。但是最坑的是网络,不管是 github ,docker 还是 wget 一些海外数据库,速度和乌龟爬一样,尤其像 nf-core 这样重度依赖网络的流程基本就被坑死。

    于是进一步想到,海外有没有类似的面向生物信息的服务器(多核,大内存,上 T 的硬盘存储空间)租用的廉价方案呢?这样困扰就少了一大截了。

    希望了解情况的朋友能分享一下。

    44 条回复    2024-03-22 01:11:35 +08:00
    HTDit
        1
    HTDit  
       334 天前 via Android
    海外杜甫,去 hostloc 看看
    opengps
        2
    opengps  
       334 天前
    不要带着具体行业属性,换个关键字去了解:把“生信”替换为“大数据”
    BanShe
        3
    BanShe  
       334 天前
    hostloc
    dji38838c
        4
    dji38838c  
       334 天前
    国内搞科研就是又想省钱又想跟上时代
    多花点钱,选择就太多了
    lemonda
        5
    lemonda  
       334 天前
    Fiberstate
    128G 独立服务器,才 50 美元一个月
    mason961125
        6
    mason961125  
       334 天前   ❤️ 1
    建议首先考虑合规,生信的数据大概率受跨境数据监管规范约束。
    hertzry
        7
    hertzry  
       334 天前
    Github 科学上网,docker 换源,wget 用 IDM 下载再上传。
    hanh1985
        8
    hanh1985  
    OP
       334 天前
    @mason961125 其实没有这个问题,现在人遗都不约束粪便或者血液的数据了。而且主要还是海外的下载回来。
    hanh1985
        9
    hanh1985  
    OP
       334 天前
    @hertzry 是这样的。但是挡不住有的工具集成程度比较高,要挨个改链接非常折腾。
    hanh1985
        10
    hanh1985  
    OP
       334 天前
    hanh1985
        11
    hanh1985  
    OP
       334 天前
    @dji38838c 是自己掏腰包搞项目,还是要省着花的 T_T
    hanh1985
        12
    hanh1985  
    OP
       334 天前
    @HTDit 感谢,我去 hostloc 看看
    hanh1985
        13
    hanh1985  
    OP
       334 天前
    @BanShe 感谢
    hanh1985
        14
    hanh1985  
    OP
       334 天前
    @opengps 好的,我会注意。这样搜索后确实还了解到更多相关的信息。
    BanShe
        15
    BanShe  
       334 天前
    @hanh1985 捡便宜可以看 https://lowendtalk.com
    mason961125
        16
    mason961125  
       334 天前
    @hanh1985 感觉你这个情况应该不会满载?如果是类似于批处理跑完就结束的话,各大厂的云按量计费其实挺划算的。
    hanh1985
        17
    hanh1985  
    OP
       334 天前
    @mason961125 没有跑程序的时候不会满载。 但是一旦跑就需要多 CPU 和大内存。这种配置的机器以前云厂商不见得说有就有,不知道现在怎样了。要是跑的东西一多可能费用就蹭蹭蹭上来了。

    当然现在的主要问题是网络,所以要是有台海外的机器会比较好。
    hanh1985
        18
    hanh1985  
    OP
       334 天前
    简单做了一下功课,和大家分享一下。这个可能的范畴是高性能 CPU 或者游戏服务器的独立服务器。在 VPS 主机的网站里面找“独服”,可以看到不少相关的信息。
    chihiro2014
        19
    chihiro2014  
       334 天前
    hetnzer ?这个便宜。我记得当年租的时候 150 块钱一个月,然后 4c8h 32G 内存 4tb hdd ,1G 带宽共享
    mason961125
        20
    mason961125  
       334 天前
    @hanh1985 噢,我前面脑子抽了打错字了,我的意思是你应该不会持续跑满一个月吧,如果是间歇性的负载其实按量很划算。
    lemonda
        21
    lemonda  
       333 天前
    @hanh1985
    https://lowendtalk.com/discussion/190499/b-l-a-c-k-i-s-h-f-r-i-d-a-y-s-a-l-e-fiberstate-mega-sale-giveaways-kaboom
    120 美元可以买到 7950x 了。
    50 美元买到的 5700g 回帖可以内存翻倍。
    sNullp
        22
    sNullp  
       333 天前
    Up to 96G 内存 16 核,10T+硬盘,有兴趣联系我 用户名 @gmail
    SuperXX
        23
    SuperXX  
       333 天前 via iPhone
    搞科研要? 学校没有 HPC 吗? 确实没有可以考虑 Google Cloud , 也可以申请 Credits 用于科研,AWS 也有类似的项目
    sunamask
        24
    sunamask  
       333 天前
    理论上 nf-core 只在第一次运行的时候,对 github 的一些域名有要求,比如 raw.githubusercontent.com ,而且一般是企业用户的 config 文件、测试数据啥的。

    你可以排查一下,把所有这类情况单独修改到本地就 OK 了(下载测试数据/数据库 reference/config 到本地,修改 config 文件里测试数据的路径啥的),这类文件一般不会随着版本更新有改动。
    sunamask
        25
    sunamask  
       333 天前
    或者你可以试用一下 nf tower ? Community edition 不花钱。
    PhoneGor
        26
    PhoneGor  
       333 天前 via iPhone
    @sunamask 说得没错,先把 igenome 、数据库下载,然后修改 config 文件即可
    hanh1985
        27
    hanh1985  
    OP
       333 天前
    @lemonda fiberstate 好像没有库存了。
    hanh1985
        28
    hanh1985  
    OP
       333 天前
    @SuperXX 自己搞点项目,实践一些简单的想法。老有医院或者外面的人找,也可以把这些资源盘活起来。不想去蹭单位的资源,免得麻烦。云的那套也弄过,补助几年前也搞过。配置好了,成本也不低,现在就是想搞台单独的服务器,替代家里的工作站来用。
    hanh1985
        29
    hanh1985  
    OP
       333 天前
    @sunamask nextflow 也提供 offline 的方式,这样我可以在支持外网的环境下下载好需要的组件,然后传到一台便宜的服务器上去。

    nf-core 只是个例子,我使用 R 编程的时候,常常还碰到要安装个库,然后就是连接超时。最近恰好碰到原来的服务器硬盘坏了,需要迁移所有的镜像和环境(屋里原来还有软路由)。如果加一点点钱可以避免这些麻烦,可以节省大量的时间。
    ushio
        30
    ushio  
       333 天前
    要大内存和多核可以去看看 Hetzner ,几十欧到两三百欧都有很多选择,像云筏这样的生信云创业公司初期都是买 Hetzner 分割成 VPS 卖
    hanh1985
        31
    hanh1985  
    OP
       333 天前
    @ushio 好,谢谢推荐。
    sunamask
        32
    sunamask  
       333 天前
    @hanh1985 #29 第一次碰到技术栈这么贴近的同行,泪目。

    R 的话可以用 TUNA+renv 来管理环境,也可以做成容器,我的 R dev 环境就是和 Rstudio server 一起放在容器里的。

    我是想说网络问题都有解决方案的,可以具体问题具体分析。
    hanh1985
        33
    hanh1985  
    OP
       333 天前
    fiberstate 没货。我在 dedioutlet 上找了一台,2x E5-2680V2 (20 核 40 线程), 96GB 内存,240GB SSD + 1T HDD, 64 美元一个月。用国内的双币信用卡付的账单。网上评价说与国内的通讯速度慢,但是我主要是在上面搭流程,做开发和分析,下载海外网站的速度快就可以。先用着看看,以后有更合适的再换。
    hanh1985
        34
    hanh1985  
    OP
       333 天前
    @sunamask 后面可以多多交流。最近还在琢磨,针对细分领域的网络优化,数据代下等后续能不能做成业务😄。
    lemonda
        35
    lemonda  
       333 天前
    @hanh1985
    哈,需要盯一下,刚取消了几台。
    LET 里大概需要什么配置,可以发 request ,商家看到会给报价,有时候比公开的 offer 好很多。
    hanh1985
        36
    hanh1985  
    OP
       333 天前
    @lemonda 好的,学习了。
    SuperXX
        37
    SuperXX  
       333 天前 via iPhone
    @hanh1985 那我推荐自己撸台二手服务器吧, 可以看看 EBay 上的准系统,比如 T7920 双路直接插满吧
    SuperXX
        38
    SuperXX  
       333 天前 via iPhone
    T7920 准系统前不久看的价格是 349 , 也可以去 Reddit 上看看 HardwareSwap 或者 Homelabsales
    hanh1985
        39
    hanh1985  
    OP
       333 天前
    @SuperXX 人在国内。是自己在 ebay 买了之后再托管到海外机房么?没有试过这种方案,不知道怎样。
    sNullp
        40
    sNullp  
       328 天前
    t/1004783
    sNullp
        41
    sNullp  
       328 天前
    Rollie
        42
    Rollie  
       248 天前 via iPhone
    需求量大吗 我可以提供
    hanh1985
        43
    hanh1985  
    OP
       247 天前 via iPhone
    @131393 还是自用为主
    Rollie
        44
    Rollie  
       246 天前
    @hanh1985 我有自己托管的服务器一个月 500
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1727 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 16:44 · PVG 00:44 · LAX 08:44 · JFK 11:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.