V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xxfye
V2EX  ›  宽带症候群

清华空运 700TB 实验数据

  •  
  •   xxfye · 2022-10-06 15:24:30 +08:00 · 9207 次点击
    这是一个创建于 561 天前的主题,其中的信息可能已经有所发展或是发生改变。

    金枪鱼之夜:空运磁带的 PB 级实验数据传输 https://tuna.moe/event/2022/lto-practice/

    从日本神冈到中国北京,可以试着计算实际传输速率。

    33 条回复    2022-10-08 22:51:34 +08:00
    oldshensheep
        1
    oldshensheep  
       2022-10-06 15:54:51 +08:00   ❤️ 1
    实际传输速度受限于磁带传输速度。
    飞机,运送等时间忽略不计,因为写入磁带花了 20 天,实际传输速度就是 700TB/20 天大约 400MB/S 。
    netnr
        2
    netnr  
       2022-10-06 16:24:00 +08:00 via Android
    这应该算得上大数据分析了吧
    huaes
        3
    huaes  
       2022-10-06 16:48:32 +08:00
    以前见极客湾玩过磁带机,磁带挺便宜的就是磁带机贵,顺序读写几百 MB 这样,做冷数据存储性价比远超机械硬盘
    huaes
        4
    huaes  
       2022-10-06 16:50:54 +08:00
    不对,是翼王,
    ohiu
        5
    ohiu  
       2022-10-06 16:57:31 +08:00   ❤️ 1
    很慢 而且丢包率只能是 0 一丁点冗余都不能有 满载硬盘的卡车也只能是立刻可以部署的服务器才行 否则读写数据本身就是瓶颈
    MrKrabs
        6
    MrKrabs  
       2022-10-06 17:35:59 +08:00
    难道就一盒磁带?可以一起读啊
    heyjei
        7
    heyjei  
       2022-10-06 19:31:39 +08:00
    @MrKrabs 磁带机贵啊,并行读就要多台磁带机
    ksdd521lr
        8
    ksdd521lr  
       2022-10-06 20:56:28 +08:00
    @heyjei 磁带机可以租用,这种数据极其重要,应该是考虑安全采用的磁带,磁带也便宜
    fisherwei
        9
    fisherwei  
       2022-10-06 22:06:42 +08:00   ❤️ 1
    @oldshensheep 清关报检可能远不止 20 天能出来。当然,关系硬可能也半天就出来了。
    zli
        10
    zli  
       2022-10-07 00:00:47 +08:00   ❤️ 1
    日本进来的?

    先 84 喷一遍消消毒……

    🐶
    kerrspace
        11
    kerrspace  
       2022-10-07 00:06:56 +08:00
    说实话 我搜集的黄图黄片加在一起也快有 100TB 了(不算备份),清华这个 700TB 也就洒洒水
    Cubat
        12
    Cubat  
       2022-10-07 00:11:40 +08:00
    证明至今为止数据最快的传输方式还是集装箱托运,比如 AWS Snowmobile (狗头)
    ZE3kr
        13
    ZE3kr  
       2022-10-07 00:26:07 +08:00 via iPhone
    为什么我从日本寄到北京的包裹是需要隔离 10 天才会派送的😭USPS 、UPS 、FedEx 都是,是不是因为我没有清华的关系
    Zy143L
        14
    Zy143L  
       2022-10-07 02:52:39 +08:00 via Android
    清华包裹需要消毒静止么?
    这个时间节点还能进京么?
    documentzhangx66
        15
    documentzhangx66  
       2022-10-07 03:02:06 +08:00   ❤️ 1
    也就 35 个 20TB 磁盘,手提式磁盘箱,一个箱子能放 10 块。那么就是 4 个箱子的事情。

    双副本 7 个手提箱,三副本 11 个手提箱的事情。

    难点是 700 TB 的数据,要进行写入,还要校验,费时间罢了。

    以上是垃圾佬的做法。

    企业级的做法,直接一台 3U 的全闪服务器,一台最大能达到 PB 级别。
    dangyuluo
        16
    dangyuluo  
       2022-10-07 06:32:52 +08:00
    好奇是怎么实现无人值守写入磁带的,而且怎么保证数据完整性
    gabezhao
        17
    gabezhao  
       2022-10-07 08:09:48 +08:00
    @kerrspace 老哥你这个看的过来吗?
    zachgenius
        18
    zachgenius  
       2022-10-07 08:19:59 +08:00
    @kerrspace #11 借一部说话 😂
    jedihy
        19
    jedihy  
       2022-10-07 08:33:34 +08:00
    @kerrspace 昨天统计了我的正版 AV (来自 R18 ),大概 1.1TB 。
    tramm
        20
    tramm  
       2022-10-07 14:04:44 +08:00
    @kerrspace 6 啊
    gg2018
        21
    gg2018  
       2022-10-07 17:56:36 +08:00
    @kerrspace #11 借种子 说话 😂
    signalas1
        22
    signalas1  
       2022-10-07 18:36:42 +08:00
    @jedihy 正版真的可以买到 1T 吗,要花多少钱
    jedihy
        23
    jedihy  
       2022-10-08 09:26:59 +08:00
    @signalas1 不算 rental 的,花了大概 3000 刀吧。
    huihuilang
        24
    huihuilang  
       2022-10-08 09:34:24 +08:00 via Android
    @ZE3kr 找个靠谱的清关公司吧。。。我们买的货物欧洲进来的,从发出到收到一周搞定。。。货物发出来就可以预申报了
    lxr760
        25
    lxr760  
       2022-10-08 09:59:12 +08:00
    直播链接:YouTube ,开始后公布


    谁有 youtube 地址 上去学习学习
    ZE3kr
        26
    ZE3kr  
       2022-10-08 10:08:40 +08:00 via iPhone
    @huihuilang 清关都是预申报,清关不到 4 个小时。发到北京之外的地方全程都不到 3 天就能派送抵达,远不到一周。但收货地北京无论是从北京口岸、广州口岸、上海口岸进口,都会被静置隔离 10 天……打算以后送到天津然后再转寄到北京了
    ungrown
        27
    ungrown  
       2022-10-08 11:27:39 +08:00
    @kerrspace #11 说真的冗余度太高了,试着用 webp 和 hevc 压一遍,不影响观感,体积估计能缩到一两成的样子
    Cassius
        28
    Cassius  
       2022-10-08 12:51:49 +08:00 via Android
    磁带自动化程度很高的。大型带库一次可以放上千盘磁带,都是机械手托盘自动装载到磁带机的。
    维护的时候只需要拉开抽屉一次性放入所有磁带就行了。每盘磁带上有条码,机械手读取的时候会读取到 ID ,每盘数据先后就不会乱。
    取出也是同理。IBM 小带库也能塞几十盘,大型带库有 4 个 42U 机柜
    exocell
        29
    exocell  
       2022-10-08 15:41:37 +08:00
    @kerrspace 为什么 V2 没有点赞功能,逼我回复来赞赏你
    xunqin
        30
    xunqin  
       2022-10-08 17:25:10 +08:00
    2016 年时的报道

    亚马逊迁移数据也是拼了:18 轮卡车拉满硬盘

    https://news.mydrivers.com/1/510/510501.htm

    搬运速度在 原子世界和比特世界之间有时间差
    nbsn
        31
    nbsn  
       2022-10-08 19:02:35 +08:00
    时间到了,没有开始啊
    Xymmh
        32
    Xymmh  
       2022-10-08 20:08:10 +08:00
    secondwtq
        33
    secondwtq  
       2022-10-08 22:51:34 +08:00
    以前网速没那么快的时候数据稍微大一点就是这么干的 ... 现在就是多了几个 0 吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4707 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 10:00 · PVG 18:00 · LAX 03:00 · JFK 06:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.