V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
FenixVu
V2EX  ›  Linux

百万数量级小文件迁移怎么做?

  •  
  •   FenixVu · 2021-06-02 17:37:38 +08:00 · 4478 次点击
    这是一个创建于 1029 天前的主题,其中的信息可能已经有所发展或是发生改变。
    服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使
    29 条回复    2021-06-10 09:25:51 +08:00
    wtfcworld
        1
    wtfcworld  
       2021-06-02 17:44:14 +08:00
    dd ?
    AoEiuV020
        2
    AoEiuV020  
       2021-06-02 17:44:51 +08:00
    ghost?
    或者整个硬盘 dd 过去再 resize 分区,
    liprais
        3
    liprais  
       2021-06-02 17:45:04 +08:00
    tar
    doyel
        4
    doyel  
       2021-06-02 17:46:11 +08:00
    dd 最快
    hulala1021
        5
    hulala1021  
       2021-06-02 18:09:43 +08:00
    rsync 应该没问题诶,我现在同步上百万的文件,没啥问题
    不过我是从无到有增量同步的,不是一下字有上百万文件
    westoy
        6
    westoy  
       2021-06-02 18:11:23 +08:00
    dd 到新硬盘, 再 resize2fs 扩容
    lerry
        7
    lerry  
       2021-06-02 18:26:36 +08:00
    硬盘快照,具体要看是什么文件系统
    mingl0280
        8
    mingl0280  
       2021-06-02 22:20:54 +08:00 via Android
    partclone 好。
    liuguangxuan
        9
    liuguangxuan  
       2021-06-02 23:48:35 +08:00 via Android
    rsync 会碰到什么问题?
    kokutou
        10
    kokutou  
       2021-06-03 08:42:14 +08:00 via Android
    先看看你的 5t 硬盘是不是叠瓦。。。

    挂着不管放机房拷几天也就拷完了。
    FenixVu
        11
    FenixVu  
    OP
       2021-06-03 08:53:05 +08:00
    @kokutou 是个希捷的移动硬盘
    我刚才才想到 需不需要 重新格式化成 ext4 在挂载拷贝
    默认的应该是 ntfs
    kokutou
        12
    kokutou  
       2021-06-03 09:02:07 +08:00
    @FenixVu #11
    十有八九是叠瓦
    aloxaf
        13
    aloxaf  
       2021-06-03 09:15:29 +08:00
    @FenixVu #11
    建议格式化,ntfs-3g 是基于 fuse 的,性能不是很高,而你这有 3T 数据……、
    虽然有公司开源了一个 ntfs 的内核模块,但没有刚需的话还是建议格式化省事儿
    heguangyu5
        14
    heguangyu5  
       2021-06-03 09:39:05 +08:00   ❤️ 1
    机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

    原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

    我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.
    Variazioni
        15
    Variazioni  
       2021-06-03 09:56:28 +08:00
    @wtfcworld 不懂就问。。dd 是什么。。。
    Pythondr
        16
    Pythondr  
       2021-06-03 10:16:35 +08:00
    MarkLeeyun
        17
    MarkLeeyun  
       2021-06-03 12:38:14 +08:00
    rm -rf .* 最快,哈哈。
    wangkun025
        18
    wangkun025  
       2021-06-03 13:30:35 +08:00
    dd: Copy and convert (called dd because cc is already in use by C compiler)
    wangkun025
        19
    wangkun025  
       2021-06-03 13:30:47 +08:00
    @MarkLeeyun 差评
    iphoneXr
        20
    iphoneXr  
       2021-06-03 13:49:13 +08:00
    只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
    上面很多人回复都是没实践过,瞎扯淡。
    AoEiuV020
        21
    AoEiuV020  
       2021-06-03 14:24:13 +08:00
    @iphoneXr 本来就很慢了,再校验一下岂不是更慢了,一般硬盘对拷也不会出错,不需要这种东西吧,
    而且看了下官网也没提 dd 之类的,竞品只是 rsync, cp,怎么到你这里好像都能吊打 dd 了似的,
    X0ray
        22
    X0ray  
       2021-06-03 17:13:48 +08:00
    请问下楼主 cp / mv 哪里不好了
    wzq001
        23
    wzq001  
       2021-06-03 17:28:28 +08:00
    wzq001
        24
    wzq001  
       2021-06-03 17:28:49 +08:00
    [sudo] password for root:

    @MarkLeeyun
    newmlp
        25
    newmlp  
       2021-06-03 19:29:07 +08:00
    当然是硬盘对拷最快
    msg7086
        26
    msg7086  
       2021-06-04 04:53:05 +08:00
    叠瓦盘拷 3T 小文件可以拷一年……
    FenixVu
        27
    FenixVu  
    OP
       2021-06-04 09:29:20 +08:00
    @X0ray 我预估了下我这边估计 3000w 左右的文件个数 刚开始还好后面就夯死了,考一会歇半天
    maxbon
        28
    maxbon  
       2021-06-04 16:53:08 +08:00
    试试 unison,之前百万级别的文件用这个效率还行
    FenixVu
        29
    FenixVu  
    OP
       2021-06-10 09:25:51 +08:00
    @heguangyu5 谢谢老哥用你推荐的方法 成功了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5421 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 08:48 · PVG 16:48 · LAX 01:48 · JFK 04:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.