shiji
V2EX  ›  问与答

服务器磁盘有限,怎么打包传输零散文件

  •  
  •   shiji · May 9, 2018 · 2653 views
    This topic created in 3101 days ago, the information mentioned may be changed or developed.
    同一个目录下,都是图片文件,数量庞大。想打包传输到另外一个服务器。
    但是剩余空间不足,请问有什么方法解决这个问题?
    希望速度比 SCP 快,SCP 传零散文件速度感人。


    谢谢。
    11 replies  •  2018-05-09 14:01:39 +08:00
    Trim21
    Trim21
    May 9, 2018 via Android
    1
    干过一次类似的事情,起了个 http server,在另一台服务器上用多线程爬虫爬下来
    billlee
    billlee
    May 9, 2018
    2
    tar -c | ssh tar -x
    clino
    clino
    May 9, 2018 via Android
    3
    应该用楼上 tar 的方法,没有实际 tar 文件生成
    vibbow
    vibbow
    May 9, 2018
    4
    移动硬盘...
    luban
    luban
    May 9, 2018 via iPhone
    5
    磁盘空间不足,那就部分打包,传输完成删除
    opengps
    opengps
    May 9, 2018 via Android
    6
    千兆内网共享,用自己电脑或者配合移动硬盘
    Mutoo
    Mutoo
    May 9, 2018
    7
    rsync over ssh 了解一下,支持打包传送。
    stiekel
    stiekel
    May 9, 2018
    8
    这种情况,rsync 应该是最好的解决方案了。
    alvinbone88
    alvinbone88
    May 9, 2018
    9
    tar 打包,lz4 压缩,ssh 传输
    详细可以看 http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/
    据博主自己测试,传输速率可以达到 249MB/s
    Qzier
    Qzier
    May 9, 2018 via iPhone
    10
    tar 打包,然后 xz 压缩
    shiji
    shiji
    OP
    May 9, 2018
    11
    @Qzier
    @alvinbone88
    磁盘空间有限,打包不到四分之一磁盘就满了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2988 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 12:07 · PVG 20:07 · LAX 04:07 · JFK 07:07
    ♥ Do have faith in what you're doing.