Linux 下大文件传输方式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3873 天前的主题，其中的信息可能已经有所发展或是发生改变。

千兆LAN环境下 linxu系统间的文件传输方式，除了ftp scp还有更好的更快的吗

传输方式

千兆

文件

28 条回复 • 2014-05-22 23:18:38 +08:00

decken

2014-05-21 16:07:03 +08:00

BT sync

tititake

2014-05-21 16:08:11 +08:00

rsync

duzhe0

2014-05-21 16:12:44 +08:00

对scp有什么不满意的吗？

SevenJ

2014-05-21 16:15:51 +08:00

也可以用nc:
server: nc -l port_number < filename
client: nc server_ip port_number > filename

hadoop

2014-05-21 16:28:39 +08:00

@duzhe0 内网环境，只想传数据，没必要数据传输过程中加密，LAN环境加密的话基本上会把cpu跑到100%

hadoop

2014-05-21 16:29:08 +08:00

@SevenJ 现在尝试用 nc + 压缩，效果比scp好一点

lu18887

2014-05-21 16:31:51 +08:00

传输前压缩或者传输中压缩。一般是传输之前就压缩了，传输的时候不要选择带压缩的会增加CPU负担且效果不明显。

lu18887

2014-05-21 16:33:14 +08:00

也可以考虑挂载远程目录的方式，感觉这个会更快些！起码操作上最后变成了CP，嘿

hadoop

2014-05-21 16:36:35 +08:00

@lu18887 操作上cp，底层还是转换成网络传输了吧

Chip

2014-05-21 16:50:14 +08:00

单向的话，FTP应该是兼容性最好，速度最快的了。
双向的话，rsync或者Bittorrent Sync都是不错的选择。

reverland

2014-05-21 16:57:23 +08:00

@SevenJ 加个-q 0 吧……

babytomas

2014-05-21 17:15:21 +08:00

内网的话我觉得 SCP 就足够了呀。。

scp * [email protected]:/root/

我平时内网都是用 scp 的。。。100M 传输接口用 scp 我都懒得打包文件传了。。

JoyNeop

2014-05-21 17:17:02 +08:00 via iPad

wget 党默默滚过。。。

9hills

2014-05-21 17:22:36 +08:00

@hadoop 内网FTP。wget下载打满千兆网卡没问题。没有更快的了。如果是万兆，硬盘IO是瓶颈

如果只能纯内网访问，开全局匿名只读FTP是个好想法。

lu18887

2014-05-21 17:37:21 +08:00

@hadoop 查阅相关资料，加密的传输要受CPU速度的限制（加密解密），具体使用哪种得结合你的实际情况的，是否需要那么安全的传输，文件有多大……传输的频率，增量数据还是全量数据

lu18887

2014-05-21 17:38:54 +08:00

@9hills 有万兆网，磁盘肯定也上高档货色了各种PCI固态硬盘阵列啥的……甚至是超导体（这个扯淡了，哈哈）

zeiyso

2014-05-21 18:11:50 +08:00

我自然 | Linux大文件传输 http://www.yankay.com/linux%E5%A4%A7%E6%96%87%E4%BB%B6%E4%BC%A0%E8%BE%93/
可以参看这个.

ffffwh

2014-05-21 18:28:13 +08:00

Samba/NFS？

hadoop

2014-05-21 18:29:29 +08:00

@babytomas 等文件有几十G的时候就知道这样还不够快

hadoop

2014-05-21 18:30:28 +08:00

@9hills 不不，数据里面肯定有冗余的，所以加上压缩，比直接wget快

hadoop

2014-05-21 18:31:22 +08:00

@zeiyso 嗯目前我参考的这个，测试起来峰值的确比scp快上30%，但是不是很稳定，没细究是本机磁盘问题还是网络上交换机的限制

wwqgtxx

2014-05-21 19:10:09 +08:00 via Android

用apache/nginx，然后wget

20150517

2014-05-21 20:25:19 +08:00 via Android

@9hills ftp还是不能保证用满带宽，要用多线程的ftp

hadoop

2014-05-21 21:23:44 +08:00

@wwqgtxx http不是为了传输数据设计的协议，所以估计连ftp都比不上

msg7086

2014-05-22 09:17:56 +08:00

@hadoop http的握手次数少，小文件速度很快，多线程代价也小，nginx基于event模型比vsftpd之类的要快。大文件的话也没什么太大问题吧，http也是在进化的。

hadoop

2014-05-22 09:30:57 +08:00

@msg7086 单个大文件场景呢？即使是小文件，也会在传输前打包

msg7086

2014-05-22 09:32:36 +08:00

@hadoop 单个大文件我也没觉得http会比ftp慢。同样打开一个连接通道来传输，除了chunked编码造成的少量overhead，我看不出http比ftp慢的理由。

wwqgtxx

2014-05-22 23:18:38 +08:00 via Android

@hadoop 你说http不是为了传输数据设计的协议，那http是传输什么的协议呢？为什么公网上都用http协议而不用ftp呢？
http的效率是大家有目共睹的，这就是他为什么在互联网上替代ftp的原因