某些海外资源的正确下载姿势是？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2930 天前的主题，其中的信息可能已经有所发展或是发生改变。

事情是这个样子的：我需要下载一个资源，这个资源并不直接提供 URL 下载，而是需要注册后获取一个一次性的下载连接，然而及时获取下载连接后，下载速度很慢。

https://network.pivotal.io/products/pivotal-gpdb#/releases/1683/file_groups/411

我现在想到的几个方法

直接下载
通过 SS 代理下载
直接在 vps 上使用 wget 下载，然后 ftp 拖回来

方法 1,2 失败概率太高，不支持断点续传的情况下几乎 100%失败。我目前倾向 3 ，但是 URL 是一次性的，我没办法获取一个未使用过并且是授权可下载的 url 。

https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip

PS ：诡异的是这个连接 wget 后会自动退出我的 xshell 的 session

kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip
[1] 4485
[2] 4486
[3] 4487
kai@localhost:~$ --2016-11-16 01:12:05--  https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ...
Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2016-11-16 01:12:05 ERROR 403: Forbidden.

logout
[1]   Exit 8                  wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
[2]-  Done                    Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_

Connection closed.

Type `help' to learn how to use Xshell prompt.

第 1 条附言 · 2016-11-17 21:13:29 +08:00

感谢@langmoe 的提示，翻了一下文档里面有要求提供一个token来进行请求，如果授权通过会redirect到真正的下载地址，这个地址同样应该是一次性的，即使我将token放入header中也没有用，这个文档解决了我vps下载该文件文件的问题；

但是主帖中提到的这样的一次性连接其实还是很难解决，尤其没有文档情况下，只能通过浏览器来下载；
至于ssh为什么会自动退出，目前也没有发现原因
- 我把URL中用&分开的字符串当做命令输入shell中，ssh并未自动退出；
- 我把整个URL输入shell中，有时会退出，有时不会；

没看明白为什么，求解惑！

# token已打码，注册后会有token~
$ wget -O "Greenplum-Database-4.3.8.1.zip" --post-data="" --header="Authorization: Token nUNfka-J4HEctyvmCsRy" https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
--2016-11-17 20:57:34--  https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
Resolving network.pivotal.io... 52.73.165.85, 54.165.133.147
Connecting to network.pivotal.io|52.73.165.85|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479387477&Signature=UJcMFzvkZ3q-y36VgEfGrSC3tBc3jI4pCzF2Jf%7ELANbE8TCfNADwz9NHH-McVsnh%7EMRfrBJzj7OM7SjWopsfkeqOFS2SvnRg9lOlt9xOd7cnmOksANLRr4Pt1i7BCW5RnH7Mu57xY5eam6pa4fxkBjgf7O4vW9zA4KtU7%7EvMIS8_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [following]
--2016-11-17 20:57:38--  # ...省略，超长了
Resolving dtb5pzswcit1e.cloudfront.net... 54.230.73.244, 54.230.73.235, 54.230.73.31, ...
Connecting to dtb5pzswcit1e.cloudfront.net|54.230.73.244|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1688631843 (1.6G) [application/zip]
Saving to: 'Greenplum-Database-4.3.8.1.zip'

Greenplum-Database-4.3.8.1.zip                                       0%[                                                                                                                                                              ]   6.77M   109KB/s    eta 5h 8m

下载

wget

52.84.246.239

url

23 条回复 • 2016-11-17 21:17:04 +08:00

langmoe

2016-11-16 09:33:53 +08:00

https://network.pivotal.io/docs/api#public/docs/api/v2/download.md

jarry777

2016-11-16 09:38:17 +08:00

我直接下载 400 KB/s
爬梯子跑满了带宽
所以你似乎需要换个梯子

（至于你说的断点续传的情况我没试~

cocochan

2016-11-16 09:40:45 +08:00 via iPhone

转义

schezukNewTos

2016-11-16 09:51:27 +08:00

为什么你的 wget 链接不加引号？

tchekai704

2016-11-16 09:56:31 +08:00

@schezukNewTos 谢谢提醒，就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。

kmahyyg

2016-11-16 10:09:35 +08:00 via Android

考虑使用 curl -O-

LGA1150

2016-11-16 10:11:22 +08:00 via Android

aria2c -c

xiaoz

2016-11-16 10:12:56 +08:00

试试 axel 多线程下载呢？ https://faq.xiaoz.me/archives/95.html

suantong

2016-11-16 10:43:35 +08:00

我这都下好了。 1 ， 2 分钟的事，你太纠结了。

newworld

2016-11-16 10:46:55 +08:00 via iPhone

@suantong 楼主下载的什么沙盒？？

suantong

2016-11-16 10:52:55 +08:00

@newworld ,我都不知道这啥玩意，数据库？我只是下载玩玩。

newworld

2016-11-16 10:54:51 +08:00 via iPhone

@suantong 可以看看是啥呀楼主敢不打码说明应该没啥隐私 Google 相关名字域名瞅瞅呗好奇😆😆

ryd994

2016-11-16 11:50:44 +08:00 via Android

你这里 forbidden 的原因多半是 URL 不全试试单引号括起来
楼上很多你这是个 AB 问题，其实正解楼上有很多
我单说一下如果问题不变，强行走偏门解：
Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort
保存所有请求的内容
事后 VPS 上慢慢翻
squid 的缓存应该也可以实现，不过需要把文件头部的 header 之类去掉