事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。
https://network.pivotal.io/products/pivotal-gpdb#/releases/1683/file_groups/411
我现在想到的几个方法
方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。
PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session
kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip
[1] 4485
[2] 4486
[3] 4487
kai@localhost:~$ --2016-11-16 01:12:05-- https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ...
Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected.
HTTP request sent, awaiting response... 403 Forbidden
2016-11-16 01:12:05 ERROR 403: Forbidden.
logout
[1] Exit 8 wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
[2]- Done Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_
Connection closed.
Type `help' to learn how to use Xshell prompt.
感谢@langmoe 的提示,翻了一下文档里面有要求提供一个token来进行请求,如果授权通过会redirect到真正的下载地址,这个地址同样应该是一次性的,即使我将token放入header中也没有用,这个文档解决了我vps下载该文件文件的问题;
没看明白为什么,求解惑!
# token已打码,注册后会有token~
$ wget -O "Greenplum-Database-4.3.8.1.zip" --post-data="" --header="Authorization: Token nUNfka-J4HEctyvmCsRy" https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
--2016-11-17 20:57:34-- https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
Resolving network.pivotal.io... 52.73.165.85, 54.165.133.147
Connecting to network.pivotal.io|52.73.165.85|:443... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479387477&Signature=UJcMFzvkZ3q-y36VgEfGrSC3tBc3jI4pCzF2Jf%7ELANbE8TCfNADwz9NHH-McVsnh%7EMRfrBJzj7OM7SjWopsfkeqOFS2SvnRg9lOlt9xOd7cnmOksANLRr4Pt1i7BCW5RnH7Mu57xY5eam6pa4fxkBjgf7O4vW9zA4KtU7%7EvMIS8_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [following]
--2016-11-17 20:57:38-- # ...省略,超长了
Resolving dtb5pzswcit1e.cloudfront.net... 54.230.73.244, 54.230.73.235, 54.230.73.31, ...
Connecting to dtb5pzswcit1e.cloudfront.net|54.230.73.244|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1688631843 (1.6G) [application/zip]
Saving to: 'Greenplum-Database-4.3.8.1.zip'
Greenplum-Database-4.3.8.1.zip 0%[ ] 6.77M 109KB/s eta 5h 8m
1
langmoe 2016-11-16 09:33:53 +08:00 2
|
2
jarry777 2016-11-16 09:38:17 +08:00
我直接下载 400 KB/s
爬梯子跑满了带宽 所以你似乎需要换个梯子 (至于你说的断点续传的情况我没试~ |
3
cocochan 2016-11-16 09:40:45 +08:00 via iPhone
转义
|
4
schezukNewTos 2016-11-16 09:51:27 +08:00 1
为什么你的 wget 链接不加引号?
|
5
tchekai704 OP @schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。
|
6
kmahyyg 2016-11-16 10:09:35 +08:00 via Android
考虑使用 curl -O-
|
7
LGA1150 2016-11-16 10:11:22 +08:00 via Android
aria2c -c
|
8
xiaoz 2016-11-16 10:12:56 +08:00
试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html
|
9
suantong 2016-11-16 10:43:35 +08:00
|
12
newworld 2016-11-16 10:54:51 +08:00 via iPhone
@suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇😆😆
|
13
ryd994 2016-11-16 11:50:44 +08:00 via Android
你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来
楼上很多你这是个 AB 问题,其实正解楼上有很多 我单说一下如果问题不变,强行走偏门解: Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort 保存所有请求的内容 事后 VPS 上慢慢翻 squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉 |
14
jiangyang123 2016-11-16 12:36:04 +08:00
建议换个好用的 ss
|
15
tchekai704 OP @newworld 没什么隐私,数据仓库 GreenPlum
|
16
grayon 2016-11-16 14:04:20 +08:00
SS 不好用的话你可以试试 SSR
|
17
clino 2016-11-16 14:05:15 +08:00
wget 后面 url 加引号就行了
|
18
shizhouren 2016-11-16 14:27:17 +08:00 1
gapps 下载就超级慢,你们的是这样吗?
|
19
komugi 2016-11-16 17:02:42 +08:00 via Android
@shizhouren opengapps 很慢
|
20
Vicer 2016-11-16 17:17:47 +08:00 via Android
楼主发一次性链接吧,我帮你。
|
21
newworld 2016-11-16 18:24:51 +08:00 via iPhone
@tchekai704 谢谢楼主解答 哈哈😄
|
22
cst4you 2016-11-17 03:42:51 +08:00
这种热门的东西, 直接迅雷啊
|
23
tchekai704 OP @langmoe 你是怎么找到文档的?我找了一下,但是失败了。
|