上海电信 同 AS4812 走不同网关 延时速度的确有些不同

[sjlleo]

最近由于家中路由断电，猫重新拨了一次号
给我了一个 IP 为 101.88.26.53 然后便糟糕了 碰巧是网络高峰
我访问一切国际网页都如龟速（ CN2 的 VPS 除外），vultr 各大测试节点的下载都达不到 5M 的水管（ 200M 宽带）
根据猫的信息 这个 IP 网关为 101.88.24.1
在某-TAP 中 延时测试结果
https://i.imgur.com/kWbHOzo.jpg 神奇的路由走法：
https://i.imgur.com/mioN7AA.jpg 实在让人忍受不了 当即决定再次拨号
结果怎么也换不掉 始终在 101.88.24.1 网关下的 IP 跳动 而且这个网关下的 IP 几乎全部上不了外网
最后 把猫停了 20 分钟再起来 换到一个 222.70.60.1 网关下的 IP
结果完全不一样
https://i.imgur.com/XGVSb6S.png vultr 软银等 VPS 瞬间恢复正常 甚至比原来还好得多
PS:用到现在 高峰 Vultr 洛杉矶可以跑到 5MB/S 延时 160ms （早上 135ms ）

最后总算搞清楚了，在此总结一下:
1.电信的路由没有均衡负载，由于不同的网关下，出口的路由可能不同，所以延时差异可能很明显。

2.上海出口汇聚、国外运营商Peer双重枷锁：
  华南地区大部分的流量会从四面八方集中到上海（或广东）的出口机房的路由上，结果上海电信的出口路由当时设计时没有想到这么大的流量，不足以应对华南地区所带来的大流量，于是还没到国外先在国内上海出口这里炸开了。
  结果好不容易从上海出去到国外 在国外BGP又炸开了，尽管第一次爆炸也保护性地限制了出国流量，但电信和其它国外运营商peer的水管还要小（一般电信只肯签署10G 20G的水管，而高峰甚至超过100G的流量来袭，那拥堵程度就可想而知了）会在国外发生明显的二炸，这就是为什么trace时，有的第一次到国外的电信机房会有190-220ms的延时 再到其它运营商就到300ms的原因。 *洛杉矶 圣何塞 标准延时应该在125-140ms

[dot2017]

因为电信出口从来没用路由负载均衡

[intoext]

那是因为你有公网地址 俺等移动网络宽带没有公网地址的 怎么拨也没用

[jousca]

@intoext 不是没有公网，是看你当时被分配到哪条出局线上。电信现在其实也不给公网地址，大部分给光猫都是 100.64 开头的地址段（运营商级 NAT ）。

[hlz0812]

一个段里路由是一样的，但是最近出口国内汇聚炸了，所以看脸，这里同一个段路由都是相同的，但是爆炸程度不同。不同段路由直接可能不同，比如江苏电信 58/114 开头的软银走北京回程，其他的基本走上海回来

[bclerdx]

@hlz0812 江苏电信 58/114 开头的软银走北京回程，其他的基本走上海回来，这个是江苏电信故意在路由器上做的策略路由？

[CernetBoom]

@bclerdx 上海电信还全部走北京回来(Softbank 大阪除外)，Softbank 的问题

[EdifierDrew]

我的 IP 运营商也是 eonix 的，服务器位于西雅图，延迟 300-400ms 为什么楼主的 ping 值这么低

[hlz0812]

@bclerdx 回程是软银调的，除非电信把北京的线拔了，就会走上海了

[sjlleo]

@EdifierDrew
电信：
最近由于未知原因，电信 SJO 登陆数据中心不能直达西雅图，节点全部要往美国其他地区绕 然后电信和那些地区的 peer 水管本来就小，就爆炸了（你可以看到登陆美国圣何塞 SJO 时的 IP AS4134 是延时正常的，然后 peer 到另外一个自治边界，延时猛增，后面就开始疯狂掉包，我从 VPS 回程 TCP Traceroute，看了一下情况还要糟糕）
但是并不是绝对的，有那么几个特定的电信 ip 段（我反复拨号去测试），会在洛杉矶 LAX 登陆，然后走 Telia AS1299 再回圣何塞 SJO 去然后一路顺着 telia 直连西雅图，再切 wowrack 和 eonix peer，这样延时只有 156ms 左右。
如果你有公网的话，你需要做的只是不断的重新拨号，拨到你的 IP 路由路径是走洛杉矶的即可 [注意猫 IP 网关的变化，如果只是 IP 变化，网关依旧不变，则无效] 另外 高峰时回程 电信和 Telia peer 经常炸 延时也会飙到 240ms+
联通：
上海 /浙江 /江苏等地的联通连 eonix 会抽风去绕北京联通，然后到美国联通由于水管不够大，炸的飞起。。
移动：
魔都长江三角洲的移动网络会选择移动的上海出口到美国圣何塞 SJO 移动，然后去洛杉矶和 AS174 cogentco peer 但是还是瓶颈问题，比起联通的拥堵要好很多，但是平时的延时还是要在 250-340ms （高峰）左右

通过以上分析，我得出了一个结论，eonix 的西雅图节点并不适合给大陆用户使用。
现在：我已经弃疗，加钱买双向 CN2 VPS 去了.....
（顺便说一句，日本的 SBcloud 软银限速真心难受，高峰 BBR 也优化不了多少，最大 3M 的样子 qwq ） [VPS 100M 水管]

[xxq2112]

联通到 Eonix 走的是 Telia，但是联通的北京、广州的美洲方向 Telia 是日常拥塞，高峰炸是很自然的

[CernetBoom]

@sjlleo 163 在上海就炸了，SBCloud 也救不了整个 163 上海出

[sjlleo]

@CernetBoom 上海 163 到洛杉矶 CC 机房应该还是可以的吧？ 163 去日本 IJJ NTT Softblank 都日常炸
最近准备尝试一下 CN2 韩国的 T2 不知道怎么样

[CernetBoom]

@sjlleo 一样的，炸在 163 上海

[bclerdx]

@sjlleo 你自己本地的网络是哪个 ISP ？

[bclerdx]

@CernetBoom hlz0812 兄也提到了，电信的 CN1 炸在了国内上海电信的汇聚层。上海电信与国际出口的部分没问题。

[sjlleo]

@bclerdx @CernetBoom
我家是电信+移动（铁通）双网
原来是这样啊，但是我有一点不是很懂，求指点。
我看到每次高峰时期电信在上海最后一跳都是好的，到美国也是 140ms 的正常延时但是到 Telia、Level3 就爆炸，就误以为是在国际出口外面 Peer 的问题。。。那么我们平时看到的一离开电信自己的自治边界又各种丢包异常现象是怎么一回事呢（在 TCP 状态下，UDP 丢包很正常，毕竟路由对 UDP 包的优先级是最低的）

[CernetBoom]

@bclerdx 本来就是这样的

[CernetBoom]

@sjlleo 到 Telia 之类的开始就是 163-Telia 带宽不够，现在只是 163 上海那边也在炸

[sjlleo]

https://i.loli.net/2019/01/24/5c49b3df5f80b.png

[sjlleo]

@CernetBoom @bclerdx 懂了，感谢二位解答！

[zhaohanqing]

这边电信也有类似情况，拨号到 124 开头的 IP 时连接莫斯科某机房延迟 160ms 左右，拨号到 113 117 219 时延迟 400+ms ……明明路由完全一样……

[hlz0812]

@sjlleo 现在电信和 level3、telia 的 peer 炸的不算很厉害了，有些机房路由调 ntt 后分了一部分流量，我感觉主要问题还是国内汇聚，国外 peer 炸的时候 bbr 和锐速可以救一下，这个国内汇聚是真的没法搞，遇上汇聚堵随便怎么优化都只有 12Mbps 左右

[hlz0812]

@zhaohanqing 回程绕路了

[sjlleo]

@hlz0812
是的，电信不会给 163 扩容，整天声称扩容 CN2，然后 CN2 到晚上居然还会炸，真的是搞笑。电信拒绝和国外的大型运营商签署大流量交互，于是都靠免费流量过日子，加之电信用户都爱折腾日本 VPS，导致往日本 4 线全废。我原来是真的没看到汇聚炸这个事情，因为去程在 trace 中根本看不出来，现在从 VPS 返程 trace 才发现，是返程路由汇聚炸的太明显了。
锐速\BBR 线路不好救不了，加之最近某墙流量识别能力非常强，某 R 用几天就废了，必须用 V2RAY 等非主流协议工具才行 。 PS:电信某下面分公司私自搞外服加速器好久了，卖的贵的要死，然后通过卖自己的 CN2 流量出口赚钱。

[hlz0812]

@sjlleo 电信日本软银不炸啊，汇聚的问题，softbank 接了电信 40G 呢，cn2 炸一般是因为 ddos 问题

[hlz0812]

@sjlleo 海外段不炸就不能说是外面的问题，日本 softbank、日本 163 直连都很好，国内汇聚早晚会扩容，这个应该要等墙的设备到位，去年就是。但是像 ntt 这种线路，国内汇聚就算不炸也没法用

[bclerdx]

@hlz0812 墙的存在国家居然装作没事人似的。

[bclerdx]

@hlz0812 汇聚层炸都有哪些恶果咧？

[CernetBoom]

@sjlleo 163 哪里没扩容了(问题是扩几 G 超几倍)
NTT 在东京接了 55G 的 163 也不算吗？照样炸
免费互联？想多了好吗
@hlz0812 去年什么时候扩过国内了

[CernetBoom]

@hlz0812 为什么要猜黑箱的东西
@sjlleo "一般电信只肯签署 10G 20G 的水管，而高峰甚至超过 100G 的流量来袭" 参考 Cloudflare 去程 150G 都能满，回程没跑多少的情况，就不是正常流量(DDoS)
"洛杉矶 圣何塞 标准延时应该在 125-140ms"有 APCN2+PC-1 Southern Ring 就没啥话想说了

[hlz0812]

@bclerdx 2015 年底上海电信事故汇聚也炸了

[sjlleo]

@CernetBoom @hlz0812
我主要说的是 163 情况 毕竟 CN2 独立 IP 终究不是谁想用就用的上的
不过最近不是新开了 NCP 嘛 排除国内汇聚问题 理论上可以跑到 110ms
另外感谢两位纠正了一些错误，加之我拿到的信息比较早，有些错误请谅解。

[hlz0812]

@sjlleo 上海最后一跳到波特兰最低在 112 左右，不能低过 110 吧

[CernetBoom]

@sjlleo 恩，202.97.95.201/202 两端确实可以 110ms

[bclerdx]

@hlz0812 我的意思是说汇聚层炸了，影响的是国内互访还是去程至国际网络呢？

[justs0o]

@hlz0812
@CernetBoom
@sjlleo
引用某位电信大佬的话：最近都在扩容带宽，搞得某设备处理跟不上了，ISP 协调找过工信部，工信部在找有关部门协调，这个流程很漫长，只能等。

@bclerdx 你可以携带某些东西去上海市浦东新区康桥镇秀浦西路，然后你就为好几亿网民做贡献了

[yexm0]

@justs0o 国家应急中心?
另外这些东西你都说?不怕请喝茶嘛

[bclerdx]

@yexm0 说这个也没涉及机密，就要喝茶？真是拿鸡毛当令箭

[maple52ck]

-_-||~~
请问什么是某-TAP 啊，是什么测试延迟的工具吗？
谢谢

[maple52ck]

@maple52ck 有没有人能告诉一下哟~谢谢！