这是一个创建于 3042 天前的主题，其中的信息可能已经有所发展或是发生改变。
希望做个检测工具,部署国内节点作为检测用途
让公众查询域名或 IP 是不是被 Qiang
因为这玩意这么多年实在太不透明了,然后提供个 API,做监控服务
这样一些极端情况下,调用监控可以更换 DNS 解析的 IP,保证服务在国内的高可用性
这个工具理想状态下 是这样工作的
用户输入域名 点击检测
国外检测节点 = CURL 直接读取 URL 一般都返回 200=>500 的正常状态码
国内检测节点 = CURL 不现实 因为被 Rest 的链接 CURL 是直接返回错误的
无法做准确的判断,到底是被 Rest 来还是对方服务器不通还是其他原因
而且在一个时间段,这个 IP 在请求所有国外 IP 都是 Rest (N 分钟后才会恢复)
那么问题来了 是不是有一个有效的方式 在网络底层做数据包的校队或者验证?
比如 国内检测节点 查询域名
1. DNS 层检测 判断被污染或者挟持 返回结果
这个我的想法是 同时 dig any 结果缓存 然后分别 dig 国内服务器 和国外服务器 进行比对结果
因为考虑到有些使用 CDN 和多 IP, 所以看看国外和国内的返回 IP 是不是都存在于缓存的 ANY 结果内
如果存在 代表 OK,如果不存在 代表异常,如果返回的 IP 是 DNS 区域 IP 代表被挟持了
2. DNS 层正常 检测发送的请求 数据包校队 返回结果
这个是个问题,底层的问题 底层的问题 底层的问题 老衲真不知道啊......
等等 组成一个逻辑 ......
后续可以增加一些邮件订阅 提交后订阅
在一个时间周期 重新检查一次 来判断是临时被 Qiang 还是永久被 Qiang
还可以检测是域名被墙还是 IP 被 Qiang
等等
如果有什么 github 的项目 相关的
或者有什么想法 都可以谈谈
讨论收集 WALL 的 IP 然后屏蔽的 就免开尊口了
旁路设备发送的数据包 IP 是网关随机的 不现实
让公众查询域名或 IP 是不是被 Qiang
因为这玩意这么多年实在太不透明了,然后提供个 API,做监控服务
这样一些极端情况下,调用监控可以更换 DNS 解析的 IP,保证服务在国内的高可用性
这个工具理想状态下 是这样工作的
用户输入域名 点击检测
国外检测节点 = CURL 直接读取 URL 一般都返回 200=>500 的正常状态码
国内检测节点 = CURL 不现实 因为被 Rest 的链接 CURL 是直接返回错误的
无法做准确的判断,到底是被 Rest 来还是对方服务器不通还是其他原因
而且在一个时间段,这个 IP 在请求所有国外 IP 都是 Rest (N 分钟后才会恢复)
那么问题来了 是不是有一个有效的方式 在网络底层做数据包的校队或者验证?
比如 国内检测节点 查询域名
1. DNS 层检测 判断被污染或者挟持 返回结果
这个我的想法是 同时 dig any 结果缓存 然后分别 dig 国内服务器 和国外服务器 进行比对结果
因为考虑到有些使用 CDN 和多 IP, 所以看看国外和国内的返回 IP 是不是都存在于缓存的 ANY 结果内
如果存在 代表 OK,如果不存在 代表异常,如果返回的 IP 是 DNS 区域 IP 代表被挟持了
2. DNS 层正常 检测发送的请求 数据包校队 返回结果
这个是个问题,底层的问题 底层的问题 底层的问题 老衲真不知道啊......
等等 组成一个逻辑 ......
后续可以增加一些邮件订阅 提交后订阅
在一个时间周期 重新检查一次 来判断是临时被 Qiang 还是永久被 Qiang
还可以检测是域名被墙还是 IP 被 Qiang
等等
如果有什么 github 的项目 相关的
或者有什么想法 都可以谈谈
讨论收集 WALL 的 IP 然后屏蔽的 就免开尊口了
旁路设备发送的数据包 IP 是网关随机的 不现实
第 1 条附言 · 2016-08-03 05:43:29 +08:00
第一个版本
只能测试域名 只能测试域名 只能测试域名 只能测试域名 只能测试域名
返回 JSON
正常 200
有 head 和 data
https://www.boip.net/hehe.php?url=www.baidu.com
异常 和谐
https://www.boip.net/hehe.php?url=www.google.com
head 为空 且 status 为 ERROR 如果 msg 为 Connection reset by peer 90%的把握被螃蟹了
{"head":"","data":{"status":"ERROR","msg":"Recv failure: Connection reset by peer"}}
这个是调用国内缓存服务器 因为很多 IP 地址
随机抽选一个 IP 来测试
但是以国内网络的尿性 很难 100%准确的
另外提下 缓存服务器这个不是一定要使用静态资源来测的
因为域名被螃蟹的话 是直接 Reset 了
只能测试域名 只能测试域名 只能测试域名 只能测试域名 只能测试域名
返回 JSON
正常 200
有 head 和 data
https://www.boip.net/hehe.php?url=www.baidu.com
异常 和谐
https://www.boip.net/hehe.php?url=www.google.com
head 为空 且 status 为 ERROR 如果 msg 为 Connection reset by peer 90%的把握被螃蟹了
{"head":"","data":{"status":"ERROR","msg":"Recv failure: Connection reset by peer"}}
这个是调用国内缓存服务器 因为很多 IP 地址
随机抽选一个 IP 来测试
但是以国内网络的尿性 很难 100%准确的
另外提下 缓存服务器这个不是一定要使用静态资源来测的
因为域名被螃蟹的话 是直接 Reset 了
 |
1
strwei 2016-08-02 17:42:00 +08:00  1
|
 |
2
notgod OP 主要测试方法
首先 我们访问百度 curl -I -v 120.52.72.23/ss.bdimg.com/static/superman/img/logo_top_ca79a146.png * About to connect() to 120.52.72.23 port 80 (#0) * Trying 120.52.72.23... * Connected to 120.52.72.23 (120.52.72.23) port 80 (#0) > HEAD /ss.bdimg.com/static/superman/img/logo_top_ca79a146.png HTTP/1.1 > User-Agent: curl/7.29.0 > Host: 120.52.72.23 > Accept: */* > < HTTP/1.1 200 OK HTTP/1.1 200 OK < Server: nginx Server: nginx < Date: Tue, 02 Aug 2016 09:36:20 GMT Date: Tue, 02 Aug 2016 09:36:20 GMT < Content-Type: image/png Content-Type: image/png < Content-Length: 1636 Content-Length: 1636 < Connection: keep-alive Connection: keep-alive < ETag: "57512c91-664" ETag: "57512c91-664" < Last-Modified: Fri, 03 Jun 2016 07:06:57 GMT Last-Modified: Fri, 03 Jun 2016 07:06:57 GMT < Expires: Wed, 17 Aug 2016 06:10:30 GMT Expires: Wed, 17 Aug 2016 06:10:30 GMT < Age: 334744 Age: 334744 < Cache-Control: max-age=2592000 Cache-Control: max-age=2592000 < Ohc-Response-Time: 1 1 0 0 0 3 Ohc-Response-Time: 1 1 0 0 0 3 < via: ltgj23 HIT via: ltgj23 HIT < Accept-Ranges: bytes Accept-Ranges: bytes < * Connection #0 to host 120.52.72.23 left intact 返回 OK 在访问谷歌 curl -I -v 120.52.72.23/www.google.com/images/nav_logo242.png * About to connect() to 120.52.72.23 port 80 (#0) * Trying 120.52.72.23... * Connected to 120.52.72.23 (120.52.72.23) port 80 (#0) > HEAD /www.google.com/images/nav_logo242.png HTTP/1.1 > User-Agent: curl/7.29.0 > Host: 120.52.72.23 > Accept: */* > * Recv failure: Connection reset by peer * Closing connection 0 curl: (56) Recv failure: Connection reset by peer 阵亡了 在随便访问一个 正常情况下可访问的资源 curl -I -v 120.52.72.23/www.webhostingtalk.com/images/inet-wht/logo.png * About to connect() to 120.52.72.23 port 80 (#0) * Trying 120.52.72.23... * Connection refused * Failed connect to 120.52.72.23:80; Connection refused * Closing connection 0 curl: (7) Failed connect to 120.52.72.23:80; Connection refused 阵亡了 其实这个未访问谷歌之前 是可以访问的 你可以在浏览器 直接打开 http://120.52.72.23/www.webhostingtalk.com/images/inet-wht/logo.png 显示的是图片 只是因为当前 IP 访问了 Google 导致被关联 这种情况下 多次被关联也会临时被 Qiang 的 我 100%确认并且测试过 这样多用户测试的话 就不准确了 使用一堆国内节点轮换测试 也不现实 成本在那里 |
 |
3
Otho 2016-08-02 17:53:02 +08:00
@strwei http://www.checkgfw.com/ 显示百度 都被墙了 -_-!
|
|
4
notgod OP |
|
5
strwei 2016-08-02 17:59:54 +08:00
|
|
6
strwei 2016-08-02 18:01:28 +08:00
 |
 |
8
Hanxv 2016-08-02 18:04:07 +08:00 via Android
docker
用户查询→新建容器→进行检测→返回结果→关闭容器，等待下一次查询 |
 |
9
SuperFashi 2016-08-02 18:05:43 +08:00 via Android
这个不是很简单的一件事吗，换句话说，控制变量呗。因为你只判断有没有被墙，而这里的变量只有一个，就是墙，所以你只要搞两台（理想 100%uptime 的）服务器，一台国内一台国外，同时访问看行不行不就好了。
详细一点，对于 ip 来说，发 icmp 包。对于域名来说，解析就好了。判断：被墙 == !国内 & 国外 |
 |
10
Tink 2016-08-02 18:10:31 +08:00 via iPhone
9l 的办法好
|
|
11
notgod OP @Hanxv 这个不现实的
@SuperFashi 你说的这个是 http://www.websitepulse.com/help/testtools.china-test.html 的测试模式 但是它这个 不知道是如何解决连带的问题 就是我上面说的 查询 baidu.com 正常 查询 Google 异常 这个时候如果查询国内的服务器 IP 正常 如果查询任意国外 IP 都异常 只是单纯的因为你之前访问了 Google 这个 IP 会在 N 时间段内 无法访问国外 IP |
 |
13
jrhu05 2016-08-02 18:30:08 +08:00
如果有一份不断维护更新的列表清单的话......_(:зゝ∠)_
|
|
14
notgod OP |
|
15
SuperFashi 2016-08-02 18:57:58 +08:00 via Android
@notgod
你说的那种情况存在吗，能给我个例子是一下吗？ |
|
16
notgod OP @SuperFashi 见 2 楼的测试
|
|
17
SuperFashi 2016-08-02 19:09:11 +08:00 via Android
@notgod
你那测试不靠谱啊，首先我不能重现你的错误。其次那个 ip 目测是一个反代（还是国内的 ip ？），上面说了对于 ip 来说发 icmp 包，而不是请求资源。当然对于禁 icmp 的，我们还可以 port knocking 。 |
|
18
notgod OP @SuperFashi 你拿安卓手机测不了什么的
这个问题 100%有 100%可重现 IP 是个反向代理 IP 国内 IP 这个不冲突 实际节点城市 看图更直观些 首先测百度 https://i.niupic.com/images/2016/08/02/bHjpZ6.jpg OK 返回 200 在测试谷歌 和 一个没被 Qiang 的资源 (这个条件 = 未使用代理 尝试浏览器访问 是可以访问的) https://i.niupic.com/images/2016/08/02/KpRwJV.jpg 结果异常 实际上等几分钟 在访问 https://i.niupic.com/images/2016/08/02/IQ7XW1.jpg 变 200 了 这个就是访问 Google 引起的连带问题 |
|
20
notgod OP @SuperFashi
另外你说使用 Ping 获得 icmp 这个更不靠谱了 比如 Google 的 IP 173.194.73.113 北京[电信] 173.194.73.113 美国 加利福尼亚州圣克拉拉县山景市谷歌公司 331ms 27 Ping 是可以获得返回的 但是访问 正确的应该返回 Google 的网站 实际上返回 Connection reset by peer 这个 IP 污染的和 ICMP 的包 一点关系都没有 根本捕获不到任何特征 不是说 Ping timeout 就代表被 Qiang 了 |
|
21
SuperFashi 2016-08-02 20:31:56 +08:00
这样还怎么向别人询问问题啊，我用安卓回帖又不代表我用手机测试。
首先说 ping ： https://superfashi.b0.upaiyun.com/wp-content/uploads/2016/08/sp160802_200604.png 我说过了，对于 ip 来说看 ping ，也就是说对于那个 ip 来说，没有被墙，可以正常访问，事实上确实如此，访问 ip 会被 301 到 Google ，然后挂掉 。但是从截图来看，只在北京可以 ping 通（？）。对于网站有着另外的处理方法，目前来看就是解析。 再说你说的那个临时的问题： https://superfashi.b0.upaiyun.com/wp-content/uploads/2016/08/sp160802_201717.png https://superfashi.b0.upaiyun.com/wp-content/uploads/2016/08/sp160802_201748.png 我的结果截然不同，先是连接，然后默认一分钟返回 timeout ，接着访问正常资源，没有问题。 难道我们的墙不是一个版本的？ |
|
22
notgod OP @SuperFashi
拿 Qiang 外的机器测试 你可能拿国内的机器 你自己的机器到反向代理的 120 国内机器 因为是国内到国内 这段握手根本不过 Qiang 所以返回 504 超时的错误 非常明显的就已经不对了 Ping 的问题 北京电信和联通一致 非 301 Redirect 到 www.google.com 导致的 rest Google 是 ASN 下所有 IP 被污染了 非漏网 IP 导致的可 Ping 因为 Qiang 并不会判断你是北京联通访问的这个 IP 还是南京电信访问的这个 IP 一视同仁的污染目标 IP |
|
23
SuperFashi 2016-08-03 07:59:32 +08:00 via Android
|
Select Language