这是一个创建于 111 天前的主题，其中的信息可能已经有所发展或是发生改变。
发现 Bing 的爬虫竟然直接爬取我的用户后台一个特定的管理地址。
要访问到这个地址，用户必须登录后在后台主页点击按钮跳转。
而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志，我的网站对这个请求至始至终只返回 404 给 Bing ，但是它就是锲而不舍地定期爬取这个地址。
我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。
非常奇怪。好奇问下，Bing 会收集 Edge 用户的访问记录来爬取网站吗？
要访问到这个地址，用户必须登录后在后台主页点击按钮跳转。
而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志，我的网站对这个请求至始至终只返回 404 给 Bing ，但是它就是锲而不舍地定期爬取这个地址。
我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。
非常奇怪。好奇问下，Bing 会收集 Edge 用户的访问记录来爬取网站吗？
 |
1
DTCPSS 111 天前
难道这就是传说中的分布式爬虫
|
 |
2
opengps 111 天前
可能有人把这个地址发在公网了
|
 |
3
zenxds 111 天前  2
可能是有人或者什么漏洞扫描器伪造 Bing 的爬虫在爬？
|
 |
4
Lentin 111 天前
会。
|
 |
5
terence4444 111 天前 via iPhone
你用 edge 刚问过这个地址吗？
|
 |
6
lambdaq 111 天前
如果你是通用建站程序，估计 bing 有智能。
|
 |
7
googlefans 111 天前
大概率是伪造 bing 的爬虫 扫你服务器
|
Select Language