V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
whyorwhynot
V2EX  ›  互联网

360 蜘蛛爬取了隐藏的 https 路径

  •  
  •   whyorwhynot · 2020-04-24 12:53:47 +08:00 · 2384 次点击
    这是一个创建于 1703 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主在本地用 hfs 小工具搭建了一个 http 下载服务,然后通过 nps 映射到了海外的一台服务器上,通过 nginx 又对服务加了一层 ssl,用的 let's encrypt 的证书

    为了方便平时安全交换文件,我将 hfs 的一个文件目录设置为隐藏 url 了,无法通过列网站目录等方式获得这个目录的 url,外界人员也就无法得知这个交换地址。但是今天查看系统日志,发现存在一条 360 蜘蛛的访问记录,

    1:18:44 42.236.10.114:10648 Requested GET /这里是 16 位字符随机地址 / 1:18:45 42.236.10.114:10661 Requested GET /?mode=jquery

    理论上这个地址外界应该是不可能知道的,到底是哪一环节出了问题。。。。

    12 条回复    2020-04-24 19:22:30 +08:00
    codingadog
        1
    codingadog  
       2020-04-24 12:58:11 +08:00 via Android
    你自己用的 360 浏览器或相关的东西访问过?
    whyorwhynot
        2
    whyorwhynot  
    OP
       2020-04-24 14:06:22 +08:00
    @codingadog 用 360 浏览器访问过一次,可能是这个原因
    1490213
        3
    1490213  
       2020-04-24 14:16:17 +08:00 via Android
    我们公司严禁安装任何 360 公司的软件
    vc1
        4
    vc1  
       2020-04-24 14:23:35 +08:00
    你在 qq 、wx 发一下也会有腾讯的请求去爬
    swulling
        5
    swulling  
       2020-04-24 14:24:58 +08:00
    你有设置 robots.txt 么
    imn1
        6
    imn1  
       2020-04-24 14:32:52 +08:00
    2 楼结贴
    whyorwhynot
        7
    whyorwhynot  
    OP
       2020-04-24 15:32:19 +08:00
    @swulling 没有 rebots.txt
    whyorwhynot
        8
    whyorwhynot  
    OP
       2020-04-24 15:34:06 +08:00
    @vc1 本想搞个私密连接,直接被 360 顺走了,难受
    vc1
        9
    vc1  
       2020-04-24 16:24:28 +08:00 via Android
    @whyorwhynot 像问卷投票的链接只在群里发也能被搜到,都有网址安全检查的,没有屏蔽搜索引擎
    hstdt
        10
    hstdt  
       2020-04-24 18:00:45 +08:00 via iPhone
    感觉是个大瓜
    0312birdzhang
        11
    0312birdzhang  
       2020-04-24 19:21:33 +08:00 via iPhone
    用 nginx 的话把这个路径加个认证吧
    autoxbc
        12
    autoxbc  
       2020-04-24 19:22:30 +08:00
    @hstdt #10 厂商都这么做十几二十年了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2746 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 09:40 · PVG 17:40 · LAX 01:40 · JFK 04:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.