lbfeng
V2EX  ›  问与答

scrapy 登陆后被 ban 的解决方法。

  •  
  •   lbfeng · Aug 16, 2018 · 1330 views
    This topic created in 2846 days ago, the information mentioned may be changed or developed.

    从某网站上抓,主观上是不想的,但任务分配给我了。必须登陆才能抓,抓一会儿后被 ban(账号被 ban,ip 没事)。现在脑子里有 2 个方案

    1.慢速抓,效率低,不好交差

    2.有 N 个账号,打个比方,500 个 requests 之后,spider 暂停,换一个账号登陆,接着抓,重复。。

    大家还有什么别的艾地饿吗?

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5580 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 07:09 · PVG 15:09 · LAX 00:09 · JFK 03:09
    ♥ Do have faith in what you're doing.