V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
996bujiaban
V2EX  ›  Python

求解,爬虫遇到这种五秒盾要怎么过

  •  
  •   996bujiaban · 101 天前 · 4877 次点击
    这是一个创建于 101 天前的主题,其中的信息可能已经有所发展或是发生改变。

    url=https://faucet.evmos.dev/

    在进去的时候会有 5 秒盾出现,搜了很久用 cloudscraper

    import cloudscraper
    url=https://faucet.evmos.dev/
    scraper = cloudscraper.create_scraper()
    response = scraper.get(url)
    print(response.text)
    # 保存返回源码
    with open('faucet.evmos.dev.html','w',encoding='utf-8') as f:
        f.write(response.text)
    
    第 1 条附言  ·  78 天前
    2022 年 5 月 29 日 02:36:42
    结个贴,试了用 selenium ,但还是不行
    后面换个法子
    两个法子:
    A:
    切一个代理
    开一个正常浏览器,过五 s
    代理传 cookie
    用 cookie 操作
    B:
    开一个正常浏览器,过 5s
    用图色,句柄,键鼠方式操作
    10 条回复    2022-05-23 20:23:51 +08:00
    learningman
        1
    learningman  
       101 天前 via Android
    cf 的 5 秒盾人家就是知道怎么过也不可能搁这告诉你,写出来明天就寄了
    crab
        2
    crab  
       101 天前
    搜索下:_cf_chl_opt
    moult
        3
    moult  
       101 天前 via iPhone
    放弃吧,这东西防的就是你。轻易能绕过这东西还有啥存在的意义。
    xieqiqiang00
        4
    xieqiqiang00  
       101 天前 via Android
    。。用 electron 写爬虫吧
    freakxx
        5
    freakxx  
       101 天前   ❤️ 1
    不考虑抠脚和优雅的问题,其实挺简单的,哈哈哈。

    但就像一楼说的,不能说。


    不过最近测试网有啥玩意刷,上上周跑 evmoswap 倒是跑了
    zeusho871
        6
    zeusho871  
       101 天前 via Android
    这种情况用 selenium 改环境多开吧
    gdfsjunjun
        7
    gdfsjunjun  
       101 天前
    使用 webdriver 库控制浏览器不就好了,虽然效率是低了点,但万能
    Kasumi20
        8
    Kasumi20  
       101 天前
    sleep 5
    jabari
        9
    jabari  
       101 天前
    FlareSolverr
    wapptm
        10
    wapptm  
       84 天前
    用 selenium 吧 省心
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2805 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 12:32 · PVG 20:32 · LAX 05:32 · JFK 08:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.