V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tiRolin
V2EX  ›  Java

如何在服务器上部署 Java 语言 Selenium 框架爬虫的自动执行?

  •  
  •   tiRolin · 2023-10-18 13:32:18 +08:00 · 1494 次点击
    这是一个创建于 394 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我这个 Selenium 做了爬虫,本地已经可以成功运行了,但是这个项目是要求每天爬取数据的,显然不可能由我不能每天手动本地运行这个爬虫,需要部署到服务器上每天自己运行

    我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错,甚至我都可以登录到远程的 Swagger 里执行爬虫并成功运行,但是自动运行的接口就会报错,我是真的整不太明白了,利用搜索引擎找了好久也没找到解决方法,我真没法了,所以来问问各位,希望有懂的能解答一下,在下感激不尽啊

    6 条回复    2023-10-19 14:48:53 +08:00
    qczone
        1
    qczone  
       2023-10-18 14:30:58 +08:00   ❤️ 2
    兄弟,你至少贴个报的什么错啊,知道你应该搞了很久有点着急,但是你不描述清楚的话大家也没办法帮你,可以看看提问的智慧( https://github.com/ryanhanwu/How-To-Ask-Questions-The-Smart-Way/blob/main/README-zh_CN.md )学习一下如何良好的进行提问。
    看你的描述,服务端爬虫的代码应该没啥问题,主要问题出现在定时任务那块儿,你的 SpringBoot 项目在本地跑过吗?能正常执行吗?如果没问题的话,服务器上报的什么错呢?
    defunct9
        2
    defunct9  
       2023-10-18 17:35:35 +08:00
    我用的是 python ,用 headless 模式,crontab 扔到服务器上自动执行
    28Sv0ngQfIE7Yloe
        3
    28Sv0ngQfIE7Yloe  
       2023-10-18 17:46:10 +08:00
    我一开始的想法是用 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错

    ----------

    报啥错啊

    从你可以从 swagger 调用接口成功是否可以推断:spring boot run success ?

    如果是这样的话,直接去解决你说的「 SpringBoot 里的 @Scheduled 来实现,但是这个每次都会报错」问题就好了
    blackeeper
        4
    blackeeper  
       2023-10-18 19:06:44 +08:00
    盲猜服务器没有 X Server 图形化界面,代码里面也没有开启 headless 模式,然后就报错了
    kingfalse
        5
    kingfalse  
       2023-10-18 19:09:20 +08:00 via Android
    docker 镜像交付,去搜索 xvnc
    sgwk
        6
    sgwk  
       2023-10-19 14:48:53 +08:00
    python ,丢到云服务器上,cron 定时开启。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5230 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 09:22 · PVG 17:22 · LAX 01:22 · JFK 04:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.