我做过类似的， 当时是自己摸索了一个比较笨的方法。
后台任务（比如你的抓取进程）每隔一段时间（或是每完成一部分任务）就更新数据库中的一个进度字段，比如从10变成20
前端页面js定时轮询数据库，就可以获取进度信息了。

这个方法只适用于小规模网站，对于你的case不知道合适么

chrome控制台里 执行for(var i=0;i<1;){console.log("I need more heat");}
等一会儿就烫了